如何 ChatGPT 工作？

生成式

ChatGPT 是一個生成式人工智慧模型——它可以產生文字、程式碼、圖像和聲音。生成式人工智慧的其他例子是圖像生成工具，例如DALL-E 或音訊產生器。

預訓練

「預訓練」方面ChatGPT 這就是為什麼它似乎知道互聯網上的一切。這GPT 模型在稱為「無監督學習」的過程中對大量資料進行訓練。

前ChatGPT ，人工智慧模型是透過監督學習建構的——它們被給予明確標記的輸入和輸出，並被教導將一個模型映射到另一個模型。這個過程非常緩慢，因為資料集必須由人類編譯。

當早GPT 模型接觸到它們接受訓練的大型資料集，它們從各種來源吸收語言模式和上下文含義。 

這就是為什麼ChatGPT 是一個常識性聊天機器人——在向公眾發布之前，它已經在巨大的數據集上進行了訓練。

想要進一步培訓的用戶GPT 引擎 - 專門從事某些任務，例如為您獨特的組織撰寫報告 - 可以使用技術來定製LLMs 。  

變壓器

Transformer 是 Vaswani 等人在 2017 年題為「Attention is All You Need」的論文中介紹的神經網路架構。在 Transformer 出現之前，循環神經網路 (RNN) 和長短期記憶 (LSTM) 網路等模型通常用於處理文字序列。 

RNN 和 LSTM 網路將按順序讀取文字輸入，就像人類一樣。但 Transformer 架構能夠同時處理和評估句子中的每個單詞，從而允許對某些單字進行更相關的評分，即使它們位於句子的中間或末尾。這稱為自註意力機制。 

就拿這句話來說吧：“老鼠放不進籠子，因為它太大了。”

變壓器可以將“老鼠”這個詞比“籠子”更重要，並正確識別句子中的“它”指的是老鼠。 

但像 RNN 這樣的模型可能會將“it”解釋為籠子，因為它是最近處理的名詞。

“變壓器”方面允許ChatGPT 比其前輩更好地理解上下文並產生更聰明的回應。 

什麼是自然語言處理？

自然語言處理（NLP）是人工智慧的一個分支，專注於電腦與人類透過自然語言互動。 

它使機器能夠以既有意義又有用的方式理解、解釋和生成人類語言。

NLP、NLU、NLG

NLP 是一個廣泛的領域，涵蓋各種子學科，包括自然語言理解（NLU）和自然語言生成（NLG）。 

NLP 是總體領域，而 NLU 和 NLG 是其中的專業領域。這是因為自然語言處理必須涉及理解，然後在來回對話中生成。

NLP如何運作？

NLU 分解人類語言以解釋其含義和意圖。以下是它的逐步工作原理：

1. 文字經過預處理以刪除不必要的元素（如標點符號和停用詞）。
2. 系統識別文字中的關鍵組成部分，例如實體、關鍵字和短語。
3. 它分析句子結構以理解單字和概念之間的關係。
4. NLU 模型將辨識的元素對應到特定的意圖或目標。
5. NLU 引擎根據上下文和使用者互動歷史完善其理解。

該系統提供可觸發適當的操作或響應的結構化輸出。

訓練前

首先，人工智慧模型接觸到大量文字資料——來自書籍、網站和其他文件。 

在預訓練期間，模型學習預測句子中的下一個單詞，這有助於它理解語言模式。它本質上建立了對語言的統計理解，使其能夠產生聽起來連貫的文本。

微調

預訓練後，模型會在更具體的資料集上微調。為了ChatGPT ，這包括為對話策劃的資料集。 

此步驟的關鍵部分涉及人類回饋的強化學習 (RLHF)，其中人類培訓師對模型的反應進行排名。這個回饋循環有助於ChatGPT 提高其產生適當、有用且上下文準確的回應的能力。

代幣

模型處理的文字單位（單字或單字的一部分）。 ChatGPT的輸入和輸出被標記化以實現高效計算。

零樣本學習

模型依靠其一般知識來執行尚未經過專門訓練的任務的能力。 

一次性學習涉及為模型提供一個範例，而多次學習涉及為模型提供許多範例以進行學習。 

注意力機制

轉換器模型的一個元件，允許它在產生回應時專注於輸入文字的不同部分。

幻覺

當人工智慧模型產生不正確或無意義的資訊時，它就會產生「幻覺」。可以透過檢索增強生成（RAG）等策略來減輕幻覺。

連鎖思考推理

一種幫助模型逐步思考的方法，提升其處理複雜提示或任務的能力。 

一些ChatGPT 模型會自動配備此策略 - 例如最新的OpenAI o1 模型。但你可以要求任何版本進行思想鏈推理：只需要求它逐步解釋其推理即可。

訓練前

模型在海量資料集上進行訓練以學習語言模式的初始階段，然後針對特定任務進行微調。

微調 

在較小的資料集或任務上改進模型以增強其在特定用例中的效能的過程。

上下文視窗

模型在產生回應時可以考慮的輸入文字量的限制。 

低上下文視窗意味著您無法發送長報告並要求摘要 - 模型將「忘記」文件的開頭。 

風俗GPTs

OpenAI 允許用戶自訂GPTs 根據他們的喜好。您可以指示自訂GPT 幫助您學習特定棋盤遊戲的規則、設計搖滾金屬樂團海報或教您人工智慧概念。

客製化人工智慧代理

隨著人工智慧技術的進步，您可以輕鬆（且免費）創建自己的LLM人工智慧代理。 

從低程式碼拖放建構器到高階編碼生態系統，都有適合任何用例和技能水平的出色人工智慧建置平台。 

建立你自己的LLM - 支援的代理意味著您可以設計一個客製化的人工智慧助理來安排您的會議並產生每週的指標報告。或者，您可以建立部署在WhatsApp上的客戶支援 AI 代理。不乏可能性。