即使你每天都在使用，你可能仍會對 ChatGPT 的運作方式有疑問。
讓我們一起深入探索這個全球最受歡迎的 AI 聊天機器人 的幕後運作。
總覽：ChatGPT 如何運作
如果你只有 20 秒，這裡簡單說明 ChatGPT 的運作方式：
- 你發送一個請求，例如「請幫我寫一封電子郵件」。
- ChatGPT 會將輸入內容拆解成多個標記（token）以便處理。
- 它會利用自然語言處理（NLP）來分析輸入內容並理解上下文。
- 它根據訓練資料中學到的模式，預測下一個最合適的詞。
- 它會聚焦於你輸入中最相關的部分（透過注意力機制）。
- ChatGPT 逐字產生完整回應，然後回傳給你。
這些就是 ChatGPT 接收並回應問題的基本步驟。
GPT 是什麼意思？
ChatGPT 中的 GPT 代表「生成式預訓練轉換器」（generative pre-trained transformer）。這三個元素都是理解 ChatGPT 運作方式的關鍵。
1. 生成式
ChatGPT 是一種生成式 AI 模型——能產生文字、程式碼、圖片與聲音。其他生成式 AI 例子包括 DALL-E 圖片生成工具或音訊生成器。
2. 預訓練
ChatGPT 之所以像是知道網路上的一切，就是因為它的「預訓練」特性。GPT 模型透過「無監督學習」在大量資料上進行訓練。
在 ChatGPT 出現之前，AI 模型多以監督式學習建構——給定明確標註的輸入與輸出，並教導模型建立對應關係。這個過程相當緩慢，因為資料集必須由人工整理。
早期的 GPT 模型接觸到龐大的訓練資料後，從各種來源吸收了語言模式與語境意義。
因此，ChatGPT 是一個具備廣泛知識的聊天機器人——在公開前就已經訓練於龐大資料集。
想要讓 GPT 引擎更專精於特定任務（例如為你的組織撰寫報告）的用戶，可以利用 技術來自訂 LLM。
3. 轉換器
轉換器是一種神經網路架構，最早於 2017 年 Vaswani 等人發表的論文《Attention is All You Need》中提出。在轉換器出現前，常見的文字序列處理模型有循環神經網路（RNN）和長短期記憶網路（LSTM）。
RNN 和 LSTM 會像人類一樣依序讀取文字輸入。但轉換器架構能同時處理並評估句子中的每個詞，讓它即使在句中或句尾，也能判斷哪些詞更重要。這就是所謂的自注意力機制。
舉例來說：「老鼠無法進入籠子，因為它太大了。」
轉換器可以將「老鼠」這個詞評為比「籠子」更重要，並正確判斷句中的「它」指的是老鼠。
但像 RNN 這類模型可能會將「它」解讀為最近出現的名詞「籠子」。
「轉換器」這個特性讓 ChatGPT 能更好地理解語境，產生比前代更聰明的回應。
自然語言處理
讓 ChatGPT 看起來像魔法的一部分原因，是它運用了 自然語言處理。它能與我們對話，是因為它能處理並理解自然的人類語言。
什麼是自然語言處理？
自然語言處理（NLP）是人工智慧的一個分支，專注於電腦與人類之間透過自然語言的互動。
它讓機器能夠理解、解析並產生有意義且實用的人類語言。
NLP、NLU 與 NLG 的差異
NLP 是一個廣泛的領域，涵蓋多個子領域，包括 自然語言理解（NLU） 和自然語言生成（NLG）。
NLP 是總體領域，而 NLU 和 NLG 則是其中的專門領域。這是因為自然語言處理在對話過程中必須同時包含理解與生成。
NLP 如何運作？
NLU 會拆解人類語言，以解讀其意義和意圖。以下是逐步說明：
- 預先處理文字，移除不必要的元素（如標點符號和停用詞）。
- 系統從文字中辨識出關鍵成分，例如實體、關鍵字和片語。
- 分析句子結構，以理解詞語與概念之間的關聯。
- NLU 模型將辨識出的元素對應到特定意圖或目標。
- NLU 引擎會根據上下文和用戶互動歷史，進一步精確理解。
系統會提供結構化輸出，以觸發適當的動作或回應。
ChatGPT 訓練流程
ChatGPT 的訓練分為兩個步驟：預訓練與微調。
預訓練
首先，AI 模型會接觸大量文本資料——來自書籍、網站及其他檔案。
在預訓練階段，模型學習如何預測句子的下一個詞，這有助於它理解語言中的模式。基本上，它建立了語言的統計理解，使其能產生通順的文字。
微調
預訓練後，模型會在更特定的資料集上進行微調。對於 ChatGPT，這包括專為對話設計的資料集。
這個步驟的關鍵之一是「來自人類回饋的強化學習（RLHF）」，人類訓練師會對模型的回應進行排序。這個回饋循環有助於 ChatGPT 持續提升產生合適、有幫助且符合情境的回應能力。
ChatGPT 重要術語
標記（Token）
模型處理的文字單位（單詞或單詞片段）。ChatGPT 的輸入與輸出都會進行標記化，以提升運算效率。
零樣本學習（Zero-shot learning）
模型能夠憑藉其一般知識，執行未經特別訓練的任務。
單樣本學習是給模型一個範例，多樣本學習則是給多個範例讓模型學習。
注意力機制
轉換器模型中的一個組件，讓它在產生回應時能聚焦於輸入文字的不同部分。
幻覺（Hallucination）
當 AI 模型產生錯誤或無意義的資訊時，稱為「幻覺」。可以透過 檢索增強生成（RAG）等策略來減少幻覺。
思路鏈推理（Chain of thought reasoning）
一種幫助模型逐步思考的方法，提升其處理複雜提示或任務的能力。
有些 ChatGPT 模型自動具備這種策略——像最新的 OpenAI o1 模型。但你也可以要求任何版本進行 思路鏈推理：只要請它逐步解釋推理過程即可。
預訓練
模型在被微調前，先於大量資料集上訓練以學習語言模式的初始階段。
微調
在較小範圍的資料集或特定任務上進一步優化模型，以提升其在特定應用上的表現。
上下文視窗
模型在產生回應時，能考慮的輸入文字量上限。
若上下文視窗較小，就無法傳送長篇報告並要求摘要——模型會「忘記」文件開頭的內容。
如何自訂 ChatGPT
有幾種方式可以自訂強大的 LLM，例如驅動 ChatGPT 的 GPT 引擎。自訂自己的 LLM 代理其實沒那麼困難。
自訂 GPT
OpenAI 允許用戶依照需求自訂 GPT。你可以指示自訂 GPT 幫你學習特定桌遊規則、設計搖滾金屬樂團海報，或教你 AI 概念。
自訂 AI 代理
隨著 AI 技術進步，現在輕鬆（而且免費）就能打造自己的 LLM 驅動 AI 代理。
從低程式碼拖拉式建構器，到進階程式開發生態系，市面上有各種 優質 AI 建構平台，適合不同需求與技能層級。
打造自己的 LLM 代理，代表你可以設計專屬的 AI 助理，幫你安排會議、產生每週指標報告。你也可以建立 客服 AI 代理，部署在 WhatsApp 上。應用場景無限多。
免費打造 GPT 驅動的聊天機器人
ChatGPT 是通用型聊天機器人，但你可以利用 OpenAI 強大的 GPT 引擎，打造專屬的 AI 聊天機器人。
用你自己的自訂聊天機器人，發揮最新 LLM 的強大威力。
Botpress 是一個靈活且可無限擴充的 AI 聊天機器人平台。它讓用戶能針對任何應用情境，打造各種 AI 代理人或聊天機器人。
將你的聊天機器人整合到任何平台或通路，或從我們的預建整合庫中選擇。可參考 Botpress YouTube 頻道的教學影片，或 Botpress Academy 的免費課程開始。
立即開始打造，完全免費。
常見問題
1. ChatGPT 與 Google Bard 或 Claude 等其他 AI 聊天機器人相比有什麼不同？
ChatGPT 擅長結構化推理與程式編寫，Bard（來自 Google）則與搜尋和即時資料緊密結合，而 Claude（Anthropic 推出）則著重於安全性與較長記憶上下文。
2. ChatGPT 是否能同樣精確地理解並產生多種語言的文字？
ChatGPT 能理解並產生多種語言的文字，但其最流利、最準確的語言是英文。對於西班牙語、法語或德語等常用語言表現尚可，但在結構較複雜的語言上，表現可能會下降。
3. ChatGPT 會像人類一樣「思考」或「理解」嗎？
ChatGPT 並不會像人類一樣思考或理解。它沒有意識或真正的理解力。ChatGPT 只是根據訓練時學到的模式，統計預測最可能的下一個詞，並不具備真正的理解能力。
4. ChatGPT 會有偏見嗎？LLM 的偏見如何衡量或處理？
是的，ChatGPT 可能會出現來自訓練資料的偏見，包括社會或文化偏見。OpenAI 會透過人類回饋強化學習（RLHF）、紅隊測試和持續監控等技術來減緩偏見，但要完全消除偏見仍有挑戰。
5. ChatGPT 多久會更新一次新資訊？
ChatGPT 並非即時更新；其知識是根據訓練資料截至某個時間點為止。只有當 OpenAI 發布新版本或重新訓練模型時才會更新，因此除非某些版本啟用網頁瀏覽功能，否則可能無法反映最新事件。
.webp)
