OpenAI 期盼已久的 o1 模型系列因其先進的推理能力而成為焦點，這是人工智慧領域的一大進展。
o1 的推理能力與 Botpress 用戶熟悉的一項功能——Autonomous Node——其實頗為相似。Autonomous Node 於 2024 年 7 月推出，是 AI agent 平台中首創的功能。
Botpress 執行長暨 Autonomous Nodes 主要設計者 Sylvain Perron，親自說明這兩種推理引擎的異同。
Botpress 執行長 Sylvain Perron 比較 OpenAI o1 與 Autonomous Node
OpenAI 最新的 o1 模型和 Botpress 的 Autonomous Nodes 之間有很多相似之處，對嗎？
確實如此。看到 o1 推出時我們覺得很有趣。但要注意的是，這兩者其實不能直接類比。
OpenAI o1 很明顯是一個 LLM，而 Autonomous Nodes 則是平台上的一項功能。你甚至可以把 o1 接到 Botpress 上，與 Autonomous Nodes 一起使用。
但兩者都採用 chain-of-thought reasoning（思路鏈推理），這是一種自下而上的方式，來決定該做什麼、該說什麼。
你可以解釋一下思路鏈推理（chain-of-thought reasoning）以及它和語言模型一般生成回應方式的不同嗎？
當然可以——大多數 LLM 產生回應時，是根據前一個詞預測下一個詞——先產生第一個詞，再用這個詞產生下一個，如此反覆。這對於回答簡單問題很有效，但遇到需要多步推理的複雜任務時就會失效。
而 chain-of-thought reasoning 則是 AI 把任務拆解成小步驟，並在每一步都明確推理後才進行下一步。這有點像學生在解 STEM 考題時，必須逐步寫出解題過程。
舉例來說，如果 AI 要在 CRM 建立一個潛在客戶——需要檢查重複、指派負責人等等——它必須用 chain-of-thought reasoning 逐步思考每個步驟，並在執行前規劃完整的行動流程。它不會在還沒判斷是否重複前就開始填表，而是事先就知道。
因此，系統可以處理多步驟、相互依賴的複雜任務，但也會因此變慢，因為它必須停下來思考，而不是立即產生結果。
o1 和 Autonomous Nodes 都用 chain-of-thought 推理——兩者的過程一樣嗎？還是有什麼不同？
有些地方相似，也有些不同。我們仍然用 chain-of-thought reasoning，但因為我們是為實際客戶打造，所以在速度和效率上做了幾個優化。
Autonomous Nodes 的設計可以在一次 LLM 呼叫中處理多個動作。目標是讓思考和執行在同一流程內完成，節省時間。
Autonomous Nodes 會在思考過程中即時回報進度，讓使用者不會只是乾等，這更貼近自然對話——沒有人會被晾在那裡等三十秒以上。開發者也能檢視 LLM 的內部思考，方便排查問題。
相對地，o1 只會回傳一個答案，而且很難看到其思考過程。OpenAI 只提供 chain-of-thought 的摘要，沒辦法直接檢查細節，排錯也更困難。
兩者之間還有其他差異嗎？
o1 需要開發者或平台來託管呼叫工具的函式。每一步都要單獨發 API 請求，模型必須先請求一個動作、等結果，再請下一步，而且要一再遞迴呼叫。這讓使用門檻變高，因為你必須提供底層的執行架構。
Autonomous Nodes 則會自動在背景處理這些步驟。
o1 在成本和速度方面表現如何？
假設你用 LLM 或 AI agent 協助 Hubspot 任務，例如和網站訪客聊天，進行 AI lead generation。
如果你請 o1 在 Hubspot 填寫潛在客戶表單——假設你能不用第三方連接器就串接——它會花 12 秒，成本是用 Botpress 的 5 倍。
我們平台的速度部分來自於 schema-based 設計，系統一開始就知道需要哪些資料，以及資料的結構。
所以當你用 HubSpot 或 Salesforce 這類工具時，系統已經有預設的 JSON schema，告訴它需要哪些輸入——像是名字、電子郵件、公司名稱等。
這讓 Autonomous Nodes能從一開始就推理整個任務，不必每一步都停下來再詢問更多資訊。
你可以自己提供更多上下文來減少步驟和時間，但這會讓你花更多時間開發基於 o1 的應用程式，也會增加維護成本。
你提到可靠性提升。是什麼讓 Autonomous Nodes 比 o1 更可靠？
我們讓輸出更可靠的最大關鍵，就是把 chain-of-thought reasoning 和我們設計的 protocol tool calling 結合起來。
我們基本上創造了一個可以思考的環境——而且全部用程式碼，不是純文字。老實說，這比 OpenAI 的版本又快又穩定，原因有幾個。
其中一個是它可以在一連串動作中同時對話。這是 OpenAI 模型做不到的。
另一個原因是 AI 知道輸出的 schema。它知道根據收到的查詢，應該產生什麼類型的 JSON。
而且開發者可以自行調整。如果他們經常收到用戶類似的問題，可以調整 AI，讓每次都給出最合適的答案。
它在流程中有多少部分是使用 JSON？
純英文其實不夠可靠，對吧？它不夠正式，也不夠嚴謹。
程式語言也是一種語言，但它很正式。它是專用語言，只能在特定規則和語法下使用。
所以我們的工具呼叫是用 JSON 回應，而不是英文。輸出是 JSON，並有 JSON schema，而不是純文字。
當你請求在 Hubspot 建立潛在客戶表單時，內容是用 JSON 寫的，schema 也是 JSON，裡面包含所有需要的屬性，例如姓名、公司等。
Autonomous Nodes 和 o1 模型在工具呼叫上有什麼主要差異？
我們的工具呼叫非常有情境意識。它了解你的所有系統、可執行的所有動作，以及資料如何傳遞到下一個工具。我們可以在一次 LLM 呼叫中產生一個整合所有資訊的程式碼區塊，並同時給出答案。
理論上你可以用 o1 API 來做工具呼叫，但能呼叫的內容有限制。但 Botpress 就是為這個設計的。我們在其他 LLM（包括 GPT）上有額外的安全機制。
Autonomous Nodes 也可以在呼叫工具時同時對話，這是 OpenAI 目前不支援的。這可以省下一次伺服器往返，讓對話體驗更好，因為用戶在長時間任務開始前就會被通知。
多數組織都被提醒不要用 ChatGPT 處理機密工作資料。Autonomous Nodes 會比較沒有這些疑慮嗎？
我們的平台是為高流量、低延遲環境打造的，設計時就考慮到企業的實際需求。
Autonomous Nodes 的優勢不是我們發明了全新的 AI，而是我們把現有技術用更聰明的工程方式，讓它更符合企業需求。
我們有安全的沙盒環境讓 AI 產生對話。你用 Autonomous Node 時，這些秘密沙盒是免費運作的。它們安全、可擴展，任務結束後沙盒就會被銷毀。
這是一種具有兩層虛擬隔離的機制——分為進入檢查和離開檢查。這個設計相當複雜，但它讓我們能以極低的安全風險執行大規模 LLM 生成的程式碼。
如果開發者或 AI 愛好者想體驗 Autonomous Node，需要怎麼做？
我們提供相當寬鬆的免費方案，所有用戶都可以試用。我們認為這個功能太酷了，不應該設限。所以只要註冊免費的 Botpress 帳號，就能親自體驗。
.webp)
