Botpress 首席執行官在OpenAI o1 與自治節點

兩者之間存在一些主要相似之處OpenAI的新o1模型和Botpress 自治節點，對嗎？

肯定有。看到o1出來真是太有趣了。但值得注意的是，我們並沒有將蘋果與蘋果進行比較。 

OpenAI 顯然，o1 是LLM ，而自治節點是一個平台功能。您甚至可以將 o1 插入Botpress 並將其與您的自治節點一起使用。  

但他們都使用思維鏈推理，一種自下而上的方法來得出關於該做什麼和該說什麼的結論。

您能否解釋一下思維鏈推理以及它與語言模型通常產生回應的方式有何不同？

當然——大多數LLMs 透過根據前一個單字預測下一個單字來產生回應 - 他們產生第一個單詞，然後使用它產生下一個單詞，依此類推。這適用於回答簡單的問題，但在具有多步驟推理的更複雜的任務中卻非常失敗。

另一方面，思想鏈推理是指人工智慧將一項任務分解為更小的步驟，並在繼續下一個步驟之前明確地推理每個步驟。這類似於要求學生回答 STEM 考試問題的方式。 

例如，如果人工智慧在 CRM 中建立潛在客戶（需要檢查重複項、分配潛在客戶等），則需要使用思維鏈推理來思考每個步驟，並規劃一個完整的流程。在意識到表格是重複的之前，它不會開始填寫表格，它在開始之前就知道了。

因此，系統可以處理具有多個依賴項的更複雜的任務，但它也會減慢速度，因為它必須暫停和思考，而不是立即生成。

o1 和自治節點都使用思想鏈推理 - 兩者的過程相同，還是兩者之間有差異？

有一些相似之處，也有一些不同之處。我們仍然使用思維鏈推理，但因為我們是為現實世界的客戶建立的，所以我們以幾種不同的方式優化速度和效率。 

透過自治節點，我們設計的系統可以在單一LLM呼叫中處理多個操作。我們的想法是在同一個過程中思考和行動，這樣我們就不會浪費時間。 

自治節點思考並向使用者提供更新，這樣使用者就不會只是等待其思考過程結束。這更類似於自然對話，人們不會懸而未決地等待 30 秒以上。開發者可以探討隱藏的想法LLM 並解決問題所在。

另一方面，o1 回傳一個答案，其思考過程的可見性有限。 OpenAI 提供了思想鏈的摘要而不顯示它，這使得故障排除變得更加棘手。

兩者之間還有其他差異嗎？

o1 需要開發人員或平台來託管呼叫工具呼叫的函數。每個步驟都需要單獨的 API 呼叫，這意味著模型必須請求一個操作，等待結果，然後調用下一個操作。並且您需要一次又一次地遞歸調用它。這使得它的使用門檻更高，因為你必須提供底層功能運行架構。 

自治節點在後台自動執行此操作。

o1 在成本和速度方面相比如何？

假設您正在使用LLM 或 AI 代理來協助 Hubspot 任務，例如與網站訪客聊天作為AI 潛在客戶生成的一種方式。

如果您要求o1 在Hubspot 上填寫潛在客戶表格– 我的意思是，假設您可以在沒有第三方連接器的情況下連接它– 這將需要12 秒，並且成本比您在Hubspot 上填寫的費用高5倍Botpress 。

部分速度來自我們平台基於模式的設計，這意味著系統預先知道需要什麼資料以及該資料的結構是什麼樣的。 

因此，當您使用 HubSpot 或 Salesforce 等工具時，系統已經有一個預先定義的 JSON 模式，告訴它需要哪些輸入 - 例如名字、電子郵件地址、公司名稱等。 

這允許自治節點從一開始就推理整個任務，而不必在每一步停下來詢問更多資訊。

您可以透過自己提供上下文來降低速度和步驟，但代價是花費更多時間建立基於 o1 的應用程式。所以這也是增加維修成本的問題。 

您提到了更高的可靠性。是什麼讓自治節點比 o1 更可靠？

我們使輸出更加可靠的最大方法是將思想推理鏈與我們創建的協議工具呼叫結合。 

我們所做的本質上是創造一個可以思考的環境——並且全部以程式碼形式呈現，而不是純文字形式。老實說，它比OpenAI 版本，有幾個原因。

一是它可以在整個動作序列中同時說話。那是某事OpenAI 模型不行。 

另一個原因是人工智慧了解輸出模式。它根據收到的查詢知道應該輸出什麼類型的 JSON。 

開發人員可以自行調整。如果他們正在使用這個，並且像大多數人一樣從用戶那裡收到大量類似的問題，他們可以調整人工智慧，以便每次都能給出最好、最合適的答案。  

過程中有多少部分使用了 JSON？

簡單的英語是不可靠的，對吧？還不夠正式。還不夠嚴格。 

程式語言是一種語言，但它是形式化的。它是一種特定領域的語言；您只能在某些邊界和語法角色內使用它。

因此我們的工具呼叫JSON 格式的回應而不是 English 。它是帶有 JSON 架構的 JSON 輸出，而不是純文字。

當您要求在 Hubspot 中建立潛在客戶表單時，它是用 JSON 編寫的，並且架構（也是 JSON 格式）給出了它需要包含的所有屬性，例如姓名、公司等。

自治節點和o1模型之間的工具呼叫之間的主要差異是什麼？

我們的工具呼叫具有高度的上下文感知能力。它了解您的所有系統、它可以採取的所有操作以及如何將這些資料輸入到下一個工具中。我們可以產生一個程式碼區塊，將所有這些放在一起，並給出一個答案，所有這些都在一個程式碼區塊中LLM 稱呼。

理論上，您可以使用 o1 API 進行工具調用，但調用工具的內容有限制。但Botpress 是為它而建的。我們在其他的上面有護欄LLMs ， 包括GPT 。 

自治節點還可以在呼叫工具時同時通話，這不是OpenAI 目前支援。這可以節省與伺服器的往返次數，並提供更好的對話式使用者體驗，因為使用者會在長時間運行的任務開始之前收到通知。

大多數組織都被警告不要使用ChatGPT 具有安全的工作資料。對自治節點的擔憂是否減少了？

我們的平台專為高容量、低延遲環境而構建，並在設計時考慮了企業的實際需求。

自治節點的優勢並不在於我們創造了一種全新類型的人工智慧，而是我們採用了現有技術並應用了智慧工程，使其能夠更好地滿足業務需求。 

我們擁有用於人工智慧生成通訊的安全沙箱。當您使用自治節點時，它會免費運行這些秘密沙箱。它們是安全的、可擴展的。之後，沙箱被破壞。 

這是一個具有兩層的虛擬隔離——簽入和簽出。這非常複雜。但這意味著我們可以大規模運行LLM - 產生的程式碼具有最小的安全風險。

如果開發者或人工智慧愛好者想嘗試自治節點，他們需要做什麼？

我們有慷慨的免費套餐。我們所有的用戶都可以嘗試一下。我們認為這個功能太酷了，無法控制。所以，是的，只需製作一個免費的Botpress 帳戶，您可以親自查看。 

完美的。非常感謝您坐下來將這兩個功能之間的點連接起來。 o1 經常成為頭條新聞；很高興能更好地理解它如何連結到什麼Botpress 正在發展。