OpenAIが満を持して発表した「o1」シリーズは、その高度な推論能力で話題となった。
o1の推論能力は、Botpress のユーザーにはおなじみの機能、自律ノードと似て非なるものだ。2024年7月に発表されたAutonomous Nodeは、AIエージェント・プラットフォームとしては初めてのものだった。
Sylvain Perron Botpress のCEOであり、同プラットフォームの自律ノード（Autonomous Nodes）のチーフアーキテクトでもある彼は、2つの推論主体の類似点と相違点について説明した。
Botpress CEOSylvain Perron 、OpenAI o1と自律ノードを比較する。
OpenAIの新しいo1モデルとBotpress 自律ノードには大きな共通点がありますね？
確かにある。o1が出てきたのはとても面白かった。しかし、ここで注意しなければならないのは、リンゴとリンゴを比較しているわけではないということだ。
OpenAI o1は明らかにLLM 、Autonomous Nodesはプラットフォームの機能だ。o1をBotpress 、Autonomous Nodesと一緒に使うこともできる。
しかし、両者とも思考の連鎖、つまりボトムアップのアプローチで、何をすべきか、何を言うべきかという結論に達する。
思考連鎖推論と、言語モデルが一般的に回答を生成する方法との違いについて説明していただけますか？
もちろん、ほとんどのLLMs 、前の単語に基づいて次の単語を予測し、回答を生成する。最初の単語を生成し、それを使って次の単語を生成し、その繰り返しである。これは簡単な質問に答えるには有効だが、多段階の推論を伴う複雑なタスクでは大失敗する。
一方、思考連鎖型推論とは、AIがタスクをより小さなステップに分解し、次のステップに進む前にそれぞれのステップを明示的に推論することである。これは、STEMの試験問題で生徒が答えを導き出すよう求められるのと似ている。
例えば、AIがCRMでリードを作成する場合、重複のチェックやリードの割り当てなどを行う必要があるが、AIは思考連鎖推論を使って各ステップについて考え、実行を開始する前に一連の行動を計画する必要がある。重複に気づく前にフォームへの記入を始めるのではなく、始める前にわかっているのだ。
そのため、システムは複数の依存関係を持つより複雑なタスクを処理することができるが、即座に生成するのではなく、一時停止して考える必要があるため、処理速度も遅くなる。
o1も自律ノードも思考連鎖推論を使っていますが、どちらも同じプロセスなのでしょうか、それとも両者に違いがあるのでしょうか？
類似点もあれば相違点もある。私たちは思考の連鎖による推論を今でも使っていますが、現実世界のクライアントのために構築しているため、スピードと効率のためにいくつかの異なる方法で最適化しています。
Autonomous Nodesでは、1回のLLM ・コールで複数のアクションを処理できるようにシステムを設計した。同じプロセスの中で考え、行動することで、時間のロスをなくそうというわけだ。
自律ノードが考え、ユーザーにアップデートを与えるので、ユーザーは単にノードの思考プロセスが終わるのを待つだけでなくなる。これは自然な会話に近く、30秒以上も待たされることはない。開発者は、LLM の隠された思考を調べ、何が問題だったのかをトラブルシューティングすることができる。
一方、o1は1つの答えを返すだけで、その思考プロセスの可視性は限られている。OpenAI 、思考の連鎖を示すことなく要約を提供するため、トラブルシューティングがよりやっかいになる。
両者の違いは他にありますか？
o1は、ツールコールを呼び出す関数をホストする開発者やプラットフォームを必要とする。つまり、モデルはあるアクションをリクエストし、その結果を待ち、次のアクションをコールしなければならない。そして、これを何度も何度も再帰的に呼び出す必要がある。このため、基礎となる機能を実行するアーキテクチャを提供しなければならないので、使用する障壁が高くなる。
自律ノードがバックグラウンドで自動的にこれを行う。
o1のコストとスピードの比較は？
例えば、AIリードジェネレーションの方法としてウェブサイト訪問者とチャットするなど、ハブスポットのタスクを支援するためにLLM 、AIエージェントを使用しているとしましょう。
o1にハブスポットでリードフォームに入力させた場合、つまり、サードパーティのコネクターなしで接続できたと仮定した場合、Botpress で入力した場合よりも12秒かかり、コストは5倍になります。
このスピードの一部は、私たちのプラットフォームがスキーマ・ベースの設計になっていることに起因しています。つまり、システムはどのようなデータが必要で、そのデータの構造がどのようなものかを前もって知っているのです。
HubSpotやSalesforceのようなツールを使っている場合、システムにはすでに定義済みのJSONスキーマがあり、姓名、メールアドレス、会社名など、どのような入力が必要かを教えてくれます。
これにより自律ノードは、各ステップで立ち止まってより多くの情報を求めることなく、タスク全体を最初から推論することができる。
自分でコンテキストを提供することで、スピードとステップを減らすことができますが、その代償として、o1ベースのアプリケーションの構築に多くの時間を費やすことになります。つまり、それはメンテナンス・コストの増加という問題でもある。
信頼性が高まったとおっしゃっていますね。自律ノードがo1より信頼性が高いのはなぜですか？
私たちがアウトプットの信頼性を高めた最大の方法は、思考の連鎖推論と私たちが作成したプロトコルツールの呼び出しをミックスすることだった。
私たちがしたことは、基本的に、プレーンテキストではなく、すべてコードで、考えることができる環境を作ることでした。正直なところ、いくつかの理由から、OpenAI バージョンよりも高速で信頼性が高い。
ひとつは、一連の動作を通して同時に話すことができるということだ。これは、OpenAI モデルにはないものだ。
もう一つの理由は、AIが出力スキーマを知っているからだ。受け取ったクエリーに基づいて、どのようなタイプのJSONを吐き出すべきかを知っているのだ。
また、開発者自身がチューニングすることもできる。もし開発者がこれを使用していて、ユーザーから同じような質問が大量に寄せられるのであれば、ほとんどのユーザーと同じように、AIをチューニングして、毎回最適で最も適切な回答が得られるようにすることができる。
どの程度のプロセスでJSONを使うのですか？
平易な英語は信頼性に欠けるだけでしょう？フォーマルさが足りない。厳密さが足りない。
プログラミング言語は言語だが、形式的なものだ。ある特定の境界線と構文の役割の中でしか使うことができない。
そのため、我々のツールは英語の代わりにJSONで返信を呼び出す。プレーンテキストの代わりにJSONスキーマでJSON出力するのだ。
ハブスポットでリードフォームを作成するリクエストを行うと、そのフォームはJSONで記述され、スキーマ（これもJSON）には、名前や会社名など、フォームに含める必要のあるすべてのプロパティが記述されています。
オートノミー・ノードとo1モデルのツールコールの主な違いは何ですか？
私たちのツール・コールは、高度にコンテキストを認識している。それは、あなたのすべてのシステム、それが取ることができるすべてのアクション、そしてそのデータが次のツールにどのように供給されるかを理解している。そして、これらすべてを一緒に提供し、さらに答えを与える1つのコードブロックを、1つのLLM ・コールで生成することができる。
理論的には、o1 APIを使ってツールを呼び出すことができるが、ツールを呼び出せるものには制約がある。しかし、Botpress 。GPT を含む他のLLMs の上にガードレールがある。
自律ノードは、ツールを呼び出しながら同時に会話することもできる。これは、OpenAI が現在サポートしているものではない。これにより、サーバーへのラウンドトリップが節約され、長時間実行されるタスクが開始される前にユーザーに通知されるため、より良い会話UXが得られます。
ほとんどの組織は、ChatGPT 、安全な作業データを使用しないよう警告している。自律ノードに対する懸念は少ないのか？
当社のプラットフォームは、大容量、低レイテンシーの環境向けに構築されており、企業の実用的なニーズを念頭に置いて設計されています。
自律型ノードの利点は、私たちがまったく新しいタイプのAIを生み出したことではなく、既存のテクノロジーを取り入れ、ビジネスのニーズによりよく機能するようにスマートエンジニアリングを適用したことです。
私たちは、AIが通信を生成するためのセキュアなサンドボックスを持っています。Autonomous Nodeを使用すると、これらの秘密のサンドボックスを無料で実行できます。セキュアでスケーラブルだ。そしてその後、サンドボックスは破棄される。
これは、チェックインとチェックアウトという2つのレイヤーを持つ仮想隔離である。かなり複雑だ。しかし、これは大規模なLLM-生成コードを最小限のセキュリティ・リスクで実行できることを意味する。
開発者やAI愛好家がAutonomous Nodeを試したいと思ったら、何をすればいいのだろうか？
私たちは寛大な無料層を用意しています。全ユーザーが試すことができます。あまりにクールな機能なので、門戸を閉ざすのはもったいないと思ったのです。ですから、Botpress の無料アカウントを作って、ご自分の目で確かめてください。
%20(1).webp)
