AIの支出コストを最適化する方法Botpress

ヒント1：適切なAIモデルを選ぶ

AIモデルの選択はコストに大きく影響します。GPT-3.5ターボは、GPT-4ターボよりも高速かつ安価であるため、より高度なバージョンへのアップグレードを検討する前に、GPT-3.5ターボでセットアップを十分にテストすることをお勧めします。 

当社のKBエージェントのハイブリッドモードは、優れた中間点を提供します。まず、GPT-3.5ターボを使用してクエリへの応答を試み、必要な場合のみGPT-4ターボにエスカレーションします。

ヒント2：KBをシールドする

AIやスマートな回答を必要としない不要な典型的なFAQをレコード検索カードでKBから遮断することで、AIの支出を減らすことができます。ユーザーが通常1つの質問をすることがわかっていて、よく知られている50の質問とその答えがある場合、それらをテーブルに追加し、レコード検索カードを使ってそのテーブルに問い合わせることができる。答えが見つからない場合は、KBを検索します。

ヒント3：KBを適切にスコープする

KBに追加したい情報の種類や量にもよりますが、通常、AIスペンドコストを削減するためには、2つのことを並行して行うのがベストプラクティスです。第一に、情報をより小さなKBに整理し、各KBを特定の製品／機能／トピックにスコープする。第二に、ユーザーを複数の質問からなるワークフローに誘導し、特定のKBに検索範囲を絞り込む。

ヒント4: ウェブサイトKBデータソースとウェブKBデータソースの比較

KBデータソースとしてウェブサイトを使用しているが、ボットにリアルタイムで反映させる必要があるようなウェブサイトの変更を常に行っていない場合、費用対効果の高い代替案として、ウェブサイトKBデータソースの代わりにSearch The WebをKBデータソースとして使用することができます。この移行を行う前に、質問されると予想される質問のパフォーマンスがこの切り替えによって低下しないことを必ずテストしてください。

ヒント5：レコード検索またはコード実行カードでテーブルをクエリする

クエリしたいデータのあるテーブルがある場合、KBでテーブルを使用する代わりにレコード検索カードを使用することを検討してください。技術的な専門知識をお持ちの方は、コードを実行することで、さらにコスト効率よくテーブルをクエリできます。コード実行カードから直接テーブルにクエリを実行し、その出力をワークフロー変数に格納し、後で参照することができます。

ヒント6：チャンクをコントロールする

チャンクとは、答えを生成するために知識ベースから検索されるチャンクの数のことです。一般的に、取得するチャンクの数が多ければ多いほど、より正確な回答が得られますが、生成に時間がかかり、AIトークンのコストも高くなります。チャンクサイズを試して、正確な回答につながる最小のチャンクサイズを確立してください。

よりスマートなメッセージの選択肢

同じクエリに対して毎回異なるAI応答をボットに送信させたい場合は、キャッシュを防止する必要があります（方法については付録を参照）。会話体験の改善によって、AIの使用量の増加を正当化できるシナリオもあります。しかし、必ずしもそうとは限りません。

LLMs で生成される簡単な挨拶のようなものを考えてみてください。あいさつをするたびに、AIスペンドの追加費用が発生します。それに見合う価値があるでしょうか？おそらく無理だろう。幸いなことに、費用対効果の高い回避策があります。複数のレスポンスを持つ配列と、ランダムに値を取得して提示する簡単な関数を使うのです。 

会話の量にもよるが、この方法を導入することで節約できる金額は、労力に見合うだけの価値がある。

代替メッセージの実装方法については、こちらをご覧ください。

単純なタスクのコード実行

データの再フォーマットや構造化データからの情報抽出などの簡単な作業であれば、Execute Code カードを使用した方が、LLM に頼るよりも効率的で、安価で、高速な作業が可能です。

要約代理人に代わるもの

Execute Code カードを使って、独自のトランスクリプトを作成することができます。 ユーザーやボットのメッセージを追跡したい場所に Execute Code カードを置き、配列変数に入れます。その後、その配列を使ってKBにコンテキストとして送ることができます。

適切なAIモデルを選ぶ 

そう、適切なAIモデルの選択は、2度言及する価値があるほど重要なのだ。KBと同様に、AIタスクに関しては、AIモデルの選択がコストに大きく影響する。あまり複雑でない命令には、GPT-3.5 Turboを選択する。より高度なバージョンへのアップグレードを検討する前に、このモデルでセットアップを徹底的にテストしてください。GPT-4 Turboは、GPT-3.5 Turboの20倍以上のコストがかかることを忘れないでください。結果がかなり良くならない限り、GPT-3.5ターボをお選びください。

上記に加えて、各AIタスクの実行で消費されるトークンの数を減らすことで、AI支出を節約することもできます。

私のお勧めは、この数を意識的に減らすことである。例えば、長さを2000トークンに制限した場合、プロンプトと出力が2000トークンを超えると、入力はそれに応じて切り捨てられる。

AIタスク vs AIテキスト生成

単純なテキスト出力の場合、AI Generate TextカードはAI Taskカードより少ないトークンを使用し、セットアップも簡単です。情報の解析を含むタスクでは、AI TaskカードはAI Generate Textカードより優れている。 

したがって、AIを使って情報を処理したい場合（ユーザーの意図を検出したい場合や、AIに入力を分析させたい場合など）には、AI Taskカードを使うことをお勧めする。しかし、AIを活用してテキストを生成したい場合は、代わりにAI Generate Textカードを使用します（例えば、KBアンサーを受け取ってそれを拡張したい場合や、創造的に質問を生成したい場合など）。

AIタスクカードとAIテキスト生成カードの違いについては、こちらをご覧ください。

翻訳

ボットが多言語での会話を大量に処理する場合は、フックを外部の翻訳サービスと統合することで、より費用対効果の高いオプションを検討してください。

フックについての詳細はこちらをご覧ください。