AIの支出コストを最適化する方法Botpress

多くの企業は、過剰な出費をすることなくAI技術の可能性を活用するという課題に直面しています。私たちはこのバランスの重要性を理解し、ユーザーがコスト効率よくAIを活用できるようなソリューションの提供に努めています。

AIコストへのアプローチ

まず、AI機能のメリットを提供しながら、いかにしてユーザーのAI関連コストを削減するかについて、2つの重要な要素を理解することが重要だ。

透明な価格設定：隠れた手数料なし

AI関連業務にはマージンは一切加算されません。つまり、お客様のAI使用コストは、弊社側からのAI追加料金なしで、実際の使用量に直接関連します。AI Spend Calculatorをご利用になり、お客様の潜在的なAI Spendを見積もることができます。

AIレスポンスのキャッシュ

キャッシングは、ボットのAIコストを削減する最も効果的な戦略のひとつです。AI レスポンスをキャッシュすることで、LLM プロバイダーへのリクエスト数を削減し、ボットとユーザーとのインタラクションの質を損なうことなく、クエリのコストを約 30% 削減することができます。

AIコストを最適化するヒント

ユーザーのAIコストを下げるために私たちが取っている2つのアプローチを見てきましたが、さらにAIコストを下げるためにボットを構築する際に使えるヒントを見てみましょう。

ナレッジベースの最適化

ナレッジ・ベース（KB）を最適化することは、AI支出に大きな影響を与える可能性がある。KBは通常、Botpress プロジェクトにおけるAIコストの最大の要因だからだ。

ヒント1：適切なAIモデルを選ぶ

AIモデルの選択はコストに大きく影響します。GPT-3.5ターボは、GPT-4ターボよりも高速かつ安価であるため、より高度なバージョンへのアップグレードを検討する前に、GPT-3.5ターボでセットアップを十分にテストすることをお勧めします。 

当社のKBエージェントのハイブリッドモードは、優れた中間点を提供します。まず、GPT-3.5ターボを使用してクエリへの応答を試み、必要な場合のみGPT-4ターボにエスカレーションします。

ヒント2：KBをシールドする

AIやスマートな回答を必要としない不要な典型的なFAQをレコード検索カードでKBから遮断することで、AIの支出を減らすことができます。ユーザーが通常1つの質問をすることがわかっていて、よく知られている50の質問とその答えがある場合、それらをテーブルに追加し、レコード検索カードを使ってそのテーブルに問い合わせることができる。答えが見つからない場合は、KBを検索します。

ヒント3：KBを適切にスコープする

KBに追加したい情報の種類や量にもよりますが、通常、AIスペンドコストを削減するためには、2つのことを並行して行うのがベストプラクティスです。第一に、情報をより小さなKBに整理し、各KBを特定の製品／機能／トピックにスコープする。第二に、ユーザーを複数の質問からなるワークフローに誘導し、特定のKBに検索範囲を絞り込む。

ヒント4: ウェブサイトKBデータソースとウェブKBデータソースの比較

KBデータソースとしてウェブサイトを使用しているが、ボットにリアルタイムで反映させる必要があるようなウェブサイトの変更を常に行っていない場合、費用対効果の高い代替案として、ウェブサイトKBデータソースの代わりにSearch The WebをKBデータソースとして使用することができます。この移行を行う前に、質問されると予想される質問のパフォーマンスがこの切り替えによって低下しないことを必ずテストしてください。

ヒント5：レコード検索またはコード実行カードでテーブルをクエリする

クエリしたいデータのあるテーブルがある場合、KBでテーブルを使用する代わりにレコード検索カードを使用することを検討してください。技術的な専門知識をお持ちの方は、コードを実行することで、さらにコスト効率よくテーブルをクエリできます。コード実行カードから直接テーブルにクエリを実行し、その出力をワークフロー変数に格納し、後で参照することができます。

ヒント6：チャンクをコントロールする

チャンクとは、答えを生成するために知識ベースから検索されるチャンクの数のことです。一般的に、取得するチャンクの数が多ければ多いほど、より正確な回答が得られますが、生成に時間がかかり、AIトークンのコストも高くなります。チャンクサイズを試して、正確な回答につながる最小のチャンクサイズを確立してください。

エグゼキュート・コード・カードを使ってAI使用コストを下げる

Execute Codeカードは、いくつかのAIカードに取って代わる、コスト効率の良いカードです。いくつかのシナリオを紹介しよう：

よりスマートなメッセージの選択肢

同じクエリに対して毎回異なるAI応答をボットに送信させたい場合は、キャッシュを防止する必要があります（方法については付録を参照）。会話体験の改善によって、AIの使用量の増加を正当化できるシナリオもあります。しかし、必ずしもそうとは限りません。

LLMs で生成される簡単な挨拶のようなものを考えてみてください。あいさつをするたびに、AIスペンドの追加費用が発生します。それに見合う価値があるでしょうか？おそらく無理だろう。幸いなことに、費用対効果の高い回避策があります。複数のレスポンスを持つ配列と、ランダムに値を取得して提示する簡単な関数を使うのです。 

会話の量にもよるが、この方法を導入することで節約できる金額は、労力に見合うだけの価値がある。

代替メッセージの実装方法については、こちらをご覧ください。

単純なタスクのコード実行

データの再フォーマットや構造化データからの情報抽出などの簡単な作業であれば、Execute Code カードを使用した方が、LLM に頼るよりも効率的で、安価で、高速な作業が可能です。

要約代理人に代わるもの

Execute Code カードを使って、独自のトランスクリプトを作成することができます。 ユーザーやボットのメッセージを追跡したい場所に Execute Code カードを置き、配列変数に入れます。その後、その配列を使ってKBにコンテキストとして送ることができます。

可能な限り簡素化する

ユーザーエクスペリエンスを低下させることなく、同じ目標を達成する、よりシンプルなインタラクション方法を選択する。例えば、ユーザーからのフィードバックを収集したいのであれば、AIを使って同じ情報を収集するよりも、コメント付きのシンプルな星評価システムの方が費用対効果が高い。

AIタスク、AIテキスト生成、翻訳のヒント

適切なAIモデルを選ぶ 

そう、適切なAIモデルの選択は、2度言及する価値があるほど重要なのだ。KBと同様に、AIタスクに関しては、AIモデルの選択がコストに大きく影響する。あまり複雑でない命令には、GPT-3.5 Turboを選択する。より高度なバージョンへのアップグレードを検討する前に、このモデルでセットアップを徹底的にテストしてください。GPT-4 Turboは、GPT-3.5 Turboの20倍以上のコストがかかることを忘れないでください。結果がかなり良くならない限り、GPT-3.5ターボをお選びください。

上記に加えて、各AIタスクの実行で消費されるトークンの数を減らすことで、AI支出を節約することもできます。

私のお勧めは、この数を意識的に減らすことである。例えば、長さを2000トークンに制限した場合、プロンプトと出力が2000トークンを超えると、入力はそれに応じて切り捨てられる。

AIタスク vs AIテキスト生成

単純なテキスト出力の場合、AI Generate TextカードはAI Taskカードより少ないトークンを使用し、セットアップも簡単です。情報の解析を含むタスクでは、AI TaskカードはAI Generate Textカードより優れている。 

したがって、AIを使って情報を処理したい場合（ユーザーの意図を検出したい場合や、AIに入力を分析させたい場合など）には、AI Taskカードを使うことをお勧めする。しかし、AIを活用してテキストを生成したい場合は、代わりにAI Generate Textカードを使用します（例えば、KBアンサーを受け取ってそれを拡張したい場合や、創造的に質問を生成したい場合など）。

AIタスクカードとAIテキスト生成カードの違いについては、こちらをご覧ください。

翻訳

ボットが多言語での会話を大量に処理する場合は、フックを外部の翻訳サービスと統合することで、より費用対効果の高いオプションを検討してください。

フックについての詳細はこちらをご覧ください。

結論

これらの戦略とヒントを活用すれば、Botpress でAI支出を最適化できるようになる。さまざまなタスクのコストへの影響を理解し、ニーズに合わせて最も効率的な方法を選択することで、パフォーマンスを損なうことなくAI関連の経費を削減することができます。

私たちのチームは、あなたがこれらのオプションをナビゲートし、あなたのボットは、最も効率的なコストでユーザーに可能な限り最高の経験を提供することを保証するためにここにお手伝いします。詳しくは 価格ページをご覧いただくか、Discord サーバーまでお問い合わせください。

付録

キャッシュを防ぐ方法

キャッシュを克服して常にライブの結果を得たい場合は、以下のオプションのいずれかを実行してください：

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• 一時的なキャッシュ防止：ボットを公開し、シークレットウィンドウからテストしてください。

注：このキャッシュレイヤーを削除し、ボットに他の変更を加えない場合、AI消費コストは増加します。

推奨コース

• ‍ChatGPT 開発者向けプロンプトエンジニアリング（タイトルには開発者向けとあるが、非開発者にもメリットがある！）。
• ChatGPT APIを使ったシステム構築