如何優化 AI 支出成本 Botpress

提示 1：選擇正確的 AI 模型

AI 模型的選擇會顯著影響成本。因為 GPT-3.5 Turbo 比更快、更便宜 GPT-4 Turbo，我們建議您使用 GPT-3.5 Turbo，然後再考慮升級到更高級的版本。 

我們的 KB Agent 混合模式提供了一個極好的中間地帶，正如我們最初使用 GPT-3.5 Turbo 嘗試響應查詢並升級至 GPT-4 僅在必要時渦輪增壓。

提示 2：遮罩您的知識庫

您可以通過保護您的知識庫免受不需要 AI 或使用「查找記錄」卡智慧回答的不必要的典型常見問題解答的影響來減少 AI 支出。它是這樣工作的：如果您知道使用者通常會問一個問題，而我們有50個眾所周知的問題及其答案，我們可以將它們添加到表格中，並使用“查找記錄”卡片查詢該表格。如果我們沒有找到答案，只有這樣我們才會查看 KB。

提示 3：正確限定知識庫的範圍

根據要添加到知識庫的信息類型和資訊量，通常最佳做法是並行執行兩項操作以降低 AI 支出成本。首先，將您的信息組織成更小的 KB，每個 KB 的範圍限定為特定的產品/功能/主題。其次，引導使用者完成包含多個問題的工作流，以將搜索範圍縮小到特定知識庫;這不僅可以降低成本，還可以產生更好的結果。

提示 4：網站知識庫數據源與搜索 Web 知識庫數據源

如果使用網站作為知識庫數據源，但不對網站進行需要即時反映到機器人的持續更改，則使用“搜索 Web”作為知識庫數據源，而不是“網站知識庫”數據源，這是一個很好的經濟高效的替代方法。在進行轉換之前，請確保測試您預期被問到的問題的性能不會因此開關而降低。

提示 5：使用「查找記錄」或「執行代碼」卡查詢表

如果有一個包含要查詢的數據的表，請考慮使用“查找記錄”卡，而不是使用知識庫中的表。對於那些具有技術專長的人來說，執行代碼可能是一種更具成本效益的查詢表的方法。為此，您可以直接從“執行代碼”卡中查詢表，並將輸出存儲在稍後可以引用的工作流變數中。

提示 6：控制塊

我所說的塊是指將從知識庫中檢索以生成答案的塊的數量。一般來說，檢索到的區塊越多，答案就越準確——但生成 AI 代幣需要更長的時間並花費更多的 AI 代幣。嘗試塊大小，以確定仍能產生準確回應的最小量。

更智慧的消息替代方案

如果希望機器人每次都針對同一查詢發送不同的 AI 回應，則必須阻止緩存（請參閱附錄瞭解如何操作）。在某些情況下，可以通過改善對話體驗來證明 AI 支出的增加是合理的。但情況並非總是如此。

想想像一個簡單的問候語，它是用 LLMs.每次問候都會產生額外的 AI 支出成本。值得嗎？可能不是。幸運的是，有一種經濟高效的解決方法：使用具有多個響應的數位和一個簡單的函數來隨機獲取一個值並呈現它。 

根據對話量，通過實施此方法節省的金額可能非常值得。

您可以在此處找到有關 如何實現替代消息的更多詳細資訊。

簡單任務的代碼執行

對於簡單的任務，例如數據重新格式化或從結構化數據中提取資訊，使用執行代碼卡可能比依賴 LLM.

Summary Agent 的替代品

您可以使用「執行代碼」 卡創建自己的文稿。 將「執行代碼」卡放置在數位變數中要跟蹤使用者和機器人消息的任何位置。之後，您可以使用該陣列並將其作為上下文提供給知識庫。

選擇正確的 AI 模型 

是的，選擇正確的 AI 模型非常重要，值得一提兩次。與 KB 類似，AI 模型的選擇會顯著影響 AI 任務的成本。選擇 GPT-3.5 Turbo 用於不太複雜的指令。在考慮升級到更高級的版本之前，請使用此型號徹底測試您的設置。記得 GPT-4 渦輪增壓的成本比 20 倍高 GPT-3.5 渦輪增壓。除非結果要好得多，否則選擇 GPT–3.5 渦輪增壓。

除上述內容外，您還可以通過減少每次 AI 任務運行中消耗的代幣數量來節省 AI 支出。

我的建議是有意識地減少這個數字，因為這將導致任何其他令牌被截斷。例如，如果將長度限制為2000個令牌，並且提示加上輸出超過2000個令牌，則您的輸入將被相應地截斷。

AI 任務與 AI 生成文字

對於簡單的文本輸出，AI 生成文字卡使用更少的標記，並且比 AI 任務卡更容易設置。對於涉及解析資訊的任務，AI 任務卡的性能優於 AI 生成文本卡。 

因此，我的建議是，當你想使用AI來處理資訊時（例如，如果你想檢測用戶的意圖，或者如果你想讓AI分析輸入），使用AI任務卡。但是，如果您想利用 AI 生成文字，請改用 AI 生成文字卡（例如，如果您想獲取 KB 答案並擴展它，或者如果您想創造性地生成問題）。

要更深入地瞭解 AI 任務卡和 AI 生成文字卡之間的區別， 請在此處瞭解更多資訊。

翻譯

如果機器人要處理大量多語言對話，請考慮將挂鉤與外部翻譯服務集成，以獲得更具成本效益的選擇。

您可以在此處找到 有關鉤子的更多資訊。