如何優化 AI 支出成本 Botpress

許多企業都面臨著在不超支的情況下利用人工智慧技術潛力的挑戰。我們瞭解這種平衡的重要性，並致力於提供解決方案，使我們的用戶能夠經濟高效地利用人工智慧。

我們的 AI 成本方法

首先，重要的是要了解我們如何為使用者降低與 AI 相關的成本，同時仍提供 AI 功能的好處的兩個重要組成部分。

透明的定價：無隱藏費用

我們不會在與 AI 相關的任務上添加任何利潤。這意味著您的 AI 支出成本與您的實際使用量直接相關，我們這邊不會產生任何額外的 AI 費用。您可以使用我們的 AI 支出計算機 來估算您在我們這裡的潛在 AI 支出。

緩存 AI 回應

緩存是我們降低機器人 AI 成本的最有效策略之一。通過緩存 AI 回應，我們減少了對 LLM 供應商，它可以將查詢成本降低約30%，從而為您節省資金，而不會影響機器人與使用者的交互品質。

優化 AI 成本的技巧

現在，我們已經了解了我們為降低使用者的 AI 支出而採取的兩種方法，讓我們看看在構建機器人時可以使用的技巧，以進一步降低其 AI 成本。

優化您的知識庫

優化您的知識庫 （KB） 可以極大地影響您的 AI 支出，因為 KB 通常是 Botpress 專案。

提示 1：選擇正確的 AI 模型

AI 模型的選擇會顯著影響成本。由於 GPT-3.5 Turbo 比 GPT-4 Turbo 更快、更便宜，我們建議在考慮升級到更高級的版本之前，先使用 GPT-3.5 Turbo 徹底測試您的設置。 

我們的 KB Agent 混合模式提供了一個很好的中間地帶，因為我們最初使用 GPT-3.5 Turbo 來嘗試響應查詢，並僅在必要時升級到 GPT-4 Turbo。

提示 2：遮罩您的知識庫

您可以通過保護您的知識庫免受不需要 AI 或使用「查找記錄」卡智慧回答的不必要的典型常見問題解答的影響來減少 AI 支出。它是這樣工作的：如果您知道使用者通常會問一個問題，而我們有50個眾所周知的問題及其答案，我們可以將它們添加到表格中，並使用“查找記錄”卡片查詢該表格。如果我們沒有找到答案，只有這樣我們才會查看 KB。

提示 3：正確限定知識庫的範圍

根據要添加到知識庫的信息類型和資訊量，通常最佳做法是並行執行兩項操作以降低 AI 支出成本。首先，將您的信息組織成更小的 KB，每個 KB 的範圍限定為特定的產品/功能/主題。其次，引導使用者完成包含多個問題的工作流，以將搜索範圍縮小到特定知識庫;這不僅可以降低成本，還可以產生更好的結果。

提示 4：網站知識庫數據源與搜索 Web 知識庫數據源

如果使用網站作為知識庫數據源，但不對網站進行需要即時反映到機器人的持續更改，則使用“搜索 Web”作為知識庫數據源，而不是“網站知識庫”數據源，這是一個很好的經濟高效的替代方法。在進行轉換之前，請確保測試您預期被問到的問題的性能不會因此開關而降低。

提示 5：使用「查找記錄」或「執行代碼」卡查詢表

如果有一個包含要查詢的數據的表，請考慮使用“查找記錄”卡，而不是使用知識庫中的表。對於那些具有技術專長的人來說，執行代碼可能是一種更具成本效益的查詢表的方法。為此，您可以直接從“執行代碼”卡中查詢表，並將輸出存儲在稍後可以引用的工作流變數中。

提示 6：控制塊

我所說的塊是指將從知識庫中檢索以生成答案的塊的數量。一般來說，檢索到的區塊越多，答案就越準確——但生成 AI 代幣需要更長的時間並花費更多的 AI 代幣。嘗試塊大小，以確定仍能產生準確回應的最小量。

使用執行代碼卡降低 AI 支出成本

Execute Code 卡可以作為某些 AI 卡的合適且經濟高效的替代品。以下是可以考慮使用它們的幾種方案：

更智慧的消息替代方案

如果希望機器人每次都針對同一查詢發送不同的 AI 回應，則必須阻止緩存（請參閱附錄瞭解如何操作）。在某些情況下，可以通過改善對話體驗來證明 AI 支出的增加是合理的。但情況並非總是如此。

可以考慮一下使用 LLM 生成的簡單問候語。每次問候都會產生額外的 AI 支出成本。值得嗎？可能不是。幸運的是，有一種經濟高效的解決方法：使用具有多個響應的數位和一個簡單的函數來隨機獲取一個值並呈現它。 

根據對話量，通過實施此方法節省的金額可能非常值得。

您可以在此處找到有關 如何實現替代消息的更多詳細資訊。

簡單任務的代碼執行

對於簡單的任務，例如數據重新格式化或從結構化數據中提取資訊，使用執行代碼卡可能比依賴 LLM.

Summary Agent 的替代品

您可以使用「執行代碼」 卡創建自己的文稿。 將「執行代碼」卡放置在數位變數中要跟蹤使用者和機器人消息的任何位置。之後，您可以使用該陣列並將其作為上下文提供給知識庫。

盡可能簡化

選擇更簡單的交互方法，在不降低使用者體驗的情況下實現相同的目標。例如，如果你有興趣收集用戶反饋，一個簡單的帶有評論的星級評定系統將比使用人工智慧收集相同的資訊更具成本效益。

AI 任務、AI 生成文字和翻譯的提示

選擇正確的 AI 模型 

是的，選擇正確的 AI 模型非常重要，值得一提兩次。與 KB 類似，AI 模型的選擇會顯著影響 AI 任務的成本。選擇 GPT-3.5 Turbo 以獲得不太複雜的說明。在考慮升級到更高級的版本之前，請使用此型號徹底測試您的設置。請記住，GPT-4 Turbo 的成本是 GPT-20 Turbo 的 3.5 倍。除非結果好得多，否則請選擇 GPT–3.5 Turbo。

除上述內容外，您還可以通過減少每次 AI 任務運行中消耗的代幣數量來節省 AI 支出。

我的建議是有意識地減少這個數字，因為這將導致任何其他令牌被截斷。例如，如果將長度限制為2000個令牌，並且提示加上輸出超過2000個令牌，則您的輸入將被相應地截斷。

AI 任務與 AI 生成文字

對於簡單的文本輸出，AI 生成文字卡使用更少的標記，並且比 AI 任務卡更容易設置。對於涉及解析資訊的任務，AI 任務卡的性能優於 AI 生成文本卡。 

因此，我的建議是，當你想使用AI來處理資訊時（例如，如果你想檢測用戶的意圖，或者如果你想讓AI分析輸入），使用AI任務卡。但是，如果您想利用 AI 生成文字，請改用 AI 生成文字卡（例如，如果您想獲取 KB 答案並擴展它，或者如果您想創造性地生成問題）。

要更深入地瞭解 AI 任務卡和 AI 生成文字卡之間的區別， 請在此處瞭解更多資訊。

翻譯

如果機器人要處理大量多語言對話，請考慮將挂鉤與外部翻譯服務集成，以獲得更具成本效益的選擇。

您可以在此處找到 有關鉤子的更多資訊。

結論

通過這些策略和技巧，您將能夠優化您的 AI 支出 Botpress.瞭解不同任務的成本影響並根據您的需求選擇最有效的方法將減少與 AI 相關的費用，而不會影響性能。

我們的團隊在這裡説明你瀏覽這些選項，並確保你的機器人以最有效的成本為使用者提供最佳體驗。請訪問我們的 定價頁面 瞭解更多資訊，或訪問我們的 Discord 伺服器尋求説明。

附錄

如何防止緩存

如果要克服緩存以始終獲得實時結果，可以執行以下任一選項：

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• 對於臨時緩存防護：發佈機器人並從隱身視窗對其進行測試。

注意：在所有條件相同的情況下，通過刪除此緩存層並且不對機器人進行任何其他更改，AI 支出成本將會增加。

推薦課程

• ‍ChatGPT 面向開發人員的提示工程 （儘管標題說的是針對開發人員，但非開發人員也將受益！
• ‍使用 ChatGPT 應用程式介面