如何在 Botpress 優化 AI 花費成本

作者

Bassam Tantawi

資深 AI 解決方案工程師

摘要

Botpress 提供透明的定價，沒有隱藏的 AI 費用，讓你的 AI 成本只反映實際使用量。
快取 AI 回應可降低約 30% 的查詢成本，同時不影響使用者體驗。
選擇合適的 AI 模型，例如先從 GPT-3.5 Turbo 開始而非 GPT-4，對於平衡成本與品質至關重要。

許多企業都面臨如何善用 AI 技術潛力又不超支的挑戰。我們了解這種平衡的重要性，並致力於提供讓用戶能以合理成本運用 AI 的解決方案。

打造AI聊天機器人

建立自訂型智能聊天機器人

立即開始

我們的 AI 成本管理方式

首先，了解我們如何在提供 AI 功能的同時，協助用戶降低 AI 相關成本的兩個重要組成部分非常關鍵。

透明定價：無隱藏費用

我們不會對 AI 相關任務加收任何利潤。這代表你的 AI 花費成本完全取決於實際用量，不會有來自我們額外的 AI 費用。

AI 回應快取

快取是我們降低機器人 AI 成本最有效的方法之一。透過快取 AI 回應，我們能減少對 LLM 供應商的請求次數，約可降低 30% 的查詢成本，讓你省下費用，同時不影響機器人與用戶的互動品質。

優化 AI 成本的小技巧

現在我們已經了解兩種降低用戶 AI 花費的方法，接下來看看你在建立機器人時還能採取哪些技巧，進一步降低 AI 成本。

優化你的知識庫

優化知識庫（KB）對於 AI 花費有很大影響，因為知識庫通常是 Botpress 專案中最大的 AI 成本來源。

技巧 1：選擇合適的 AI 模型

AI 模型的選擇會大幅影響成本。由於 GPT-3.5 Turbo 比 GPT-4 Turbo 更快且更便宜，我們建議先用 GPT-3.5 Turbo 充分測試你的設定，再考慮升級到更進階的版本。

我們的 KB Agent 混合模式提供了很好的平衡方式，會先用 GPT-3.5 Turbo 嘗試回答問題，只有必要時才升級到 GPT-4 Turbo。

技巧 2：保護你的知識庫

你可以透過使用「尋找紀錄」卡片，將知識庫從不需要 AI 或智慧回答的常見 FAQ 過濾掉，進而降低 AI 花費。做法如下：如果你知道用戶常問某個問題，而我們有 50 個已知問題及答案，可以將這些問題與答案放進表格，並用「尋找紀錄」卡片查詢。若找不到答案，再進一步查詢知識庫。

技巧 3：正確劃分你的知識庫

根據你想加入知識庫的資訊類型與數量，通常最佳做法是同時進行兩件事以降低 AI 成本。首先，將資訊分成多個小型知識庫，每個知識庫聚焦於特定產品、功能或主題。其次，透過多個問題引導用戶進入流程，將搜尋範圍縮小到特定知識庫；這不僅能降低成本，也能得到更好的結果。

技巧 4：網站知識庫資料來源 vs 搜尋網路知識庫資料來源

如果你使用網站作為知識庫資料來源，但網站內容不需即時反映到機器人上，那麼改用「搜尋網路」作為知識庫資料來源會更具成本效益。在切換前，請務必測試你預期會被問到的問題，確保效能沒有下降。

正在部署 AI 智能代理？

閱讀我們的 AI 智能代理人導入藍圖

立即閱讀

技巧 5：用「尋找紀錄」或「執行程式碼」卡片查詢表格

如果你有一個需要查詢的表格資料，建議用「尋找紀錄」卡片，而不是將表格放進知識庫。對於有技術能力的用戶，直接用「執行程式碼」卡片查詢表格，並將結果存到流程變數中，會更省成本。

技巧 6：控制區塊數量

這裡的區塊指的是從知識庫中取出的內容片段數量。一般來說，取出的區塊越多，答案越精確，但產生時間越長、AI 代幣成本也越高。請嘗試調整區塊大小，找出在保持準確回應的前提下，所需的最少區塊數。

用「執行程式碼」卡片降低 AI 成本

「執行程式碼」卡片可以在某些情境下取代 AI 卡片，達到更省成本的效果。以下是幾個可考慮使用的情境：

更聰明的訊息替代方案

如果你希望機器人每次對同一問題都給出不同的 AI 回應，就必須避免快取（請參考附錄了解如何操作）。有些情境下，AI 花費的增加可以帶來更好的對話體驗，但並非總是如此。

舉例來說，像是用 LLM 產生簡單問候語，每次問候都會產生額外的 AI 成本。這值得嗎？大概不值得。幸好有個省成本的做法：用一個包含多個回應的陣列，搭配簡單的隨機函式抽取並呈現。

根據對話量，採用這種方式所省下的金額往往很可觀。

你可以在這裡找到更多替代訊息的實作細節。

簡單任務的程式碼執行

對於像資料重組或從結構化資料中擷取資訊等簡單任務，使用「執行程式碼」卡片會比依賴 LLM 更有效率、更便宜也更快。

摘要代理的替代方案

你可以用「執行程式碼」卡片自訂對話紀錄。只要在你想追蹤用戶與機器人訊息的地方放一個「執行程式碼」卡片，將訊息存進陣列變數，之後就能把這個陣列作為知識庫的上下文。

能簡化就簡化

選擇最簡單又能達到目標的互動方式，不要犧牲用戶體驗。例如，若你想收集用戶回饋，簡單的星級評分加留言比用 AI 收集同樣資訊更省成本。

AI 任務、AI 產生文字與翻譯的小技巧

選擇合適的 AI 模型

沒錯，選擇正確的 AI 模型非常重要，值得再次強調。和知識庫一樣，AI 任務時模型的選擇也會大幅影響成本。簡單指令建議用 GPT-3.5 Turbo。升級到更進階版本前，請務必用這個模型充分測試你的設定。記住，GPT-4 Turbo 的成本是 GPT-3.5 Turbo 的 20 倍。除非結果明顯更好，否則建議優先選用 GPT-3.5 Turbo。

此外，你也可以透過減少每次 AI 任務執行時消耗的代幣數量來節省 AI 花費。

我的建議是要有意識地降低這個數字，因為超過的部分會被截斷。例如，如果你將長度限制為 2000 代幣，而提示加輸出超過 2000 代幣，輸入就會被相應截斷。

AI 任務 vs AI 產生文字

對於簡單的文字輸出，「AI 產生文字」卡片消耗的代幣較少，也比「AI 任務」卡片更容易設定。若涉及資訊解析，「AI 任務」卡片則優於「AI 產生文字」卡片。

因此，建議你在需要 AI 處理資訊（例如偵測用戶意圖或分析輸入）時使用「AI 任務」卡片；若只是要用 AI 產生文字（例如擴充知識庫答案或創意產生問題），則用「AI 產生文字」卡片。

想深入了解「AI 任務」卡片與「AI 產生文字」卡片的差異，請參考這裡。

翻譯

如果你的機器人需要處理大量多語言對話，建議整合外部翻譯服務的 hooks，這樣會更省成本。

你可以在這裡找到更多關於 hooks 的資訊。

結尾

透過這些策略與技巧，你將能在 Botpress 有效優化 AI 花費。了解不同任務的成本影響，並選擇最有效率的方法，能在不犧牲效能的前提下，降低你的 AI 相關支出。

我們的團隊隨時協助您了解這些選項，確保您的機器人以最有效率的成本，為用戶帶來最佳體驗。欲了解更多資訊，請造訪我們的Pricing page，或加入我們的 Discord 伺服器尋求協助。