如何為您的 AI 專案選擇客製化LLM

LLMs 正在改變我們建立人工智慧解決方案的方式。更新、更好的現成型號一直在發布。 

我經常被問到的一個問題是為什麼有人應該選擇定制LLM 而不是現成的解決方案？

如果您正在從事人工智慧項目，例如建立人工智慧代理或人工智慧聊天機器人，您可能會選擇使用客製化的大型語言模型（ LLM ）。

您有很多理由為您的LLM 代理使用自訂LLM ，也有很多選項可供您選擇。在本文中，我將帶您了解為 AI 專案自訂LLM 的不同方式。

為什麼要使用自訂LLM ？

使用自訂有幾個原因LLM :

• 您希望透過專注於對您的業務用例重要的特定任務來降低成本，或最大限度地減少延遲。 
• 您可能希望將所有資料保密，或使用公司內部的LLM 。 
• 您可能希望提高特定任務的答案品質。 

無論出於何種原因，客製化您的LLM 讓您優化效能，平衡準確性、速度和成本以滿足您的業務需求。

挑選一個LLM

LLMs 有兩個影響人工智慧專案的品質：規模（透過參數數量來衡量）和回應品質。

您可以將參數想像為大腦中的神經元。更大的大腦通常與聰明有關，但事實並非總是如此。大腦的某些部分可以針對某些任務（例如視覺）進行高度優化。 

對於人工智慧專案來說，規模通常會影響響應速度，並且極大地影響成本響應。需要低延遲的項目通常使用較小的模型，但代價是反應品質。

選擇型號時要問什麼

以下是選擇型號時需要回答的一系列問題：

• 我可以使用基於雲端的嗎LLM 還是我需要自己主持一個？
• 我需要多快的反應速度？
• 我需要的答覆有多準確？
• 我的專案將節省和/或產生多少美元？那麼，它該跌破什麼價格呢？
• 我需要多長時間回應？

一般來說，加速強大的模型或降低其成本是很困難的，而改進不太準確的模型則更容易。 

但是，使用強大的模型會更快，如果它滿足您的專案需求，您可能不需要那麼多的工程工作（而且，它更容易維護）。

在 RAG、微調、N-Shot 學習和即時工程之間進行選擇

提高品質的一般概念有五個LLM 回應： 

1. 從預訓練模型開始
2. 抹布
3. 微調
4. N 次提示
5. 及時工程

這些並不是特定於使用自訂模型，但無論如何您都應該考慮它們，因為它們是相互協作的。

從模型開始

您應該做的第一件事是選擇一個起始模型。網路上有很多排行榜可以比較不同的模型。

例如：

• Hugging Face 維護一個開放原始碼模型的排行榜。
• Vellum為較受歡迎的型號提供了出色的產品。

如果您的公司有內部模型，請考慮使用它來配合您的預算並保持資料的隱私。如果您需要自己託管模型，請考慮開源模型。

微調 

微調涉及為模型提供範例，以便它學習如何做好某項任務。如果您希望它在談論您的產品時表現出色，您可以提供大量貴公司最佳銷售電話的範例。

如果模型是開源的，請問問自己您的團隊是否有足夠的工程能力來微調模型。

如果模型是閉源的並作為服務提供 - GPT -4 或 Claude – 那麼您通常可以讓您的工程師使用 API 微調自訂模型。透過這種方法，價格通常會大幅上漲，但幾乎不需要維護。 

但對許多用例來說，微調並不是優化模型的第一步。 

微調的一個很好的例子是建立靜態知識的知識機器人。透過給出問題和答案的例子，將來應該能夠回答這些問題而無需找到答案。但這並不是即時資訊的實用解決方案。 

檢索增強生成

RAG是我們在ChatGPT 中都做過的一件簡單事情的花名：將一些文字貼到ChatGPT ，然後就這些文字提問。 

一個典型的例子是在電子商務網站上詢問某種產品是否有貨，然後聊天機器人在產品目錄（而不是更廣泛的互聯網）中找到資訊。 

就開發速度和獲取即時資訊而言，RAG 是必備的。 

它通常不會影響您選擇哪個模型，但是沒有什麼可以阻止您建立一個LLM 查詢資訊和答案的 API 端點，並像使用自己的端點一樣使用該端點LLM 。 

將 RAG 用於基於知識的聊天機器人通常更容易維護，因為您不需要微調模型並保持最新，這也可以降低成本。

N次學習 

提高回應品質的最快方法是在單一範例中提供範例LLM API 呼叫。 

零樣本——給出你在答案中尋找的零個例子——是我們大多數人使用的方式ChatGPT 。添加一個示例（或一次性）通常足以看到響應品質的顯著提高。 

超過一個範例被視為 n-shot。與微調不同，N-shot 不會改變模型。每次提出問題時，您只是在要求答覆之前給出範例。 

但這個策略不能被過度使用： LLM 模型具有最大上下文大小，並根據訊息的大小定價。微調可以消除對 n-shot 範例的需要，但需要更多時間才能正確。 

其他快速工程技術

還有其他快速的工程技術，例如思維鏈，它迫使模型在給出答案之前大聲思考。 

這提高了反應的質量，但代價是反應長度、成本和速度。 

我的推薦

雖然每個專案都有自己獨特的需求，但我會為強而有力的方法付出兩分錢。 

一個好的起點是使用平衡速度和品質的現成模型，例如GPT -4o 迷你。首先查看回應的品質、反應速度、成本、情境視窗需求，然後決定需要改進的內容。 

然後，對於狹窄的用例，您可以嘗試一些簡單的提示工程，然後是 RAG，最後是微調。經過這些過程的每個模型都會獲得效能提升，因此弄清楚要使用什麼可能很棘手。

隱私考慮因素

在理想的世界裡，每一個LLM 100%在你自己的掌控之中，任何事物都不會暴露在任何地方。 

不幸的是，這並不是我們在實踐中觀察到的情況——而且有充分的理由。 

第一個很簡單：它需要工程來託管和維護自訂模型，這是非常昂貴的。當託管模型遇到停機時，業務指標會受到影響，因此部署應該非常堅固。 

另一個原因是業界的領導者，例如OpenAI、Google 和Anthropic ，不斷推出更新、更強大、更便宜的模型，使得任何微調工作都變得多餘。自從ChatGPT 3.5 發表以來，情況就是如此，而且沒有改變的跡象。 

如果您的用例具有極其敏感的數據，那麼使用模型並針對您的用例進行最佳化是有意義的。如果 GDPR 是首要考慮因素，那麼有許多現成的模型符合 GDPR 要求。

選擇您的後構建LLM

一旦您選擇了一個LLM ，您可以開始弄清楚如何建置和維護您的 AI 專案。作為範例，我將採用我最熟悉的專案類型： AI 代理或AI 聊天機器人。

您可以回答以下問題來確定專案範圍：

• 我希望我的 AI 代理住在哪裡？Slack、 WhatsApp、網站小工具等)
• 它應該具備什麼知識，這些知識在哪裡？
• 除了知識回答之外，它還應該具備哪些能力（如果有的話）？ 
• 當企業某個地方發生事情時它是否應該啟動？

卸載工程以節省美元

保持精益預算對於使您的專案成為現實至關重要。實現這一目標的方法之一是透過解耦需求來減少工程時間。 

現在我們可以使用 Flutterflow、Shopify 等低程式碼解決方案，傳統上非技術性的角色如產品經理也可以使用。聊天機器人也不例外，有些 AI 自動化平台甚至允許您使用自己的LLM。 

您可以指示工程師專注於託管LLM 以及與自動化平台進行設定。如此一來，業務分析師、產品經理和其他相關人員就能騰出時間來建立滿足業務需求的 AI 代理。 

當需要額外的東西時，這些平台通常可以讓工程師添加一些程式碼。這樣，您就可以保留客製化模型的優勢，並獲得靈活性、速度和經濟性。

提供工程自由來解決業務問題

另一方面，有時業務問題很難解決。 

我們正在談論完全網路隔離LLM 應用程式、裝置上的應用程式或專案需要為聊天機器人提供極其先進的功能，而不僅僅是在兩個平台之間同步資料。 

在這些情況下，允許工程師自由地使用他們最舒服的任何工具是有意義的。這通常只是編寫程式碼，而利害關係人只是充當專案經理。

客製化的戰略考慮LLM

選擇客製化LLM 對於您的人工智慧專案來說，不僅僅是選擇最佳模型，而是做出與您的目標相符的策略決策。 

客製化模型提供了靈活性、控制力和針對特定任務進行最佳化的潛力，但它們也增加了複雜性。從現成的模型開始，嘗試快速工程，然後逐漸完善。 

請記住，正確的模型應該滿足您的業務需求，而不僅僅是您的技術需求stack 。

利用強大的平台進行客製化

準備好讓您的人工智慧專案更上一層樓了嗎？

Botpress 是一個完全可擴展且靈活的AI代理平台。我們的stack 允許開發人員為任何可能的用例建立聊天機器人和人工智慧代理。

我們擁有強大的教育平臺， Botpress Academy，以及詳細的 YouTube頻道。我們 Discord 擁有超過 20,000+ 機器人構建器，因此您始終可以獲得所需的支援。 

立即開始構建。它是免費的。

常見問題

1.如何評估為企業投資定制LLM 的 ROI？

若要評估投資自訂LLM 的投資報酬率，請比較總成本（例如基礎架構、開發人員時間、微調與託管）與可衡量的收益，例如人力減少與轉換提升。 

2.我應該追蹤哪些 KPI 來衡量自訂LLM 的成效？

您應該追蹤 KPI，例如回應準確度 (精確度/回復率或任務完成度)、延遲 (平均回應時間)、使用者滿意度 (CSAT/NPS)、遏止率或解決率，以及每次互動的成本。這些指標反映了模型的技術效能及其對業務成果的影響。

3.如何估算自訂LLM 解決方案的長期維護成本？

若要估算自訂LLM 解決方案的長期維護成本，應包括基礎架構 (雲端運算、儲存)、工程更新、重新訓練或微調頻率、監控工具，以及適應法規變遷的費用。如果您的業務資料發展迅速，則隨著時間的推移，重新訓練和驗證的開銷可能會更高。

4.如何針對我的特定產業或領域，以不同的LLMs 為基準？

使用具有代表性的特定領域提示測試不同的LLMs ，並比較其準確性、清晰度、語調和任務相關性的表現，從而為不同的LLMs 基準。您可以使用內部資料集或應用開放源碼的產業基準，例如 FinancialQA 或 MedQA，視您的產業而定。

5.如果要處理使用者資料，自訂LLM 應符合哪些合規標準？

如果您要處理使用者資料，您的客製化LLM 應該符合 GDPR（針對歐盟資料隱私）、SOC 2 Type II（針對作業安全性）和 HIPAA（如果要處理醫療照護資料）等標準。LLM 供應商應該提供各種功能，例如基於角色的存取、傳輸中和靜止時的資料加密、稽核記錄，以及明確的資料保留和刪除政策。