.webp)
LLMs 正在改變我們建立人工智慧解決方案的方式。更新、更好的現成型號一直在發布。
我經常被問到的一個問題是為什麼有人應該選擇定制LLM 而不是現成的解決方案？
如果您正在從事人工智慧項目，例如建立人工智慧代理或人工智慧聊天機器人，您可能會選擇使用客製化的大型語言模型（ LLM ）。
使用自訂的理由有很多LLM ，以及大量可供您使用的選項。在本文中，我將引導您了解自訂LLM 用於人工智慧項目。
為什麼要使用自訂LLM ？
使用自訂有幾個原因LLM :
- 您希望透過專注於對您的業務用例重要的特定任務來降低成本，或最大限度地減少延遲。
- 您可能希望將所有資料保密，或使用公司內部的LLM 。
- 您可能希望提高特定任務的答案品質。
無論出於何種原因，客製化您的LLM 讓您優化效能，平衡準確性、速度和成本以滿足您的業務需求。
挑選一個LLM
LLMs 有兩個影響人工智慧專案的品質：規模（透過參數數量來衡量）和回應品質。
您可以將參數想像為大腦中的神經元。更大的大腦通常與聰明有關，但事實並非總是如此。大腦的某些部分可以針對某些任務（例如視覺）進行高度優化。
對於人工智慧專案來說，規模通常會影響響應速度，並且極大地影響成本響應。需要低延遲的項目通常使用較小的模型，但代價是反應品質。
選擇型號時要問什麼
以下是選擇型號時需要回答的一系列問題：
- 我可以使用基於雲端的嗎LLM 還是我需要自己主持一個？
- 我需要多快的反應速度？
- 我需要的答覆有多準確？
- 我的專案將節省和/或產生多少美元？那麼，它該跌破什麼價格呢？
- 我需要多長時間回應？
一般來說，加速強大的模型或降低其成本是很困難的，而改進不太準確的模型則更容易。
但是，使用強大的模型會更快，如果它滿足您的專案需求，您可能不需要那麼多的工程工作（而且，它更容易維護）。
在 RAG、微調、N-Shot 學習和即時工程之間進行選擇
提高品質的一般概念有五個LLM 回應：
- 從預訓練模型開始
- 抹布
- 微調
- N 次提示
- 及時工程
這些並不是特定於使用自訂模型，但無論如何您都應該考慮它們，因為它們是相互協作的。
從模型開始
您應該做的第一件事是選擇一個起始模型。網路上有很多排行榜可以比較不同的模型。
例如：
如果您的公司有內部模型，請考慮使用它來配合您的預算並保持資料的隱私。如果您需要自己託管模型，請考慮開源模型。
微調
微調涉及為模型提供範例，以便它學習如何做好某項任務。如果您希望它在談論您的產品時表現出色，您可以提供大量貴公司最佳銷售電話的範例。
如果模型是開源的，請問問自己您的團隊是否有足夠的工程能力來微調模型。
如果模型是閉源的並作為服務提供 - GPT -4 或 Claude – 那麼您通常可以讓您的工程師使用 API 微調自訂模型。透過這種方法，價格通常會大幅上漲，但幾乎不需要維護。
但對許多用例來說，微調並不是優化模型的第一步。
微調的一個很好的例子是建立靜態知識的知識機器人。透過給出問題和答案的例子，將來應該能夠回答這些問題而無需找到答案。但這並不是即時資訊的實用解決方案。
檢索增強生成
RAG是我們在ChatGPT 中都做過的一件簡單事情的花名：將一些文字貼到ChatGPT ，然後就這些文字提問。
一個典型的例子是在電子商務網站上詢問某種產品是否有貨，然後聊天機器人在產品目錄（而不是更廣泛的互聯網）中找到資訊。
就開發速度和獲取即時資訊而言，RAG 是必備的。
它通常不會影響您選擇哪個模型，但是沒有什麼可以阻止您建立一個LLM 查詢資訊和答案的 API 端點，並像使用自己的端點一樣使用該端點LLM 。
將 RAG 用於基於知識的聊天機器人通常更容易維護，因為您不需要微調模型並保持最新，這也可以降低成本。
N次學習
提高回應品質的最快方法是在單一範例中提供範例LLM API 呼叫。
零樣本——給出你在答案中尋找的零個例子——是我們大多數人使用的方式ChatGPT 。添加一個示例（或一次性）通常足以看到響應品質的顯著提高。
超過一個範例被視為 n-shot。與微調不同，N-shot 不會改變模型。每次提出問題時，您只是在要求答覆之前給出範例。
但這個策略不能被過度使用： LLM 模型具有最大上下文大小，並根據訊息的大小定價。微調可以消除對 n-shot 範例的需要，但需要更多時間才能正確。
其他快速工程技術
還有其他快速的工程技術，例如思維鏈，它迫使模型在給出答案之前大聲思考。
這提高了反應的質量，但代價是反應長度、成本和速度。
我的推薦
雖然每個專案都有自己獨特的需求，但我會為強而有力的方法付出兩分錢。
一個好的起點是使用平衡速度和品質的現成模型，例如GPT -4o 迷你。首先查看回應的品質、反應速度、成本、情境視窗需求，然後決定需要改進的內容。
然後，對於狹窄的用例，您可以嘗試一些簡單的提示工程，然後是 RAG，最後是微調。經過這些過程的每個模型都會獲得效能提升，因此弄清楚要使用什麼可能很棘手。
隱私考慮因素
在理想的世界裡，每一個LLM 100%在你自己的掌控之中，任何事物都不會暴露在任何地方。
不幸的是，這並不是我們在實踐中觀察到的情況——而且有充分的理由。
第一個很簡單：它需要工程來託管和維護自訂模型，這是非常昂貴的。當託管模型遇到停機時，業務指標會受到影響，因此部署應該非常堅固。
另一個原因是行業領導者——例如OpenAI 、Google 和 Anthropic – 不斷發布更新、功能更強大且更便宜的模型，使任何微調工作變得多餘。自發布以來一直如此ChatGPT 3.5 並且沒有任何改變的跡象。
如果您的用例具有極其敏感的數據，那麼使用模型並針對您的用例進行最佳化是有意義的。如果 GDPR 是首要考慮因素，那麼有許多現成的模型符合 GDPR 要求。
選擇您的後構建LLM
一旦您選擇了一個LLM ，您可以開始弄清楚如何建置和維護您的 AI 專案。作為範例，我將採用我最熟悉的專案類型： AI 代理或AI 聊天機器人。
您可以回答以下問題來確定專案範圍：
- 我希望我的人工智慧代理住在哪裡？ ( Slack , WhatsApp 、網站小工具等）
- 它應該具備什麼知識，這些知識在哪裡？
- 除了知識回答之外，它還應該具備哪些能力（如果有的話）？
- 當企業某個地方發生事情時它是否應該啟動？
卸載工程以節省美元
保持精益預算對於使您的專案成為現實至關重要。實現這一目標的方法之一是透過解耦需求來減少工程時間。
如今，我們可以使用 Flutterflow、Shopify 等低程式碼解決方案，這些解決方案可供產品經理等傳統非技術角色使用。聊天機器人也不例外，一些人工智慧自動化平台甚至允許您使用自己的LLM 。
您可以指示工程師專注於託管LLM 並設定自動化平台。這使得業務分析師、產品經理和其他相關角色能夠騰出時間來建立滿足業務需求的人工智慧代理。
當需要額外的東西時，這些平台通常可以讓工程師添加一些程式碼。這樣，您就可以保留客製化模型的優勢，並獲得靈活性、速度和經濟性。
提供工程自由來解決業務問題
另一方面，有時業務問題很難解決。
我們正在談論完全網路隔離LLM 應用程式、裝置上的應用程式或專案需要為聊天機器人提供極其先進的功能，而不僅僅是在兩個平台之間同步資料。
在這些情況下，允許工程師自由地使用他們最舒服的任何工具是有意義的。這通常只是編寫程式碼，而利害關係人只是充當專案經理。
客製化的戰略考慮LLM
選擇客製化LLM 對於您的人工智慧專案來說，不僅僅是選擇最佳模型，而是做出與您的目標相符的策略決策。
客製化模型提供了靈活性、控制力和針對特定任務進行最佳化的潛力，但它們也增加了複雜性。從現成的模型開始，嘗試快速工程，然後逐漸完善。
請記住，正確的模型應該滿足您的業務需求，而不僅僅是您的技術需求stack 。
利用強大的平台進行客製化
準備好讓您的人工智慧專案更上一層樓了嗎？
Botpress 是一個完全可擴展且靈活的AI代理平台。我們的stack 允許開發人員為任何可能的用例建立聊天機器人和人工智慧代理。
我們擁有強大的教育平臺， Botpress Academy，以及詳細的 YouTube頻道。我們 Discord 擁有超過 20,000+ 機器人構建器，因此您始終可以獲得所需的支援。
立即開始構建。它是免費的。
.svg)
