.webp)
LLMs 正在改變我們建立人工智慧解決方案的方式。更新、更好的現成型號一直在發布。
我經常被問到的一個問題是為什麼有人應該選擇定制LLM 而不是現成的解決方案？
如果您正在從事人工智慧項目，例如建立人工智慧代理或人工智慧聊天機器人，您可能會選擇使用客製化的大型語言模型（ LLM ）。
您有很多理由為您的LLM 代理使用自訂LLM ，也有很多選項可供您選擇。在本文中，我將帶您了解為 AI 專案自訂LLM 的不同方式。
為什麼要使用自訂LLM ？
使用自訂有幾個原因LLM :
- 您希望透過專注於對您的業務用例重要的特定任務來降低成本，或最大限度地減少延遲。
- 您可能希望將所有資料保密，或使用公司內部的LLM 。
- 您可能希望提高特定任務的答案品質。
無論出於何種原因，客製化您的LLM 讓您優化效能，平衡準確性、速度和成本以滿足您的業務需求。
挑選一個LLM
LLMs 有兩個影響人工智慧專案的品質：規模（透過參數數量來衡量）和回應品質。
您可以將參數想像為大腦中的神經元。更大的大腦通常與聰明有關，但事實並非總是如此。大腦的某些部分可以針對某些任務（例如視覺）進行高度優化。
對於人工智慧專案來說，規模通常會影響響應速度，並且極大地影響成本響應。需要低延遲的項目通常使用較小的模型，但代價是反應品質。
選擇型號時要問什麼
以下是選擇型號時需要回答的一系列問題：
- 我可以使用基於雲端的嗎LLM 還是我需要自己主持一個？
- 我需要多快的反應速度？
- 我需要的答覆有多準確？
- 我的專案將節省和/或產生多少美元？那麼，它該跌破什麼價格呢？
- 我需要多長時間回應？
一般來說，加速強大的模型或降低其成本是很困難的，而改進不太準確的模型則更容易。
但是，使用強大的模型會更快，如果它滿足您的專案需求，您可能不需要那麼多的工程工作（而且，它更容易維護）。
在 RAG、微調、N-Shot 學習和即時工程之間進行選擇
提高品質的一般概念有五個LLM 回應：
- 從預訓練模型開始
- 抹布
- 微調
- N 次提示
- 及時工程
這些並不是特定於使用自訂模型，但無論如何您都應該考慮它們，因為它們是相互協作的。
從模型開始
您應該做的第一件事是選擇一個起始模型。網路上有很多排行榜可以比較不同的模型。
例如：
- Hugging Face 維護一個開放原始碼模型的排行榜。
- Vellum為較受歡迎的型號提供了出色的產品。
如果您的公司有內部模型，請考慮使用它來配合您的預算並保持資料的隱私。如果您需要自己託管模型，請考慮開源模型。
微調
微調涉及為模型提供範例，以便它學習如何做好某項任務。如果您希望它在談論您的產品時表現出色，您可以提供大量貴公司最佳銷售電話的範例。
如果模型是開源的，請問問自己您的團隊是否有足夠的工程能力來微調模型。
如果模型是閉源的並作為服務提供 - GPT -4 或 Claude – 那麼您通常可以讓您的工程師使用 API 微調自訂模型。透過這種方法，價格通常會大幅上漲，但幾乎不需要維護。
但對許多用例來說，微調並不是優化模型的第一步。
微調的一個很好的例子是建立靜態知識的知識機器人。透過給出問題和答案的例子，將來應該能夠回答這些問題而無需找到答案。但這並不是即時資訊的實用解決方案。
檢索增強生成
RAG是我們在ChatGPT 中都做過的一件簡單事情的花名：將一些文字貼到ChatGPT ，然後就這些文字提問。
一個典型的例子是在電子商務網站上詢問某種產品是否有貨，然後聊天機器人在產品目錄（而不是更廣泛的互聯網）中找到資訊。
就開發速度和獲取即時資訊而言，RAG 是必備的。
它通常不會影響您選擇哪個模型，但是沒有什麼可以阻止您建立一個LLM 查詢資訊和答案的 API 端點，並像使用自己的端點一樣使用該端點LLM 。
將 RAG 用於基於知識的聊天機器人通常更容易維護，因為您不需要微調模型並保持最新，這也可以降低成本。
N次學習
提高回應品質的最快方法是在單一範例中提供範例LLM API 呼叫。
零樣本——給出你在答案中尋找的零個例子——是我們大多數人使用的方式ChatGPT 。添加一個示例（或一次性）通常足以看到響應品質的顯著提高。
超過一個範例被視為 n-shot。與微調不同，N-shot 不會改變模型。每次提出問題時，您只是在要求答覆之前給出範例。
但這個策略不能被過度使用： LLM 模型具有最大上下文大小，並根據訊息的大小定價。微調可以消除對 n-shot 範例的需要，但需要更多時間才能正確。
我的推薦
雖然每個專案都有自己獨特的需求，但我會為強而有力的方法付出兩分錢。
一個好的起點是使用平衡速度和品質的現成模型，例如GPT -4o 迷你。首先查看回應的品質、反應速度、成本、情境視窗需求，然後決定需要改進的內容。
然後，對於狹窄的用例，您可以嘗試一些簡單的提示工程，然後是 RAG，最後是微調。經過這些過程的每個模型都會獲得效能提升，因此弄清楚要使用什麼可能很棘手。
隱私考慮因素
在理想的世界裡，每一個LLM 100%在你自己的掌控之中，任何事物都不會暴露在任何地方。
不幸的是，這並不是我們在實踐中觀察到的情況——而且有充分的理由。
第一個很簡單：它需要工程來託管和維護自訂模型，這是非常昂貴的。當託管模型遇到停機時，業務指標會受到影響，因此部署應該非常堅固。
另一個原因是業界的領導者，例如OpenAI、Google 和Anthropic ，不斷推出更新、更強大、更便宜的模型，使得任何微調工作都變得多餘。自從ChatGPT 3.5 發表以來，情況就是如此，而且沒有改變的跡象。
如果您的用例具有極其敏感的數據，那麼使用模型並針對您的用例進行最佳化是有意義的。如果 GDPR 是首要考慮因素，那麼有許多現成的模型符合 GDPR 要求。
選擇您的後構建LLM
一旦您選擇了一個LLM ，您可以開始弄清楚如何建置和維護您的 AI 專案。作為範例，我將採用我最熟悉的專案類型： AI 代理或AI 聊天機器人。
您可以回答以下問題來確定專案範圍：
- 我希望我的 AI 代理住在哪裡？Slack、 WhatsApp、網站小工具等)
- 它應該具備什麼知識，這些知識在哪裡？
- 除了知識回答之外，它還應該具備哪些能力（如果有的話）？
- 當企業某個地方發生事情時它是否應該啟動？
卸載工程以節省美元
保持精益預算對於使您的專案成為現實至關重要。實現這一目標的方法之一是透過解耦需求來減少工程時間。
現在我們可以使用 Flutterflow、Shopify 等低程式碼解決方案，傳統上非技術性的角色如產品經理也可以使用。聊天機器人也不例外，有些 AI 自動化平台甚至允許您使用自己的LLM。
您可以指示工程師專注於託管LLM 以及與自動化平台進行設定。如此一來，業務分析師、產品經理和其他相關人員就能騰出時間來建立滿足業務需求的 AI 代理。
當需要額外的東西時，這些平台通常可以讓工程師添加一些程式碼。這樣，您就可以保留客製化模型的優勢，並獲得靈活性、速度和經濟性。
提供工程自由來解決業務問題
另一方面，有時業務問題很難解決。
我們正在談論完全網路隔離LLM 應用程式、裝置上的應用程式或專案需要為聊天機器人提供極其先進的功能，而不僅僅是在兩個平台之間同步資料。
在這些情況下，允許工程師自由地使用他們最舒服的任何工具是有意義的。這通常只是編寫程式碼，而利害關係人只是充當專案經理。
客製化的戰略考慮LLM
選擇客製化LLM 對於您的人工智慧專案來說，不僅僅是選擇最佳模型，而是做出與您的目標相符的策略決策。
客製化模型提供了靈活性、控制力和針對特定任務進行最佳化的潛力，但它們也增加了複雜性。從現成的模型開始，嘗試快速工程，然後逐漸完善。
請記住，正確的模型應該滿足您的業務需求，而不僅僅是您的技術需求stack 。
利用強大的平台進行客製化
準備好讓您的人工智慧專案更上一層樓了嗎？
Botpress 是一個完全可擴展且靈活的AI代理平台。我們的stack 允許開發人員為任何可能的用例建立聊天機器人和人工智慧代理。
我們擁有強大的教育平臺， Botpress Academy，以及詳細的 YouTube頻道。我們 Discord 擁有超過 20,000+ 機器人構建器，因此您始終可以獲得所需的支援。
立即開始構建。它是免費的。
.svg)
