Làm thế nào để chọn một tùy chỉnh LLM cho dự án AI của bạn

LLMs đang chuyển đổi cách chúng ta xây dựng các giải pháp AI. Các mô hình mới hơn và tốt hơn đang được phát hành liên tục. 

Một câu hỏi tôi thường được hỏi là tại sao một ai đó nên lựa chọn một tùy chỉnh LLM thay vì một giải pháp có sẵn?

Nếu bạn đang làm việc trên một dự án AI, chẳng hạn như xây dựng một tác nhân AI hoặc chatbot AI , bạn có thể chọn sử dụng một mô hình ngôn ngữ lớn tùy chỉnh ( LLM ).

Có rất nhiều lý do để sử dụng một tùy chỉnh LLM và nhiều tùy chọn theo ý bạn. Trong bài viết này, tôi sẽ hướng dẫn bạn những cách khác nhau để tùy chỉnh LLM cho các dự án AI.

Tại sao sử dụng tùy chỉnh LLM ?

Có một số lý do để sử dụng một tùy chỉnh LLM :

• Bạn muốn giảm chi phí bằng cách tập trung vào một nhiệm vụ cụ thể quan trọng cho mục đích kinh doanh của mình hoặc giảm thiểu độ trễ. 
• Bạn có thể muốn giữ tất cả dữ liệu ở chế độ riêng tư hoặc sử dụng dữ liệu nội bộ của công ty bạn LLM . 
• Bạn có thể muốn cải thiện chất lượng câu trả lời cho một nhiệm vụ cụ thể. 

Dù lý do là gì, việc tùy chỉnh LLM cho phép bạn tối ưu hóa hiệu suất, cân bằng giữa độ chính xác, tốc độ và chi phí để phù hợp với nhu cầu kinh doanh của bạn.

Xây dựng các tác nhân AI

Xây dựng LLM -các tác nhân AI được hỗ trợ

Bắt đầu ngay

Không cần thẻ tín dụng

Chọn một LLM

LLMs có hai đặc điểm tác động đến các dự án AI: quy mô (được đo bằng số lượng tham số) và chất lượng phản hồi.

Bạn có thể nghĩ đến các thông số như tế bào thần kinh trong não. Não lớn hơn thường liên quan đến sự thông minh, nhưng điều đó không phải lúc nào cũng đúng. Và các bộ phận của não có thể được tối ưu hóa cao cho một số nhiệm vụ nhất định như thị giác. 

Đối với các dự án AI, kích thước thường ảnh hưởng đến tốc độ phản hồi và ảnh hưởng lớn đến chi phí phản hồi. Các dự án yêu cầu độ trễ thấp thường sử dụng các mô hình nhỏ hơn, nhưng phải đánh đổi bằng chất lượng phản hồi.

Những điều cần hỏi khi chọn một mô hình

Sau đây là danh sách các câu hỏi cần trả lời khi chọn mô hình:

• Tôi có thể sử dụng một đám mây dựa trên LLM hay tôi cần phải tự tổ chức một buổi?
• Tôi cần phản hồi nhanh đến mức nào?
• Tôi cần câu trả lời chính xác đến mức nào?
• Dự án của tôi sẽ tiết kiệm và/hoặc tạo ra bao nhiêu $$? Sau đó, giá của nó nên giảm xuống dưới mức nào?
• Tôi cần phản hồi trong bao lâu?

Nói chung, rất khó để tăng tốc một mô hình mạnh mẽ hoặc giảm chi phí của nó, nhưng lại dễ hơn để cải thiện một mô hình kém chính xác. 

Tuy nhiên, sẽ nhanh hơn nhiều nếu bắt đầu với một mô hình mạnh mẽ và nếu nó đáp ứng được nhu cầu của dự án, bạn có thể không cần nhiều nỗ lực về mặt kỹ thuật (thêm vào đó, nó cũng dễ bảo trì hơn).

Lựa chọn giữa RAG, Fine-Tuning, N-Shot Learning và Prompt Engineering

Có năm khái niệm chung giúp cải thiện chất lượng LLM phản hồi: 

1. Bắt đầu từ một mô hình được đào tạo trước
2. GIẺ
3. Tinh chỉnh
4. Nhắc nhở N-shot
5. Kỹ thuật nhanh chóng

Những điều này không dành riêng cho việc sử dụng các mô hình tùy chỉnh, nhưng bạn vẫn nên cân nhắc vì chúng có mối quan hệ chặt chẽ với nhau.

Bắt đầu từ một mô hình

Điều đầu tiên bạn nên làm là chọn một mô hình bắt đầu. Có rất nhiều bảng xếp hạng trực tuyến so sánh các mô hình khác nhau.

Chẳng hạn:

• Hugging Face duy trì bảng xếp hạng cho các mô hình nguồn mở .
• Vellum có một sản phẩm tuyệt vời dành cho những mô hình phổ biến hơn .

Nếu công ty bạn có mô hình nội bộ, hãy cân nhắc sử dụng mô hình đó để phù hợp với ngân sách và giữ dữ liệu riêng tư. Nếu bạn cần tự lưu trữ mô hình, hãy cân nhắc mô hình nguồn mở .

Tinh chỉnh 

Tinh chỉnh bao gồm việc cung cấp các ví dụ cho mô hình của bạn để nó học cách thực hiện tốt một nhiệm vụ nhất định. Nếu bạn muốn nó xuất sắc trong việc nói về sản phẩm của mình, bạn có thể cung cấp một loạt các ví dụ về các cuộc gọi bán hàng tốt nhất của công ty bạn.

Nếu mô hình là mã nguồn mở, hãy tự hỏi liệu nhóm của bạn có đủ năng lực kỹ thuật để tinh chỉnh mô hình hay không.

Nếu mô hình là nguồn đóng và được cung cấp dưới dạng dịch vụ – GPT -4 hoặc Claude – sau đó bạn thường có thể yêu cầu các kỹ sư của mình tinh chỉnh các mô hình tùy chỉnh bằng API. Giá thường tăng đáng kể thông qua phương pháp này, nhưng hầu như không cần bảo trì. 

Nhưng đối với nhiều trường hợp sử dụng, tinh chỉnh không phải là bước đầu tiên để tối ưu hóa mô hình của bạn. 

Một trường hợp tuyệt vời để tinh chỉnh là xây dựng một bot kiến thức cho kiến thức tĩnh. Bằng cách đưa ra ví dụ về câu hỏi và câu trả lời, nó sẽ có thể trả lời chúng trong tương lai mà không cần tra cứu câu trả lời. Nhưng đó không phải là giải pháp thực tế cho thông tin thời gian thực. 

Thế hệ tăng cường truy xuất

RAG là một cái tên mỹ miều cho một điều đơn giản mà tất cả chúng ta đều đã làm ChatGPT : dán một số văn bản vào ChatGPT và đặt câu hỏi về nó. 

Một ví dụ điển hình là hỏi xem một sản phẩm nào đó có còn hàng trên một trang thương mại điện tử hay không và chatbot sẽ tra cứu thông tin trong danh mục sản phẩm (thay vì trên toàn bộ internet). 

Xét về tốc độ phát triển và khả năng thu thập thông tin theo thời gian thực, RAG là công cụ không thể thiếu. 

Nó thường không ảnh hưởng đến mô hình bạn sẽ chọn, tuy nhiên không có gì ngăn cản bạn tạo ra một LLM Điểm cuối API truy vấn thông tin và trả lời và sử dụng điểm cuối này như thể nó là của riêng nó LLM . 

Sử dụng RAG cho chatbot dựa trên kiến thức thường dễ bảo trì hơn vì bạn không cần phải tinh chỉnh mô hình và cập nhật liên tục – điều này cũng có thể giúp giảm chi phí.

Học N-shot 

Cách nhanh nhất để bắt đầu cải thiện chất lượng phản hồi là cung cấp các ví dụ trong một LLM Gọi API. 

Không đưa ra ví dụ nào về những gì bạn đang tìm kiếm trong câu trả lời – là cách mà hầu hết chúng ta sử dụng ChatGPT . Việc thêm một ví dụ (hoặc một lần) thường đủ để thấy được sự cải thiện đáng kể về chất lượng phản hồi. 

Nhiều hơn một ví dụ được coi là n-shot. N-shot không thay đổi mô hình, không giống như tinh chỉnh. Bạn chỉ đưa ra ví dụ ngay trước khi yêu cầu phản hồi, mỗi khi bạn đặt câu hỏi. 

Nhưng chiến lược này không thể bị lạm dụng: LLM Các mô hình có kích thước ngữ cảnh tối đa và được định giá theo kích thước của thông điệp. Việc tinh chỉnh có thể loại bỏ nhu cầu về các ví dụ n-shot, nhưng mất nhiều thời gian hơn để làm đúng. 

Các kỹ thuật kỹ thuật nhanh khác

Có những kỹ thuật thiết kế nhanh khác, như chuỗi suy nghĩ , buộc các mô hình phải suy nghĩ thành tiếng trước khi đưa ra câu trả lời. 

Điều này làm tăng chất lượng phản hồi, nhưng phải đánh đổi bằng thời gian phản hồi, chi phí và tốc độ. 

Khuyến nghị của tôi

Mặc dù mỗi dự án sẽ có những nhu cầu riêng, tôi sẽ đưa ra ý kiến của mình về một cách tiếp cận mạnh mẽ. 

Một nơi tốt để bắt đầu là sử dụng một mô hình có sẵn cân bằng giữa tốc độ và chất lượng, như GPT -4o Mini. Bắt đầu bằng cách xem xét chất lượng phản hồi, tốc độ phản hồi, chi phí, nhu cầu về cửa sổ ngữ cảnh và quyết định những gì cần cải thiện từ đó. 

Sau đó, với trường hợp sử dụng hẹp, bạn có thể thử một số kỹ thuật nhắc nhở đơn giản, tiếp theo là RAG và cuối cùng là tinh chỉnh. Mỗi mô hình trải qua những điều này sẽ có hiệu suất tăng, vì vậy có thể khó để tìm ra cách sử dụng.

Cân nhắc về quyền riêng tư

Trong một thế giới lý tưởng, mọi LLM sẽ nằm trong tầm kiểm soát của bạn 100% và không có thông tin nào bị tiết lộ ở bất cứ đâu. 

Thật không may, đây không phải là những gì chúng ta quan sát được trong thực tế – và có những lý do chính đáng. 

Đầu tiên là đơn giản: cần có kỹ thuật để lưu trữ và duy trì một mô hình tùy chỉnh, rất tốn kém. Khi mô hình được lưu trữ gặp thời gian chết, các số liệu kinh doanh bị ảnh hưởng, do đó việc triển khai phải rất chắc chắn. 

Một lý do khác là các nhà lãnh đạo ngành công nghiệp – như OpenAI , Google và Anthropic – liên tục phát hành các mô hình mới hơn, có khả năng hơn và rẻ hơn khiến bất kỳ công việc tinh chỉnh nào trở nên thừa thãi. Điều này đã xảy ra kể từ khi phát hành ChatGPT 3.5 và không có dấu hiệu thay đổi. 

Nếu trường hợp sử dụng của bạn có dữ liệu cực kỳ nhạy cảm, thì việc sử dụng một mô hình và tối ưu hóa nó cho trường hợp sử dụng của bạn là hợp lý. Nếu GDPR là ưu tiên hàng đầu, có rất nhiều mô hình có sẵn tuân thủ GDPR .

Xây dựng sau khi lựa chọn của bạn LLM

Một khi bạn đã chọn một LLM , bạn có thể bắt đầu tìm hiểu cách xây dựng và duy trì dự án AI của mình. Ví dụ, tôi sẽ lấy loại dự án mà tôi quen thuộc nhất: tác nhân AI hoặc chatbot AI .

Bạn có thể trả lời những câu hỏi sau để xác định phạm vi dự án của mình:

• Tôi muốn tác nhân AI của mình sống ở đâu? ( Slack , WhatsApp , tiện ích trang web, v.v.)
• Nó cần có những kiến thức gì, kiến thức đó ở đâu?
• Ngoài khả năng trả lời kiến thức, nó còn cần có những khả năng nào nữa? 
• Nó có nên kích hoạt khi có điều gì đó xảy ra ở đâu đó trong doanh nghiệp không?

Chuyển giao kỹ thuật để tiết kiệm $

Duy trì ngân sách eo hẹp là điều quan trọng để biến dự án của bạn thành hiện thực. Một trong những cách bạn có thể làm là giảm thời gian kỹ thuật bằng cách tách rời các yêu cầu. 

Ngày nay, chúng ta có thể tiếp cận các giải pháp mã thấp như Flutterflow, Shopify, có thể được sử dụng bởi các vai trò không chuyên về kỹ thuật như Quản lý sản phẩm. Chatbot cũng không ngoại lệ và một số nền tảng tự động hóa AI thậm chí còn cho phép bạn sử dụng LLM của riêng mình . 

Bạn có thể hướng dẫn các kỹ sư tập trung vào việc lưu trữ LLM và thiết lập với nền tảng tự động hóa. Điều đó giải phóng các nhà phân tích kinh doanh, quản lý sản phẩm và các vai trò liên quan khác để xây dựng các tác nhân AI đáp ứng các yêu cầu kinh doanh. 

Khi cần thêm điều gì đó, các nền tảng này thường có cách để các kỹ sư thêm một số mã. Theo cách này, bạn giữ được lợi thế của một mô hình tùy chỉnh và có được sự linh hoạt, tốc độ và khả năng chi trả.

Cung cấp sự tự do về kỹ thuật để giải quyết các vấn đề kinh doanh

Mặt khác, đôi khi các vấn đề kinh doanh lại rất khó giải quyết. 

Chúng ta đang nói về mạng lưới hoàn toàn bị cô lập LLM các ứng dụng, ứng dụng trên thiết bị hoặc các dự án yêu cầu cung cấp cho chatbot những khả năng cực kỳ tiên tiến, không chỉ đơn thuần là đồng bộ hóa dữ liệu giữa hai nền tảng. 

Trong những trường hợp đó, việc cho phép các kỹ sư tự do sử dụng bất kỳ công cụ nào mà họ thấy thoải mái nhất là hợp lý. Thông thường, điều này chỉ là viết mã và các bên liên quan chỉ đóng vai trò là người quản lý dự án.

Những cân nhắc chiến lược để tùy chỉnh một LLM

Lựa chọn một tùy chỉnh LLM vì dự án AI của bạn không chỉ là việc chọn mô hình tốt nhất – mà còn là việc đưa ra các quyết định chiến lược phù hợp với mục tiêu của bạn. 

Các mô hình tùy chỉnh cung cấp tính linh hoạt, khả năng kiểm soát và tiềm năng tối ưu hóa cho các tác vụ cụ thể, nhưng chúng cũng đi kèm với sự phức tạp hơn. Bắt đầu với một mô hình có sẵn, thử nghiệm với kỹ thuật nhanh chóng và dần dần tinh chỉnh từ đó. 

Hãy nhớ rằng, mô hình phù hợp phải phù hợp với nhu cầu kinh doanh của bạn, không chỉ là công nghệ của bạn stack .

Tùy chỉnh với các nền tảng mạnh mẽ

Bạn đã sẵn sàng đưa dự án AI của mình lên tầm cao mới chưa?

Botpress là một nền tảng tác nhân AI có thể mở rộng và linh hoạt hoàn toàn. stack cho phép các nhà phát triển xây dựng chatbot và tác nhân AI cho mọi trường hợp sử dụng có thể xảy ra.

Chúng tôi có một nền tảng giáo dục mạnh mẽ, Botpress Academy, cũng như một kênh YouTube chi tiết. Của chúng tôi Discord Lưu trữ hơn 20,000+ nhà xây dựng bot, vì vậy bạn luôn có thể nhận được sự hỗ trợ cần thiết. 

Bắt đầu xây dựng ngay hôm nay. Nó miễn phí.

Xây dựng các tác nhân AI

Xây dựng LLM -các tác nhân AI được hỗ trợ

Bắt đầu ngay

Không cần thẻ tín dụng