Cách tối ưu hóa chi phí chi tiêu AI trong Botpress

Mẹo 1: Chọn mô hình AI phù hợp

Việc lựa chọn mô hình AI tác động đáng kể đến chi phí. Từ GPT-3.5 Turbo nhanh hơn và rẻ hơn GPT-4 Turbo, chúng tôi khuyên bạn nên kiểm tra kỹ lưỡng thiết lập của mình với GPT-3.5 Turbo trước khi xem xét nâng cấp lên các phiên bản cao cấp hơn. 

Chế độ kết hợp KB Agent của chúng tôi cung cấp một nền tảng trung gian tuyệt vời, như chúng tôi sử dụng ban đầu GPT-3.5 Turbo để cố gắng trả lời truy vấn và nâng cấp lên GPT-4 Turbo chỉ khi cần thiết.

Mẹo 2: Bảo vệ KB của bạn

Bạn có thể giảm chi tiêu AI của mình bằng cách bảo vệ KB của mình khỏi các Câu hỏi thường gặp điển hình không cần thiết không cần AI hoặc trả lời thông minh bằng thẻ Tìm bản ghi. Đây là cách nó hoạt động: nếu bạn biết rằng người dùng thường hỏi một câu hỏi và chúng tôi có 50 câu hỏi nổi tiếng với câu trả lời của họ, chúng tôi có thể thêm họ vào bảng và truy vấn bảng đó bằng thẻ Tìm bản ghi. Trong trường hợp chúng tôi không tìm thấy câu trả lời, chỉ sau đó chúng tôi mới nhìn vào KB.

Mẹo 3: Xác định đúng phạm vi KB của bạn

Tùy thuộc vào loại thông tin và số lượng thông tin mà bạn muốn thêm vào KB, cách tốt nhất là thực hiện song song hai việc để cắt giảm chi phí AI Chi tiêu. Trước tiên, hãy sắp xếp thông tin của bạn thành các KB nhỏ hơn, với mỗi KB nằm trong phạm vi một sản phẩm/tính năng/chủ đề cụ thể. Thứ hai, hướng người dùng thông qua quy trình làm việc với nhiều câu hỏi để giảm phạm vi tìm kiếm của bạn xuống một KB cụ thể; Điều này sẽ không chỉ làm giảm chi phí, mà còn mang lại kết quả tốt hơn.

Mẹo 4: Nguồn dữ liệu KB của trang web so với Tìm kiếm nguồn dữ liệu KB trên web

Nếu bạn sử dụng một trang web làm nguồn dữ liệu KB của mình nhưng không thực hiện các thay đổi liên tục đối với trang web cần được phản ánh cho bot của bạn trong thời gian thực thì một giải pháp thay thế hiệu quả về chi phí tốt là sử dụng Tìm kiếm trên web làm nguồn dữ liệu KB của bạn thay vì nguồn dữ liệu KB của Trang web. Trước khi thực hiện chuyển đổi đó, hãy đảm bảo kiểm tra xem hiệu suất của các câu hỏi bạn dự đoán sẽ được hỏi không bị suy giảm với công tắc này.

Mẹo 5: Bảng truy vấn với thẻ Tìm bản ghi hoặc Mã thực thi

Nếu bạn có Bảng với dữ liệu bạn muốn truy vấn, hãy cân nhắc sử dụng thẻ Tìm Bản ghi thay vì sử dụng Bảng trong KB. Đối với những người có chuyên môn kỹ thuật, thực thi mã có thể là một phương pháp truy vấn Bảng thậm chí còn hiệu quả hơn về chi phí. Bạn làm như vậy bằng cách truy vấn Bảng trực tiếp từ thẻ Mã thực thi và lưu trữ đầu ra trong một biến dòng công việc mà bạn có thể tham khảo sau.

Mẹo 6: Kiểm soát các khối

Theo từng đoạn, tôi đang đề cập đến số lượng khối sẽ được truy xuất từ Cơ sở tri thức để tạo ra câu trả lời. Nói chung, càng nhiều khối được truy xuất, câu trả lời càng chính xác - nhưng sẽ mất nhiều thời gian hơn để tạo và tốn nhiều mã thông báo AI hơn. Thử nghiệm với kích thước khối để thiết lập số lượng thấp nhất mà vẫn dẫn đến phản hồi chính xác.

Các lựa chọn thay thế tin nhắn thông minh hơn

Nếu bạn muốn bot của mình gửi phản hồi AI khác nhau cho cùng một truy vấn mỗi lần, bạn phải ngăn bộ nhớ đệm (xem Phụ lục để tìm hiểu cách thực hiện). Có những tình huống mà sự gia tăng Chi tiêu AI có thể được chứng minh bằng cách cải thiện trải nghiệm trò chuyện. Nhưng điều này không phải lúc nào cũng đúng.

Hãy nghĩ về một cái gì đó giống như một lời chào đơn giản được tạo ra với LLMs. Với mỗi lời chào, bạn sẽ phải chịu thêm chi phí Chi tiêu AI. Có đáng không? Có lẽ là không. May mắn thay, có một cách giải quyết hiệu quả về chi phí: sử dụng một mảng với nhiều phản hồi và một hàm đơn giản để tìm nạp ngẫu nhiên một giá trị và trình bày nó. 

Tùy thuộc vào khối lượng cuộc trò chuyện, số tiền bạn tiết kiệm được bằng cách thực hiện phương pháp này có thể rất xứng đáng với nỗ lực.

Bạn có thể tìm thêm chi tiết về cách triển khai các thông báo thay thế tại đây.

Thực thi mã cho các tác vụ đơn giản

Đối với các tác vụ đơn giản, chẳng hạn như định dạng lại dữ liệu hoặc trích xuất thông tin từ dữ liệu có cấu trúc, sử dụng thẻ Execute Code có thể hiệu quả hơn, rẻ hơn và nhanh hơn so với việc dựa vào LLM.

Các lựa chọn thay thế cho Summary Agent

Bạn có thể sử dụng thẻ Execute Code để tạo bản chép lời của riêng mình.  Đặt thẻ Execute Code bất cứ nơi nào bạn muốn theo dõi thông điệp của người dùng và bot trong một biến mảng. Sau đó, bạn có thể sử dụng mảng đó và cung cấp nó làm ngữ cảnh cho KB của bạn.

Chọn mô hình AI phù hợp 

Vâng, việc lựa chọn mô hình AI phù hợp quan trọng đến mức nó đáng được nhắc đến hai lần. Tương tự như KBs, việc lựa chọn mô hình AI tác động đáng kể đến chi phí khi nói đến AI Tasks. Lựa chọn GPT-3.5 Turbo cho các hướng dẫn ít phức tạp hơn. Trước khi xem xét nâng cấp lên các phiên bản nâng cao hơn, hãy kiểm tra kỹ lưỡng thiết lập của bạn với mô hình này. Nhớ GPT-4 Turbo có giá cao gấp 20 lần GPT-3.5 Turbo. Trừ khi kết quả tốt hơn đáng kể, hãy chọn GPT–3.5 Turbo.

Ngoài những điều trên, bạn cũng có thể bảo tồn AI Spend bằng cách giảm số lượng mã thông báo được tiêu thụ trong mỗi lần chạy AI Task.

Khuyến nghị của tôi là hãy có ý thức về việc giảm số lượng này vì nó sẽ dẫn đến bất kỳ mã thông báo bổ sung nào bị cắt ngắn. Ví dụ: nếu bạn giới hạn độ dài ở 2000 mã thông báo và lời nhắc cộng với đầu ra của bạn là hơn 2000 mã thông báo, thì đầu vào của bạn sẽ bị cắt ngắn tương ứng.

AI Task vs AI Generate Text

Đối với các đầu ra văn bản đơn giản, thẻ AI Generate Text sử dụng ít mã thông báo hơn và dễ thiết lập hơn thẻ Tác vụ AI. Đối với các tác vụ liên quan đến phân tích cú pháp thông tin, thẻ Tác vụ AI hoạt động tốt hơn thẻ AI Tạo văn bản. 

Do đó, khuyến nghị của tôi là sử dụng thẻ tác vụ AI khi bạn muốn sử dụng AI để xử lý thông tin (ví dụ: nếu bạn muốn phát hiện ý định của người dùng hoặc nếu bạn muốn AI phân tích đầu vào). Tuy nhiên, nếu bạn muốn tận dụng AI để tạo văn bản, thì hãy sử dụng thẻ AI Tạo văn bản thay thế (ví dụ: nếu bạn muốn lấy câu trả lời KB và mở rộng nó hoặc nếu bạn muốn tạo câu hỏi một cách sáng tạo).

Để tìm hiểu sâu hơn về sự khác biệt giữa thẻ Tác vụ AI và thẻ AI Tạo văn bản, hãy tìm hiểu thêm tại đây.

Bản dịch

Nếu bot của bạn sẽ xử lý một lượng lớn các cuộc hội thoại đa ngôn ngữ, hãy xem xét tích hợp các hook với các dịch vụ dịch thuật bên ngoài để có tùy chọn hiệu quả hơn về chi phí.

Bạn có thể tìm thêm thông tin về móc ở đây.