Cách tối ưu hóa chi phí chi tiêu AI trong Botpress

Nhiều doanh nghiệp phải đối mặt với thách thức tận dụng tiềm năng của công nghệ AI mà không chi tiêu quá mức. Chúng tôi hiểu tầm quan trọng của sự cân bằng này và cam kết cung cấp các giải pháp cho phép người dùng tận dụng AI hiệu quả về chi phí.

Cách tiếp cận của chúng tôi đối với Chi phí AI

Đầu tiên, điều quan trọng là phải hiểu hai thành phần quan trọng về cách chúng tôi giảm chi phí liên quan đến AI cho người dùng trong khi vẫn cung cấp các lợi ích của khả năng AI.

Giá cả minh bạch: Không có phí ẩn

Chúng tôi không thêm bất kỳ lợi nhuận nào cho các nhiệm vụ liên quan đến AI. Điều này có nghĩa là chi phí Chi tiêu AI của bạn liên quan trực tiếp đến việc sử dụng thực tế của bạn mà không phải trả thêm bất kỳ khoản phí AI nào từ phía chúng tôi. Bạn có thể sử dụng Máy tính chi tiêu AI của chúng tôi để ước tính Chi tiêu AI tiềm năng của bạn với chúng tôi.

Bộ nhớ đệm AI phản hồi

Bộ nhớ đệm là một trong những chiến lược hiệu quả nhất của chúng tôi để cắt giảm chi phí AI của bot. Bằng cách lưu vào bộ nhớ đệm phản hồi AI, chúng tôi giảm số lượng yêu cầu cho LLM nhà cung cấp có thể giảm chi phí truy vấn khoảng 30%, giúp bạn tiết kiệm tiền mà không ảnh hưởng đến chất lượng tương tác của bot với người dùng của bạn.

Mẹo tối ưu hóa chi phí AI

Bây giờ chúng ta đã thấy hai trong số các cách tiếp cận mà chúng tôi thực hiện để giảm chi tiêu AI của người dùng, hãy xem các mẹo bạn có thể sử dụng trong khi xây dựng bot của mình để giảm chi phí AI hơn nữa.

Tối ưu hóa cơ sở kiến thức của bạn

Tối ưu hóa Cơ sở tri thức (KBs) có thể ảnh hưởng lớn đến Chi tiêu AI của bạn vì KB thường là động lực chi phí AI lớn nhất trong một Botpress dự án.

Mẹo 1: Chọn mô hình AI phù hợp

Việc lựa chọn mô hình AI tác động đáng kể đến chi phí. Từ GPT-3.5 Turbo nhanh hơn và rẻ hơn GPT-4 Turbo, chúng tôi khuyên bạn nên kiểm tra kỹ lưỡng thiết lập của mình với GPT-3.5 Turbo trước khi xem xét nâng cấp lên các phiên bản cao cấp hơn. 

Chế độ kết hợp KB Agent của chúng tôi cung cấp một nền tảng trung gian tuyệt vời, như chúng tôi sử dụng ban đầu GPT-3.5 Turbo để cố gắng trả lời truy vấn và nâng cấp lên GPT-4 Turbo chỉ khi cần thiết.

Mẹo 2: Bảo vệ KB của bạn

Bạn có thể giảm chi tiêu AI của mình bằng cách bảo vệ KB của mình khỏi các Câu hỏi thường gặp điển hình không cần thiết không cần AI hoặc trả lời thông minh bằng thẻ Tìm bản ghi. Đây là cách nó hoạt động: nếu bạn biết rằng người dùng thường hỏi một câu hỏi và chúng tôi có 50 câu hỏi nổi tiếng với câu trả lời của họ, chúng tôi có thể thêm họ vào bảng và truy vấn bảng đó bằng thẻ Tìm bản ghi. Trong trường hợp chúng tôi không tìm thấy câu trả lời, chỉ sau đó chúng tôi mới nhìn vào KB.

Mẹo 3: Xác định đúng phạm vi KB của bạn

Tùy thuộc vào loại thông tin và số lượng thông tin mà bạn muốn thêm vào KB, cách tốt nhất là thực hiện song song hai việc để cắt giảm chi phí AI Chi tiêu. Trước tiên, hãy sắp xếp thông tin của bạn thành các KB nhỏ hơn, với mỗi KB nằm trong phạm vi một sản phẩm/tính năng/chủ đề cụ thể. Thứ hai, hướng người dùng thông qua quy trình làm việc với nhiều câu hỏi để giảm phạm vi tìm kiếm của bạn xuống một KB cụ thể; Điều này sẽ không chỉ làm giảm chi phí, mà còn mang lại kết quả tốt hơn.

Mẹo 4: Nguồn dữ liệu KB của trang web so với Tìm kiếm nguồn dữ liệu KB trên web

Nếu bạn sử dụng một trang web làm nguồn dữ liệu KB của mình nhưng không thực hiện các thay đổi liên tục đối với trang web cần được phản ánh cho bot của bạn trong thời gian thực thì một giải pháp thay thế hiệu quả về chi phí tốt là sử dụng Tìm kiếm trên web làm nguồn dữ liệu KB của bạn thay vì nguồn dữ liệu KB của Trang web. Trước khi thực hiện chuyển đổi đó, hãy đảm bảo kiểm tra xem hiệu suất của các câu hỏi bạn dự đoán sẽ được hỏi không bị suy giảm với công tắc này.

Mẹo 5: Bảng truy vấn với thẻ Tìm bản ghi hoặc Mã thực thi

Nếu bạn có Bảng với dữ liệu bạn muốn truy vấn, hãy cân nhắc sử dụng thẻ Tìm Bản ghi thay vì sử dụng Bảng trong KB. Đối với những người có chuyên môn kỹ thuật, thực thi mã có thể là một phương pháp truy vấn Bảng thậm chí còn hiệu quả hơn về chi phí. Bạn làm như vậy bằng cách truy vấn Bảng trực tiếp từ thẻ Mã thực thi và lưu trữ đầu ra trong một biến dòng công việc mà bạn có thể tham khảo sau.

Mẹo 6: Kiểm soát các khối

Theo từng đoạn, tôi đang đề cập đến số lượng khối sẽ được truy xuất từ Cơ sở tri thức để tạo ra câu trả lời. Nói chung, càng nhiều khối được truy xuất, câu trả lời càng chính xác - nhưng sẽ mất nhiều thời gian hơn để tạo và tốn nhiều mã thông báo AI hơn. Thử nghiệm với kích thước khối để thiết lập số lượng thấp nhất mà vẫn dẫn đến phản hồi chính xác.

Sử dụng Execute Code Card để giảm chi phí AI Spend

Thẻ Execute Code có thể là một sự thay thế phù hợp, hiệu quả về chi phí cho một số thẻ AI. Dưới đây là một vài tình huống mà bạn có thể cân nhắc sử dụng chúng:

Các lựa chọn thay thế tin nhắn thông minh hơn

Nếu bạn muốn bot của mình gửi phản hồi AI khác nhau cho cùng một truy vấn mỗi lần, bạn phải ngăn bộ nhớ đệm (xem Phụ lục để tìm hiểu cách thực hiện). Có những tình huống mà sự gia tăng Chi tiêu AI có thể được chứng minh bằng cách cải thiện trải nghiệm trò chuyện. Nhưng điều này không phải lúc nào cũng đúng.

Hãy nghĩ về một cái gì đó giống như một lời chào đơn giản được tạo ra với LLMs. Với mỗi lời chào, bạn sẽ phải chịu thêm chi phí Chi tiêu AI. Có đáng không? Có lẽ là không. May mắn thay, có một cách giải quyết hiệu quả về chi phí: sử dụng một mảng với nhiều phản hồi và một hàm đơn giản để tìm nạp ngẫu nhiên một giá trị và trình bày nó. 

Tùy thuộc vào khối lượng cuộc trò chuyện, số tiền bạn tiết kiệm được bằng cách thực hiện phương pháp này có thể rất xứng đáng với nỗ lực.

Bạn có thể tìm thêm chi tiết về cách triển khai các thông báo thay thế tại đây.

Thực thi mã cho các tác vụ đơn giản

Đối với các tác vụ đơn giản, chẳng hạn như định dạng lại dữ liệu hoặc trích xuất thông tin từ dữ liệu có cấu trúc, sử dụng thẻ Execute Code có thể hiệu quả hơn, rẻ hơn và nhanh hơn so với việc dựa vào LLM.

Các lựa chọn thay thế cho Summary Agent

Bạn có thể sử dụng thẻ Execute Code để tạo bản chép lời của riêng mình.  Đặt thẻ Execute Code bất cứ nơi nào bạn muốn theo dõi thông điệp của người dùng và bot trong một biến mảng. Sau đó, bạn có thể sử dụng mảng đó và cung cấp nó làm ngữ cảnh cho KB của bạn.

Đơn giản hóa khi có thể

Chọn phương pháp tương tác đơn giản hơn để hoàn thành cùng một mục tiêu mà không làm giảm trải nghiệm người dùng. Ví dụ: nếu bạn quan tâm đến việc thu thập phản hồi của người dùng, một hệ thống xếp hạng sao đơn giản với nhận xét sẽ tiết kiệm chi phí hơn so với sử dụng AI để thu thập cùng một thông tin.

Mẹo cho các tác vụ AI, AI tạo văn bản và bản dịch

Chọn mô hình AI phù hợp 

Vâng, việc lựa chọn mô hình AI phù hợp quan trọng đến mức nó đáng được nhắc đến hai lần. Tương tự như KBs, việc lựa chọn mô hình AI tác động đáng kể đến chi phí khi nói đến AI Tasks. Lựa chọn GPT-3.5 Turbo cho các hướng dẫn ít phức tạp hơn. Trước khi xem xét nâng cấp lên các phiên bản nâng cao hơn, hãy kiểm tra kỹ lưỡng thiết lập của bạn với mô hình này. Nhớ GPT-4 Turbo có giá cao gấp 20 lần GPT-3.5 Turbo. Trừ khi kết quả tốt hơn đáng kể, hãy chọn GPT–3.5 Turbo.

Ngoài những điều trên, bạn cũng có thể bảo tồn AI Spend bằng cách giảm số lượng mã thông báo được tiêu thụ trong mỗi lần chạy AI Task.

Khuyến nghị của tôi là hãy có ý thức về việc giảm số lượng này vì nó sẽ dẫn đến bất kỳ mã thông báo bổ sung nào bị cắt ngắn. Ví dụ: nếu bạn giới hạn độ dài ở 2000 mã thông báo và lời nhắc cộng với đầu ra của bạn là hơn 2000 mã thông báo, thì đầu vào của bạn sẽ bị cắt ngắn tương ứng.

AI Task vs AI Generate Text

Đối với các đầu ra văn bản đơn giản, thẻ AI Generate Text sử dụng ít mã thông báo hơn và dễ thiết lập hơn thẻ Tác vụ AI. Đối với các tác vụ liên quan đến phân tích cú pháp thông tin, thẻ Tác vụ AI hoạt động tốt hơn thẻ AI Tạo văn bản. 

Do đó, khuyến nghị của tôi là sử dụng thẻ tác vụ AI khi bạn muốn sử dụng AI để xử lý thông tin (ví dụ: nếu bạn muốn phát hiện ý định của người dùng hoặc nếu bạn muốn AI phân tích đầu vào). Tuy nhiên, nếu bạn muốn tận dụng AI để tạo văn bản, thì hãy sử dụng thẻ AI Tạo văn bản thay thế (ví dụ: nếu bạn muốn lấy câu trả lời KB và mở rộng nó hoặc nếu bạn muốn tạo câu hỏi một cách sáng tạo).

Để tìm hiểu sâu hơn về sự khác biệt giữa thẻ Tác vụ AI và thẻ AI Tạo văn bản, hãy tìm hiểu thêm tại đây.

Bản dịch

Nếu bot của bạn sẽ xử lý một lượng lớn các cuộc hội thoại đa ngôn ngữ, hãy xem xét tích hợp các hook với các dịch vụ dịch thuật bên ngoài để có tùy chọn hiệu quả hơn về chi phí.

Bạn có thể tìm thêm thông tin về móc ở đây.

Kết thúc

Với các chiến lược và mẹo này, bạn sẽ có thể tối ưu hóa Chi tiêu AI của mình trong Botpress. Hiểu được ý nghĩa chi phí của các nhiệm vụ khác nhau và chọn phương pháp hiệu quả nhất cho nhu cầu của bạn sẽ giảm chi phí liên quan đến AI mà không ảnh hưởng đến hiệu suất.

Nhóm của chúng tôi ở đây để giúp bạn điều hướng các tùy chọn này và đảm bảo bot của bạn mang lại trải nghiệm tốt nhất có thể cho người dùng của bạn với chi phí hiệu quả nhất. Truy cập trang Giá của chúng tôi để biết thêm thông tin hoặc truy cập Discord máy chủ để được trợ giúp.

Phụ lục

Cách ngăn bộ nhớ đệm

Nếu bạn muốn khắc phục bộ nhớ đệm để luôn nhận được kết quả trực tiếp, bạn có thể thực hiện một trong các tùy chọn sau:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Để ngăn chặn bộ nhớ đệm tạm thời: xuất bản bot của bạn và kiểm tra bot từ cửa sổ ẩn danh.

Lưu ý: tất cả mọi thứ đều bình đẳng, bằng cách loại bỏ lớp bộ nhớ đệm này và không thực hiện bất kỳ thay đổi nào khác đối với bot của bạn, chi phí Chi tiêu AI sẽ tăng lên.

Các khóa học được đề xuất

• ‍ChatGPT Kỹ thuật nhắc nhở cho nhà phát triển (mặc dù tiêu đề nói đối với các nhà phát triển, những người không phải là nhà phát triển cũng sẽ được hưởng lợi!)
• ‍Hệ thống tòa nhà với ChatGPT API