Cara Mengoptimalkan Biaya Pengeluaran AI di Botpress

Kiat 1: Pilih Model AI yang Tepat

Pilihan model AI secara signifikan berdampak pada biaya. Karena GPT-3.5 Turbo lebih cepat & lebih murah daripada GPT-4 Turbo, kami sarankan untuk menguji secara menyeluruh pengaturan Anda dengan GPT-3.5 Turbo sebelum mempertimbangkan peningkatan ke versi yang lebih canggih. 

Mode hibrida KB Agent kami menawarkan jalan tengah yang sangat baik, karena pada awalnya kami menggunakan GPT-3.5 Turbo untuk mencoba merespons sebuah kueri dan meningkatkannya ke GPT-4 Turbo hanya jika diperlukan.

Tip 2: Lindungi KB Anda

Anda dapat mengurangi Pengeluaran AI Anda dengan melindungi KB Anda dari FAQ umum yang tidak perlu yang tidak memerlukan AI atau jawaban cerdas dengan kartu Find Records. Beginilah cara kerjanya: jika Anda tahu bahwa pengguna biasanya mengajukan satu pertanyaan dan kami memiliki 50 pertanyaan terkenal dengan jawabannya, kami dapat menambahkannya ke sebuah tabel dan menanyakan tabel tersebut menggunakan kartu Find Records. Jika kita tidak menemukan jawabannya, barulah kita mencari di KB.

Tip 3: Cakupan KB Anda dengan Benar

Bergantung pada jenis informasi dan jumlah informasi yang ingin Anda tambahkan ke KB, biasanya praktik terbaik adalah melakukan dua hal secara paralel untuk memangkas biaya Pengeluaran AI. Pertama, atur informasi Anda ke dalam KB yang lebih kecil, dengan setiap KB yang mencakup produk/fitur/topik tertentu. Kedua, arahkan pengguna melalui alur kerja dengan beberapa pertanyaan untuk mempersempit pencarian Anda ke KB tertentu; hal ini tidak hanya akan mengurangi biaya, tetapi juga akan memberikan hasil yang lebih baik.

Tip 4: Sumber Data KB Situs Web vs Mencari Sumber Data KB Situs Web

Jika Anda menggunakan situs web sebagai sumber data KB Anda, tetapi tidak membuat perubahan terus-menerus pada situs web yang perlu direfleksikan ke bot Anda secara real time, maka alternatif hemat biaya yang baik adalah dengan menggunakan Search The Web sebagai sumber data KB Anda alih-alih sumber data KB Situs Web. Sebelum melakukan transisi tersebut, pastikan untuk menguji bahwa kinerja pada pertanyaan yang Anda perkirakan akan ditanyakan tidak akan menurun dengan peralihan ini.

Tip 5: Tabel Kueri dengan kartu Temukan Catatan atau Jalankan Kode

Jika Anda memiliki Tabel dengan data yang ingin Anda kueri, pertimbangkan untuk menggunakan kartu Find Records alih-alih menggunakan Tabel dalam KB. Bagi mereka yang memiliki keahlian teknis, mengeksekusi kode dapat menjadi metode yang lebih hemat biaya untuk meng-query Tabel. Anda melakukannya dengan membuat kueri Tabel secara langsung dari kartu Execute Code dan menyimpan hasilnya dalam variabel alur kerja yang dapat Anda rujuk nanti.

Kiat 6: Kendalikan Potongan-potongan

Yang saya maksud dengan potongan adalah jumlah potongan yang akan diambil dari Basis Pengetahuan untuk menghasilkan jawaban. Umumnya, semakin banyak potongan yang diambil, semakin akurat jawabannya - tetapi akan membutuhkan waktu lebih lama untuk menghasilkan dan membutuhkan lebih banyak token AI. Bereksperimenlah dengan ukuran potongan untuk menentukan jumlah terendah yang masih menghasilkan jawaban yang akurat.

Alternatif Pesan yang Lebih Cerdas

Jika Anda ingin bot Anda mengirim respons AI yang berbeda untuk kueri yang sama setiap saat, Anda harus mencegah caching (lihat Lampiran untuk mempelajari caranya). Ada beberapa skenario di mana peningkatan Pengeluaran AI dapat dibenarkan oleh peningkatan pengalaman percakapan. Namun, tidak selalu demikian.

Pikirkan sesuatu seperti ucapan sederhana yang dibuat dengan LLMs. Dengan setiap ucapan, Anda akan dikenakan biaya AI Spend tambahan. Apakah itu sepadan? Mungkin tidak. Untungnya, ada solusi yang hemat biaya: gunakan larik dengan beberapa respons dan fungsi sederhana untuk mengambil nilai secara acak dan menyajikannya. 

Tergantung pada volume percakapan, jumlah yang Anda hemat dengan menerapkan metode ini bisa jadi sepadan dengan usaha Anda.

Anda dapat menemukan detail lebih lanjut tentang cara menerapkan pesan alternatif di sini.

Eksekusi Kode untuk Tugas Sederhana

Untuk tugas-tugas sederhana, seperti memformat ulang data atau mengekstrak informasi dari data terstruktur, menggunakan kartu Execute Code dapat lebih efisien, lebih murah dan lebih cepat daripada mengandalkan LLM.

Alternatif untuk Agen Ringkasan

Anda dapat menggunakan kartu Execute Code untuk membuat transkrip Anda sendiri. Letakkan kartu Execute Code di mana pun Anda ingin melacak pesan pengguna dan bot dalam sebuah variabel array. Setelah itu, Anda dapat menggunakan larik tersebut dan mengumpankannya sebagai konteks ke KB Anda.

Pilih Model AI yang Tepat 

Ya, memilih model AI yang tepat sangatlah penting sehingga perlu disebutkan dua kali. Serupa dengan KB, pilihan model AI secara signifikan memengaruhi biaya dalam hal Tugas AI. Pilihlah GPT-3.5 Turbo untuk instruksi yang tidak terlalu rumit. Sebelum mempertimbangkan peningkatan ke versi yang lebih canggih, uji secara menyeluruh pengaturan Anda dengan model ini. Ingat, GPT-4 Turbo harganya 20x lipat lebih mahal daripada GPT-3.5 Turbo. Kecuali jika hasilnya jauh lebih baik, pilihlah GPT-3.5 Turbo.

Selain hal di atas, Anda juga dapat menghemat AI Spend dengan mengurangi jumlah token yang dikonsumsi dalam setiap AI Task yang dijalankan.

Rekomendasi saya adalah untuk berhati-hati dalam mengurangi jumlah ini karena akan mengakibatkan token tambahan terpotong. Sebagai contoh, jika Anda membatasi panjangnya hingga 2000 token dan prompt Anda ditambah output Anda lebih dari 2000 token, maka input Anda akan terpotong.

Tugas AI vs Teks yang Dihasilkan AI

Untuk output teks sederhana, kartu AI Generate Text menggunakan lebih sedikit token dan lebih mudah diatur daripada kartu AI Task. Untuk tugas yang melibatkan penguraian informasi, kartu AI Task mengungguli kartu AI Generate Text. 

Oleh karena itu, rekomendasi saya adalah menggunakan kartu AI Task ketika Anda ingin menggunakan AI untuk memproses informasi (misalnya, jika Anda ingin mendeteksi maksud pengguna atau jika Anda ingin AI menganalisis input). Namun, jika Anda ingin memanfaatkan AI untuk menghasilkan teks, gunakan kartu AI Generate Text sebagai gantinya (misalnya jika Anda ingin mengambil jawaban KB dan mengembangkannya atau jika Anda ingin menghasilkan pertanyaan secara kreatif).

Untuk mengetahui lebih dalam tentang perbedaan antara kartu AI Task dan kartu AI Generate Text, pelajari lebih lanjut di sini.

Terjemahan

Jika bot Anda akan menangani percakapan multibahasa dalam jumlah besar, pertimbangkan untuk mengintegrasikan pengait dengan layanan terjemahan eksternal untuk opsi yang lebih hemat biaya.

Anda dapat menemukan informasi selengkapnya mengenai kait di sini.