Cara Mengoptimalkan Biaya Pengeluaran AI di Botpress

Banyak bisnis menghadapi tantangan untuk memanfaatkan potensi teknologi AI tanpa mengeluarkan biaya yang berlebihan. Kami memahami pentingnya keseimbangan ini dan berkomitmen untuk menyediakan solusi yang memungkinkan pengguna kami memanfaatkan AI secara efektif.

Pendekatan kami terhadap Biaya AI

Pertama, penting untuk memahami dua komponen penting dalam cara kami mengurangi biaya terkait AI bagi pengguna kami sambil tetap menawarkan manfaat dari kemampuan AI.

Harga yang Transparan: Tidak Ada Biaya Tersembunyi

Kami tidak menambahkan margin apa pun untuk tugas-tugas yang berhubungan dengan AI. Ini berarti biaya Pengeluaran AI Anda secara langsung terkait dengan penggunaan aktual Anda tanpa biaya AI tambahan dari pihak kami. Anda dapat menggunakan Kalkulator Pengeluaran AI kami untuk memperkirakan potensi Pengeluaran AI Anda bersama kami.

Tanggapan AI Caching

Caching adalah salah satu strategi kami yang paling efektif untuk memangkas biaya AI bot. Dengan menyimpan respons AI, kami mengurangi jumlah permintaan ke penyedia LLM yang dapat mengurangi biaya kueri sekitar 30% sehingga menghemat uang Anda tanpa mengorbankan kualitas interaksi bot dengan pengguna Anda.

Kiat untuk mengoptimalkan Biaya AI

Sekarang kita telah melihat dua pendekatan yang kami lakukan untuk menurunkan Pengeluaran AI pengguna, mari kita lihat tips yang dapat Anda gunakan saat membuat bot Anda untuk lebih menurunkan biaya AI.

Optimalkan Basis Pengetahuan Anda

Mengoptimalkan Basis Pengetahuan (KB) Anda dapat sangat memengaruhi Pengeluaran AI Anda karena KB biasanya merupakan pendorong biaya AI terbesar dalam proyek Botpress .

Kiat 1: Pilih Model AI yang Tepat

Pilihan model AI secara signifikan berdampak pada biaya. Karena GPT-3.5 Turbo lebih cepat & lebih murah daripada GPT-4 Turbo, kami sarankan untuk menguji secara menyeluruh pengaturan Anda dengan GPT-3.5 Turbo sebelum mempertimbangkan peningkatan ke versi yang lebih canggih. 

Mode hibrida KB Agent kami menawarkan jalan tengah yang sangat baik, karena pada awalnya kami menggunakan GPT-3.5 Turbo untuk mencoba merespons kueri dan meningkatkannya ke GPT-4 Turbo hanya jika diperlukan.

Tip 2: Lindungi KB Anda

Anda dapat mengurangi Pengeluaran AI Anda dengan melindungi KB Anda dari FAQ umum yang tidak perlu yang tidak memerlukan AI atau jawaban cerdas dengan kartu Find Records. Beginilah cara kerjanya: jika Anda tahu bahwa pengguna biasanya mengajukan satu pertanyaan dan kami memiliki 50 pertanyaan terkenal dengan jawabannya, kami dapat menambahkannya ke sebuah tabel dan menanyakan tabel tersebut menggunakan kartu Find Records. Jika kita tidak menemukan jawabannya, barulah kita mencari di KB.

Tip 3: Cakupan KB Anda dengan Benar

Bergantung pada jenis informasi dan jumlah informasi yang ingin Anda tambahkan ke KB, biasanya praktik terbaik adalah melakukan dua hal secara paralel untuk memangkas biaya Pengeluaran AI. Pertama, atur informasi Anda ke dalam KB yang lebih kecil, dengan setiap KB yang mencakup produk/fitur/topik tertentu. Kedua, arahkan pengguna melalui alur kerja dengan beberapa pertanyaan untuk mempersempit pencarian Anda ke KB tertentu; hal ini tidak hanya akan mengurangi biaya, tetapi juga akan memberikan hasil yang lebih baik.

Tip 4: Sumber Data KB Situs Web vs Mencari Sumber Data KB Situs Web

Jika Anda menggunakan situs web sebagai sumber data KB Anda, tetapi tidak membuat perubahan terus-menerus pada situs web yang perlu direfleksikan ke bot Anda secara real time, maka alternatif hemat biaya yang baik adalah dengan menggunakan Search The Web sebagai sumber data KB Anda alih-alih sumber data KB Situs Web. Sebelum melakukan transisi tersebut, pastikan untuk menguji bahwa kinerja pada pertanyaan yang Anda perkirakan akan ditanyakan tidak akan menurun dengan peralihan ini.

Tip 5: Tabel Kueri dengan kartu Temukan Catatan atau Jalankan Kode

Jika Anda memiliki Tabel dengan data yang ingin Anda kueri, pertimbangkan untuk menggunakan kartu Find Records alih-alih menggunakan Tabel dalam KB. Bagi mereka yang memiliki keahlian teknis, mengeksekusi kode dapat menjadi metode yang lebih hemat biaya untuk meng-query Tabel. Anda melakukannya dengan membuat kueri Tabel secara langsung dari kartu Execute Code dan menyimpan hasilnya dalam variabel alur kerja yang dapat Anda rujuk nanti.

Kiat 6: Kendalikan Potongan-potongan

Yang saya maksud dengan potongan adalah jumlah potongan yang akan diambil dari Basis Pengetahuan untuk menghasilkan jawaban. Umumnya, semakin banyak potongan yang diambil, semakin akurat jawabannya - tetapi akan membutuhkan waktu lebih lama untuk menghasilkan dan membutuhkan lebih banyak token AI. Bereksperimenlah dengan ukuran potongan untuk menentukan jumlah terendah yang masih menghasilkan jawaban yang akurat.

Gunakan Execute Code Card untuk menurunkan biaya Pengeluaran AI

Kartu Execute Code dapat menjadi pengganti yang sesuai dan hemat biaya untuk beberapa kartu AI. Berikut ini beberapa skenario yang dapat Anda pertimbangkan untuk menggunakannya:

Alternatif Pesan yang Lebih Cerdas

Jika Anda ingin bot Anda mengirim respons AI yang berbeda untuk kueri yang sama setiap saat, Anda harus mencegah caching (lihat Lampiran untuk mempelajari caranya). Ada beberapa skenario di mana peningkatan Pengeluaran AI dapat dibenarkan oleh peningkatan pengalaman percakapan. Namun, tidak selalu demikian.

Pikirkan sesuatu seperti ucapan sederhana yang dihasilkan dengan LLM. Dengan setiap ucapan, Anda akan dikenakan biaya AI Spend tambahan. Apakah itu sepadan? Mungkin tidak. Untungnya, ada solusi yang hemat biaya: gunakan larik dengan beberapa respons dan fungsi sederhana untuk mengambil nilai secara acak dan menyajikannya. 

Tergantung pada volume percakapan, jumlah yang Anda hemat dengan menerapkan metode ini bisa jadi sepadan dengan usaha Anda.

Anda dapat menemukan detail lebih lanjut tentang cara menerapkan pesan alternatif di sini.

Eksekusi Kode untuk Tugas Sederhana

Untuk tugas-tugas sederhana, seperti memformat ulang data atau mengekstrak informasi dari data terstruktur, menggunakan kartu Execute Code dapat lebih efisien, lebih murah dan lebih cepat daripada mengandalkan LLM.

Alternatif untuk Agen Ringkasan

Anda dapat menggunakan kartu Execute Code untuk membuat transkrip Anda sendiri. Letakkan kartu Execute Code di mana pun Anda ingin melacak pesan pengguna dan bot dalam sebuah variabel array. Setelah itu, Anda dapat menggunakan larik tersebut dan mengumpankannya sebagai konteks ke KB Anda.

Sederhanakan Jika Memungkinkan

Pilihlah metode interaksi yang lebih sederhana yang dapat mencapai tujuan yang sama tanpa mengurangi pengalaman pengguna. Misalnya, jika Anda tertarik untuk mengumpulkan umpan balik dari pengguna, sistem peringkat bintang sederhana dengan komentar akan lebih hemat biaya daripada menggunakan AI untuk mengumpulkan informasi yang sama.

Tips untuk Tugas AI, AI Menghasilkan Teks, dan Terjemahan

Pilih Model AI yang Tepat 

Ya, memilih model AI yang tepat sangatlah penting sehingga perlu disebutkan dua kali. Serupa dengan KB, pilihan model AI secara signifikan memengaruhi biaya dalam hal Tugas AI. Pilihlah GPT-3.5 Turbo untuk instruksi yang tidak terlalu rumit. Sebelum mempertimbangkan peningkatan ke versi yang lebih canggih, uji pengaturan Anda secara menyeluruh dengan model ini. Ingat, GPT-4 Turbo harganya 20x lebih mahal daripada GPT-3.5 Turbo. Kecuali jika hasilnya jauh lebih baik, pilihlah GPT-3.5 Turbo.

Selain hal di atas, Anda juga dapat menghemat AI Spend dengan mengurangi jumlah token yang dikonsumsi dalam setiap AI Task yang dijalankan.

Rekomendasi saya adalah untuk berhati-hati dalam mengurangi jumlah ini karena akan mengakibatkan token tambahan terpotong. Sebagai contoh, jika Anda membatasi panjangnya hingga 2000 token dan prompt Anda ditambah output Anda lebih dari 2000 token, maka input Anda akan terpotong.

Tugas AI vs Teks yang Dihasilkan AI

Untuk output teks sederhana, kartu AI Generate Text menggunakan lebih sedikit token dan lebih mudah diatur daripada kartu AI Task. Untuk tugas yang melibatkan penguraian informasi, kartu AI Task mengungguli kartu AI Generate Text. 

Oleh karena itu, rekomendasi saya adalah menggunakan kartu AI Task ketika Anda ingin menggunakan AI untuk memproses informasi (misalnya, jika Anda ingin mendeteksi maksud pengguna atau jika Anda ingin AI menganalisis input). Namun, jika Anda ingin memanfaatkan AI untuk menghasilkan teks, gunakan kartu AI Generate Text sebagai gantinya (misalnya jika Anda ingin mengambil jawaban KB dan mengembangkannya atau jika Anda ingin menghasilkan pertanyaan secara kreatif).

Untuk mengetahui lebih dalam tentang perbedaan antara kartu AI Task dan kartu AI Generate Text, pelajari lebih lanjut di sini.

Terjemahan

Jika bot Anda akan menangani percakapan multibahasa dalam jumlah besar, pertimbangkan untuk mengintegrasikan pengait dengan layanan terjemahan eksternal untuk opsi yang lebih hemat biaya.

Anda dapat menemukan informasi selengkapnya mengenai kait di sini.

Kesimpulan

Dengan strategi dan tips ini, Anda akan dapat mengoptimalkan Pengeluaran AI Anda di Botpress. Memahami implikasi biaya dari berbagai tugas dan memilih metode yang paling efisien untuk kebutuhan Anda akan mengurangi pengeluaran terkait AI tanpa mengorbankan kinerja.

Tim kami siap membantu Anda menavigasi opsi-opsi ini dan memastikan bot Anda memberikan pengalaman terbaik bagi pengguna Anda dengan biaya yang paling efisien. Kunjungi halaman Harga untuk informasi lebih lanjut atau kunjungi server Discord kami untuk mendapatkan bantuan.

Lampiran

Cara Mencegah Caching

Jika Anda ingin mengatasi caching untuk selalu mendapatkan hasil langsung, Anda dapat melakukan salah satu dari opsi berikut ini:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Untuk pencegahan caching sementara: publikasikan bot Anda dan uji dari jendela penyamaran.

Catatan: semua hal dianggap sama, dengan menghapus lapisan caching ini dan tidak membuat perubahan lain pada bot Anda, biaya Pengeluaran AI akan meningkat.

Kursus yang Direkomendasikan

• ‍ChatGPT Prompt Engineering for Developers (meskipun judulnya ditujukan untuk para pengembang, namun non-pengembang juga akan mendapatkan manfaatnya!)
• ‍MembangunSistem dengan API ChatGPT