Cara Mengoptimumkan Kos Perbelanjaan AI dalam Botpress

Banyak perniagaan menghadapi cabaran memanfaatkan potensi teknologi AI tanpa berbelanja berlebihan. Kami memahami kepentingan keseimbangan ini dan komited untuk menyediakan penyelesaian yang membolehkan pengguna kami memanfaatkan AI dengan kos efektif.

Pendekatan kami terhadap Kos AI

Pertama, penting untuk memahami dua komponen penting bagaimana kami mengurangkan kos berkaitan AI untuk pengguna kami sambil masih menawarkan faedah keupayaan AI.

Harga telus: tiada yuran tersembunyi

Kami tidak menambah sebarang margin pada tugas berkaitan AI. Ini bermakna kos Perbelanjaan AI anda berkaitan secara langsung dengan penggunaan sebenar anda tanpa sebarang bayaran AI tambahan dari pihak kami. Anda boleh menggunakan Kalkulator Perbelanjaan AI kami untuk menganggarkan Perbelanjaan AI anda yang berpotensi dengan kami.

Caching Respons AI

Caching adalah salah satu strategi kami yang paling berkesan untuk mengurangkan kos AI bot. Dengan caching respons AI, kami mengurangkan bilangan permintaan kepada LLM pembekal yang dapat mengurangkan kos pertanyaan dengan kira-kira 30% menjimatkan wang anda tanpa menjejaskan kualiti interaksi bot dengan pengguna anda.

Petua untuk mengoptimumkan Kos AI

Sekarang kita telah melihat dua pendekatan yang kita ambil untuk menurunkan AI Spend pengguna kami, mari kita lihat petua yang boleh anda gunakan semasa membina bot anda untuk menurunkan lagi kos AInya.

Optimumkan Pangkalan Pengetahuan anda

Mengoptimumkan Pangkalan Pengetahuan (KB) anda boleh mempengaruhi Perbelanjaan AI anda kerana KB biasanya merupakan pemacu kos AI terbesar dalam a Botpress Projek.

Petua 1: Pilih Model AI yang Betul

Pilihan model AI memberi kesan ketara kepada kos. Sejak GPT-3.5 Turbo lebih pantas & lebih murah daripada GPT-4 Turbo, kami mengesyorkan menguji persediaan anda dengan teliti GPT-3.5 Turbo sebelum mempertimbangkan peningkatan kepada versi yang lebih maju. 

Mod hibrid Ejen KB kami menawarkan pertengahan yang sangat baik, seperti yang kami gunakan pada mulanya GPT-3.5 Turbo untuk mencuba respons kepada pertanyaan dan meningkat kepada GPT-4 Turbo hanya jika perlu.

Petua 2: Lindungi KB Anda

Anda boleh mengurangkan Perbelanjaan AI anda dengan melindungi KB anda daripada Soalan Lazim biasa yang tidak perlu yang tidak memerlukan AI atau menjawab pintar dengan kad Cari Rekod. Beginilah cara ia berfungsi: jika anda tahu bahawa pengguna biasanya bertanya satu soalan dan kami mempunyai 50 soalan terkenal dengan jawapan mereka, kami boleh menambahkannya pada jadual dan pertanyaan jadual menggunakan kad Cari Rekod. Sekiranya kita tidak menemui jawapan, barulah kita melihat KB.

Petua 3: Skop KB anda dengan betul

Bergantung pada jenis maklumat dan kuantiti maklumat yang ingin anda tambahkan ke KB, biasanya amalan terbaik untuk melakukan dua perkara selari dengan mengurangkan kos Perbelanjaan AI. Mula-mula, atur maklumat anda ke KB yang lebih kecil, dengan setiap KB diskop kepada produk/ciri/topik tertentu. Kedua, dorong pengguna melalui aliran kerja dengan berbilang soalan untuk skop carian anda ke KB tertentu; Ini bukan sahaja akan mengurangkan kos, tetapi ia juga akan menghasilkan hasil yang lebih baik.

Petua 4: Sumber Data KB Laman Web vs Cari Sumber Data Web KB

Jika anda menggunakan laman web sebagai sumber data KB anda tetapi tidak membuat perubahan berterusan ke laman web yang perlu ditunjukkan kepada bot anda dalam masa nyata maka alternatif yang menjimatkan kos yang baik adalah menggunakan Carian Web sebagai sumber data KB anda dan bukannya sumber data KB Laman Web. Sebelum membuat peralihan itu, pastikan untuk menguji bahawa prestasi pada soalan yang anda jangkakan ditanya tidak merosot dengan suis ini.

Petua 5: Jadual Pertanyaan dengan Cari Rekod atau Laksanakan Kad Kod

Jika anda mempunyai Jadual dengan data yang anda ingin tanyakan, pertimbangkan untuk menggunakan kad Cari Rekod dan bukannya menggunakan Jadual dalam KB. Bagi mereka yang mempunyai kepakaran teknikal, melaksanakan kod boleh menjadi kaedah yang lebih menjimatkan untuk bertanya Jadual. Anda berbuat demikian dengan bertanya Jadual terus daripada kad Laksanakan Kod dan menyimpan output dalam pemboleh ubah aliran kerja yang anda boleh rujuk kemudian.

Petua 6: Kawal Ketulan

Dengan ketulan saya merujuk kepada bilangan ketulan yang akan diambil dari Pangkalan Pengetahuan untuk menjana jawapan. Secara amnya lebih banyak ketulan yang diambil, lebih tepat jawapannya - tetapi ia akan mengambil masa yang lebih lama untuk menjana dan membiayai lebih banyak token AI. Eksperimen dengan saiz ketulan untuk menubuhkan jumlah terendah yang masih membawa kepada tindak balas yang tepat.

Gunakan Laksanakan Kad Kod untuk mengurangkan kos Perbelanjaan AI

Kad Execute Code boleh menjadi pengganti yang sesuai dan menjimatkan kos untuk beberapa kad AI. Berikut adalah beberapa senario di mana anda boleh mempertimbangkan untuk menggunakannya:

Alternatif Mesej Lebih Pintar

Jika anda mahu bot anda menghantar respons AI yang berbeza untuk pertanyaan yang sama setiap kali, anda mesti mengelakkan caching (lihat Lampiran untuk mengetahui caranya). Terdapat senario di mana peningkatan dalam AI Spend boleh dibenarkan oleh peningkatan kepada pengalaman perbualan. Tetapi ini tidak selalu berlaku.

Fikirkan sesuatu seperti ucapan ringkas yang dihasilkan dengan LLMs. Dengan setiap salam, anda akan dikenakan kos Perbelanjaan AI tambahan. Adakah ia berbaloi? Mungkin tidak. Nasib baik, terdapat penyelesaian yang menjimatkan kos: gunakan tatasusunan dengan berbilang respons dan fungsi mudah untuk mengambil nilai secara rawak dan membentangkannya. 

Bergantung pada jumlah perbualan, jumlah yang anda simpan dengan melaksanakan kaedah ini boleh menjadi berbaloi.

Anda boleh mendapatkan maklumat lanjut tentang cara melaksanakan mesej alternatif di sini.

Pelaksanaan Kod untuk Tugas Mudah

Untuk tugas mudah, seperti memformat semula data atau mengekstrak maklumat daripada data berstruktur, menggunakan kad Laksanakan Kod boleh menjadi lebih cekap, lebih murah dan lebih pantas daripada bergantung pada LLM.

Alternatif kepada Ejen Ringkasan

Anda boleh menggunakan kad Laksanakan Kod untuk membuat transkrip anda sendiri.  Letakkan kad Laksanakan Kod di mana sahaja anda ingin menjejaki mesej pengguna dan bot dalam pemboleh ubah tatasusunan. Selepas itu, anda boleh menggunakan tatasusunan itu dan memberi makan sebagai konteks kepada KB anda.

Permudahkan Apabila Boleh

Pilih kaedah interaksi yang lebih mudah yang mencapai matlamat yang sama tanpa merendahkan pengalaman pengguna. Sebagai contoh, jika anda berminat untuk mengumpulkan maklum balas pengguna, sistem penarafan bintang mudah dengan komen akan lebih menjimatkan daripada menggunakan AI untuk mengumpulkan maklumat yang sama.

Petua untuk Tugas AI, AI Menjana Teks dan Terjemahan

Pilih Model AI yang Betul 

Ya, memilih model AI yang betul sangat penting sehingga patut disebut dua kali. Sama seperti KB, pilihan model AI memberi kesan ketara kepada kos ketika datang ke Tugas AI. Pilih untuk GPT-3.5 Turbo untuk arahan yang kurang rumit. Sebelum mempertimbangkan peningkatan kepada versi lanjutan, uji persediaan anda dengan teliti dengan model ini. Ingat GPT-4 Turbo berharga 20x lebih tinggi daripada GPT-3.5 Turbo. Melainkan hasilnya jauh lebih baik, pilihlah GPT-3.5 Turbo.

Sebagai tambahan kepada perkara di atas, anda juga boleh menjimatkan AI Spend dengan mengurangkan bilangan token yang digunakan dalam setiap tugas AI yang dijalankan.

Cadangan saya adalah untuk sedar tentang penurunan nombor ini kerana ia akan menyebabkan sebarang token tambahan dipenggal. Sebagai contoh, jika anda mengehadkan panjang kepada 2000 token dan gesaan anda serta output anda adalah lebih daripada 2000 token, maka input anda akan dipenggal dengan sewajarnya.

Tugas AI vs AI Menjana Teks

Untuk output teks mudah, kad AI Generate Text menggunakan lebih sedikit token dan lebih mudah disediakan daripada kad Tugas AI. Untuk tugas yang melibatkan menghuraikan maklumat, kad Tugas AI mengatasi kad Teks Menjana AI. 

Oleh itu, cadangan saya adalah menggunakan kad Tugas AI apabila anda ingin menggunakan AI untuk memproses maklumat (contohnya jika anda ingin mengesan niat pengguna atau jika anda mahu AI menganalisis input). Tetapi, jika anda ingin memanfaatkan AI untuk menjana teks, maka gunakan kad AI Generate Text sebaliknya (cth. jika anda ingin mengambil jawapan KB dan mengembangkannya atau jika anda ingin menjana soalan secara kreatif).

Untuk menyelami perbezaan yang lebih mendalam antara kad Tugas AI dan kad Menjana Teks AI, ketahui lebih lanjut di sini.

Penterjemahan

Jika bot anda akan mengendalikan perbualan berbilang bahasa yang tinggi, pertimbangkan untuk menyepadukan cangkuk dengan perkhidmatan terjemahan luaran untuk pilihan yang lebih menjimatkan.

Anda boleh mendapatkan lebih banyak maklumat mengenai cangkuk di sini.

Kesimpulan

Dengan strategi dan petua ini, anda akan dapat mengoptimumkan Perbelanjaan AI anda Botpress. Memahami implikasi kos tugas yang berbeza dan memilih kaedah yang paling berkesan untuk keperluan anda akan mengurangkan perbelanjaan berkaitan AI anda tanpa menjejaskan prestasi.

Pasukan kami berada di sini untuk membantu anda menavigasi pilihan ini dan memastikan bot anda memberikan pengalaman terbaik untuk pengguna anda dengan kos yang paling cekap. Lawati halaman Harga kami untuk maklumat lanjut atau lawati kami Discord pelayan untuk bantuan.

Lampiran

Cara Mencegah Caching

Jika anda ingin mengatasi caching untuk sentiasa mendapatkan hasil langsung, anda boleh melakukan salah satu daripada pilihan berikut:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Untuk pencegahan cache sementara: terbitkan bot anda dan ujinya daripada tetingkap inkognito.

Nota: semua perkara adalah sama, dengan mengalih keluar lapisan caching ini dan tidak membuat sebarang perubahan lain pada bot anda, kos Perbelanjaan AI akan meningkat.

Kursus yang Disyorkan

• ‍ChatGPT Kejuruteraan Prompt untuk Pemaju (walaupun tajuk mengatakan untuk pemaju, bukan pemaju juga akan mendapat manfaat!)
• ‍Sistem Bangunan dengan ChatGPT API