Cara Mengoptimumkan Kos Perbelanjaan AI dalam Botpress

Petua 1: Pilih Model AI yang Betul

Pilihan model AI memberi kesan ketara kepada kos. Sejak GPT-3.5 Turbo lebih pantas & lebih murah daripada GPT-4 Turbo, kami mengesyorkan menguji persediaan anda dengan teliti GPT-3.5 Turbo sebelum mempertimbangkan peningkatan kepada versi yang lebih maju. 

Mod hibrid Ejen KB kami menawarkan pertengahan yang sangat baik, seperti yang kami gunakan pada mulanya GPT-3.5 Turbo untuk mencuba respons kepada pertanyaan dan meningkat kepada GPT-4 Turbo hanya jika perlu.

Petua 2: Lindungi KB Anda

Anda boleh mengurangkan Perbelanjaan AI anda dengan melindungi KB anda daripada Soalan Lazim biasa yang tidak perlu yang tidak memerlukan AI atau menjawab pintar dengan kad Cari Rekod. Beginilah cara ia berfungsi: jika anda tahu bahawa pengguna biasanya bertanya satu soalan dan kami mempunyai 50 soalan terkenal dengan jawapan mereka, kami boleh menambahkannya pada jadual dan pertanyaan jadual menggunakan kad Cari Rekod. Sekiranya kita tidak menemui jawapan, barulah kita melihat KB.

Petua 3: Skop KB anda dengan betul

Bergantung pada jenis maklumat dan kuantiti maklumat yang ingin anda tambahkan ke KB, biasanya amalan terbaik untuk melakukan dua perkara selari dengan mengurangkan kos Perbelanjaan AI. Mula-mula, atur maklumat anda ke KB yang lebih kecil, dengan setiap KB diskop kepada produk/ciri/topik tertentu. Kedua, dorong pengguna melalui aliran kerja dengan berbilang soalan untuk skop carian anda ke KB tertentu; Ini bukan sahaja akan mengurangkan kos, tetapi ia juga akan menghasilkan hasil yang lebih baik.

Petua 4: Sumber Data KB Laman Web vs Cari Sumber Data Web KB

Jika anda menggunakan laman web sebagai sumber data KB anda tetapi tidak membuat perubahan berterusan ke laman web yang perlu ditunjukkan kepada bot anda dalam masa nyata maka alternatif yang menjimatkan kos yang baik adalah menggunakan Carian Web sebagai sumber data KB anda dan bukannya sumber data KB Laman Web. Sebelum membuat peralihan itu, pastikan untuk menguji bahawa prestasi pada soalan yang anda jangkakan ditanya tidak merosot dengan suis ini.

Petua 5: Jadual Pertanyaan dengan Cari Rekod atau Laksanakan Kad Kod

Jika anda mempunyai Jadual dengan data yang anda ingin tanyakan, pertimbangkan untuk menggunakan kad Cari Rekod dan bukannya menggunakan Jadual dalam KB. Bagi mereka yang mempunyai kepakaran teknikal, melaksanakan kod boleh menjadi kaedah yang lebih menjimatkan untuk bertanya Jadual. Anda berbuat demikian dengan bertanya Jadual terus daripada kad Laksanakan Kod dan menyimpan output dalam pemboleh ubah aliran kerja yang anda boleh rujuk kemudian.

Petua 6: Kawal Ketulan

Dengan ketulan saya merujuk kepada bilangan ketulan yang akan diambil dari Pangkalan Pengetahuan untuk menjana jawapan. Secara amnya lebih banyak ketulan yang diambil, lebih tepat jawapannya - tetapi ia akan mengambil masa yang lebih lama untuk menjana dan membiayai lebih banyak token AI. Eksperimen dengan saiz ketulan untuk menubuhkan jumlah terendah yang masih membawa kepada tindak balas yang tepat.

Alternatif Mesej Lebih Pintar

Jika anda mahu bot anda menghantar respons AI yang berbeza untuk pertanyaan yang sama setiap kali, anda mesti mengelakkan caching (lihat Lampiran untuk mengetahui caranya). Terdapat senario di mana peningkatan dalam AI Spend boleh dibenarkan oleh peningkatan kepada pengalaman perbualan. Tetapi ini tidak selalu berlaku.

Fikirkan sesuatu seperti ucapan ringkas yang dihasilkan dengan LLMs. Dengan setiap salam, anda akan dikenakan kos Perbelanjaan AI tambahan. Adakah ia berbaloi? Mungkin tidak. Nasib baik, terdapat penyelesaian yang menjimatkan kos: gunakan tatasusunan dengan berbilang respons dan fungsi mudah untuk mengambil nilai secara rawak dan membentangkannya. 

Bergantung pada jumlah perbualan, jumlah yang anda simpan dengan melaksanakan kaedah ini boleh menjadi berbaloi.

Anda boleh mendapatkan maklumat lanjut tentang cara melaksanakan mesej alternatif di sini.

Pelaksanaan Kod untuk Tugas Mudah

Untuk tugas mudah, seperti memformat semula data atau mengekstrak maklumat daripada data berstruktur, menggunakan kad Laksanakan Kod boleh menjadi lebih cekap, lebih murah dan lebih pantas daripada bergantung pada LLM.

Alternatif kepada Ejen Ringkasan

Anda boleh menggunakan kad Laksanakan Kod untuk membuat transkrip anda sendiri.  Letakkan kad Laksanakan Kod di mana sahaja anda ingin menjejaki mesej pengguna dan bot dalam pemboleh ubah tatasusunan. Selepas itu, anda boleh menggunakan tatasusunan itu dan memberi makan sebagai konteks kepada KB anda.

Pilih Model AI yang Betul 

Ya, memilih model AI yang betul sangat penting sehingga patut disebut dua kali. Sama seperti KB, pilihan model AI memberi kesan ketara kepada kos ketika datang ke Tugas AI. Pilih untuk GPT-3.5 Turbo untuk arahan yang kurang rumit. Sebelum mempertimbangkan peningkatan kepada versi lanjutan, uji persediaan anda dengan teliti dengan model ini. Ingat GPT-4 Turbo berharga 20x lebih tinggi daripada GPT-3.5 Turbo. Melainkan hasilnya jauh lebih baik, pilihlah GPT-3.5 Turbo.

Sebagai tambahan kepada perkara di atas, anda juga boleh menjimatkan AI Spend dengan mengurangkan bilangan token yang digunakan dalam setiap tugas AI yang dijalankan.

Cadangan saya adalah untuk sedar tentang penurunan nombor ini kerana ia akan menyebabkan sebarang token tambahan dipenggal. Sebagai contoh, jika anda mengehadkan panjang kepada 2000 token dan gesaan anda serta output anda adalah lebih daripada 2000 token, maka input anda akan dipenggal dengan sewajarnya.

Tugas AI vs AI Menjana Teks

Untuk output teks mudah, kad AI Generate Text menggunakan lebih sedikit token dan lebih mudah disediakan daripada kad Tugas AI. Untuk tugas yang melibatkan menghuraikan maklumat, kad Tugas AI mengatasi kad Teks Menjana AI. 

Oleh itu, cadangan saya adalah menggunakan kad Tugas AI apabila anda ingin menggunakan AI untuk memproses maklumat (contohnya jika anda ingin mengesan niat pengguna atau jika anda mahu AI menganalisis input). Tetapi, jika anda ingin memanfaatkan AI untuk menjana teks, maka gunakan kad AI Generate Text sebaliknya (cth. jika anda ingin mengambil jawapan KB dan mengembangkannya atau jika anda ingin menjana soalan secara kreatif).

Untuk menyelami perbezaan yang lebih mendalam antara kad Tugas AI dan kad Menjana Teks AI, ketahui lebih lanjut di sini.

Penterjemahan

Jika bot anda akan mengendalikan perbualan berbilang bahasa yang tinggi, pertimbangkan untuk menyepadukan cangkuk dengan perkhidmatan terjemahan luaran untuk pilihan yang lebih menjimatkan.

Anda boleh mendapatkan lebih banyak maklumat mengenai cangkuk di sini.