LLM Kedudukan | Botpress

Data dari 90 hari yang lalu

model_second

model_first

kira

output_token_per_sec_min

$ kos_min

Soalan lazim

Apakah permintaan?

Permintaan merujuk kepada satu interaksi yang dihantar kepada model bahasa yang besar ( LLM ) daripada Botpress . Ia termasuk data input, parameter konfigurasi dan sebarang konteks berkaitan yang diperlukan untuk model memproses permintaan dan mengembalikan respons. Setiap permintaan mewakili satu panggilan ke LLM , seperti menjana teks, menjawab soalan atau melaksanakan tugas lain.

Data dalam carta di atas menunjukkan bilangan permintaan individu yang dibuat untuk setiap satu LLMs ditanya oleh pengguna dari Botpress .

Apakah yang dimaksudkan dengan kelajuan?

Kelajuan merujuk kepada purata bilangan token an LLM menjana sesaat apabila memproses permintaan. Token ialah unit teks, seperti perkataan atau bahagian perkataan, yang dibaca atau dihasilkan oleh model. Pengukuran ini mencerminkan prestasi output model, menunjukkan seberapa cepat ia boleh mengembalikan respons.

Data dalam carta di atas menunjukkan purata jumlah bilangan token yang dijana model sesaat apabila ditanya daripada Botpress .

Apakah yang dimaksudkan dengan kos?

Kos merujuk kepada harga purata di AS dollars untuk memproses 1,000 permintaan kepada yang khusus LLM daripada Botpress . Metrik ini membantu menunjukkan perbelanjaan relatif menggunakan model yang berbeza, memberikan cerapan tentang kecekapan kosnya apabila mengendalikan jumlah permintaan yang besar.

Satu perbualan mungkin mengandungi berbilang permintaan. Anda boleh menggunakan data dalam carta di atas untuk menganggarkan secara kasar, berdasarkan sifat perbualan anda, perbelanjaan AI bulanan anda.

Berapa kerapkah data pada halaman ini dikemas kini?

Walaupun maklumat mengenai LLM penggunaan dalam Botpress dikumpulkan dalam masa nyata, carta pada halaman ini dikemas kini setiap 48 jam.

Temui model

Soalan lazim