LLM Peringkat | Bagaimana kinerja model yang berbeda di Botpress?

Data dari 90 hari terakhir

model_kedua

model_pertama

menghitung

output_token_per_sec_mean

$ biaya_rata-rata

Hal-hal yang sering ditanyakan

Apa yang dimaksud dengan permintaan?

Sebuah permintaan mengacu pada satu interaksi yang dikirim ke model bahasa besar (LLM) dari Botpress. Permintaan ini mencakup data input, parameter konfigurasi, dan konteks relevan yang diperlukan model untuk memproses permintaan dan mengembalikan respons. Setiap permintaan mewakili satu panggilan ke LLM, seperti membuat teks, menjawab pertanyaan, atau melakukan tugas lain.

Data dalam grafik di atas menunjukkan jumlah permintaan individual yang dibuat untuk setiap LLMs yang ditanyakan oleh pengguna dari Botpress.

Apa yang dimaksud dengan kecepatan?

‍Kecepatan mengacu pada jumlah rata-rata token yang dihasilkan oleh LLM per detik saat memproses permintaan. Token adalah unit teks, seperti kata atau bagian dari kata, yang dibaca atau dihasilkan oleh model. Pengukuran ini mencerminkan kinerja keluaran model, yang menunjukkan seberapa cepat model tersebut dapat mengembalikan respons.

Data dalam grafik di atas menunjukkan rata-rata jumlah total token yang dihasilkan model per detik ketika diminta dari Botpress.

Apa yang dimaksud dengan biaya?

Biaya mengacu pada harga rata-rata di AS dollars untuk memproses 1.000 permintaan ke LLM tertentu dari Botpress. Metrik ini membantu menunjukkan biaya relatif penggunaan model yang berbeda, yang memberikan wawasan tentang efisiensi biaya saat menangani permintaan dalam jumlah besar.

Satu percakapan dapat berisi beberapa permintaan. Anda dapat menggunakan data pada grafik di atas untuk memperkirakan secara kasar, berdasarkan sifat percakapan Anda, pengeluaran AI bulanan Anda.

Seberapa sering data pada halaman ini diperbarui?

Meskipun informasi tentang LLM penggunaan di Botpress dikumpulkan secara real-time, grafik di halaman ini diperbarui setiap 48 jam.

Temukan model

Hal-hal yang sering ditanyakan