LLM Rangschikking | Hoe presteren de verschillende modellen op Botpress?

Gegevens van de afgelopen 90 dagen

model_seconde

model_eerst

tel

uitvoer_tokens_per_sec_gemiddelde

$kosten_gemiddelde

FAQs

Wat zijn verzoeken?

Een verzoek verwijst naar een enkele interactie die naar een groot taalmodel (LLM) wordt gestuurd vanaf Botpress. Het bevat de invoergegevens, configuratieparameters en alle relevante context die het model nodig heeft om het verzoek te verwerken en een antwoord terug te sturen. Elk verzoek vertegenwoordigt één oproep aan een LLM, zoals het genereren van tekst, het beantwoorden van een vraag of het uitvoeren van andere taken.

De gegevens in de bovenstaande grafieken tonen het aantal individuele verzoeken aan elk van de LLMs die door gebruikers zijn opgevraagd vanaf Botpress.

Waar verwijst snelheid naar?

Snelheid verwijst naar het gemiddelde aantal tokens dat een LLM per seconde genereert bij het verwerken van een verzoek. Tokens zijn eenheden tekst, zoals woorden of delen van woorden, die het model leest of produceert. Deze meting weerspiegelt de uitvoerprestaties van het model en geeft aan hoe snel het een antwoord kan terugsturen.

De gegevens in de bovenstaande grafieken tonen een gemiddelde van het totale aantal tokens dat een model per seconde genereert bij een verzoek van Botpress.

Wat betekent kosten?

De kosten verwijzen naar de gemiddelde prijs in de VS dollars voor het verwerken van 1.000 verzoeken aan een specifieke LLM van Botpress. Deze metriek helpt de relatieve kosten van het gebruik van verschillende modellen aan te tonen en geeft inzicht in hun kostenefficiëntie bij het verwerken van grote hoeveelheden verzoeken.

Een enkele conversatie kan meerdere verzoeken bevatten. Je kunt de gegevens in bovenstaande grafieken gebruiken om, op basis van de aard van je conversaties, een ruwe schatting te maken van je maandelijkse AI-uitgaven.

Hoe vaak worden de gegevens op deze pagina bijgewerkt?

Hoewel informatie over het gebruik van LLM in Botpress in realtime wordt verzameld, worden de grafieken op deze pagina elke 48 uur bijgewerkt.

Modellen ontdekken

FAQs