Una richiesta si riferisce a una singola interazione inviata a un modello linguistico di grandi dimensioni (LLM) da Botpress. Essa include i dati di input, i parametri di configurazione e qualsiasi contesto rilevante necessario al modello per elaborare la richiesta e restituire una risposta. Ogni richiesta rappresenta una chiamata a un LLM, come la generazione di testo, la risposta a una domanda o l'esecuzione di altri compiti.
I dati riportati nei grafici precedenti mostrano il numero di richieste individuali fatte a ciascuno dei LLMs interrogati dagli utenti da Botpress.
A cosa si riferisce la velocità?
La velocità si riferisce al numero medio di token generati da LLM al secondo durante l'elaborazione di una richiesta. I token sono unità di testo, come parole o parti di parole, che il modello legge o produce. Questa misura riflette le prestazioni di output del modello, indicando la velocità con cui è in grado di restituire una risposta.
I dati riportati nei grafici precedenti mostrano una media del numero totale di token che un modello genera al secondo quando viene interrogato da Botpress.
A cosa si riferisce il costo?
Il costo si riferisce al prezzo medio in USA dollars per l'elaborazione di 1.000 richieste a uno specifico LLM da Botpress. Questa metrica aiuta a dimostrare la spesa relativa dell'utilizzo di diversi modelli, fornendo indicazioni sulla loro efficienza in termini di costi quando si gestiscono grandi volumi di richieste.
Una singola conversazione può contenere più richieste. È possibile utilizzare i dati dei grafici precedenti per stimare approssimativamente, in base alla natura delle conversazioni, la spesa mensile per l'intelligenza artificiale.
Con quale frequenza vengono aggiornati i dati di questa pagina?
Sebbene le informazioni sull'utilizzo di LLM in Botpress siano raccolte in tempo reale, i grafici di questa pagina vengono aggiornati ogni 48 ore.
.png)
