In questa lezione

La spesa per l'intelligenza artificiale si riferisce al budget allocato per l'utilizzo da parte del bot di modelli linguistici di grandi dimensioni (LLMs), utilizzati in attività come la generazione di risposte e l'elaborazione di input in linguaggio naturale. Ogni azione eseguita dal bot che coinvolge l'intelligenza artificiale consuma token, che hanno costi associati stabiliti dai fornitori dei modelli.

Botpress vi trasferisce questi costi direttamente senza alcun ricarico, il che significa che otterrete lo stesso identico prezzo per lo stesso numero di gettoni se lavoraste direttamente con un fornitore di modelli.

Per assicurarci che possiate iniziare a costruire e prototipare correttamente, vi forniamo un credito mensile gratuito di 5 dollari per l'AI Spend. Se il vostro bot supera questo credito, dovrete aumentare il vostro limite di spesa AI per mantenere un servizio ininterrotto. È possibile regolare questo limite aumentando il limite di AI Spend nella dashboard del proprio spazio di lavoro. L'AI Spend per i piani Pay-as-you-go non può attualmente superare i 100 dollari; se avete bisogno di un importo superiore, non esitate a contattarci tramite il nostro sito web.

Il monitoraggio della spesa per l'intelligenza artificiale è importante per definire un budget efficiente e garantire che il bot operi entro le risorse assegnate. Durante la creazione del bot, il debugger degli eventi contiene informazioni dettagliate sul consumo di token suddivise per azione. Una volta che il bot è attivo, è possibile controllare i log di produzione per comprendere meglio il consumo di token. La scheda Analytics del bot contiene anche informazioni dettagliate sulle prestazioni di LLM , sui costi e sul consumo di token.

Sintesi
AI Spend viene utilizzato per gestire e tenere traccia dell'utilizzo dei token per le azioni finanziate da LLM.
tutte le lezioni di questo corso