Come ottimizzare il costo della spesa per l'AI in Botpress

Molte aziende si trovano ad affrontare la sfida di sfruttare il potenziale delle tecnologie AI senza spendere troppo. Comprendiamo l'importanza di questo equilibrio e ci impegniamo a fornire soluzioni che consentano ai nostri utenti di sfruttare l'IA in modo conveniente.

Il nostro approccio al costo dell'IA

In primo luogo, è importante comprendere due componenti importanti di come ridurre i costi legati all'IA per i nostri utenti, pur continuando a offrire i vantaggi delle funzionalità dell'IA.

Prezzi trasparenti: Nessun costo nascosto

Non aggiungiamo alcun margine sulle attività legate all'intelligenza artificiale. Ciò significa che il costo della spesa per l'intelligenza artificiale è direttamente correlato all'utilizzo effettivo, senza alcun costo aggiuntivo per l'intelligenza artificiale da parte nostra. Potete utilizzare il nostro Calcolatore di spesa AI per stimare la vostra spesa AI potenziale con noi.

Caching delle risposte AI

Il caching è una delle nostre strategie più efficaci per ridurre i costi dell'intelligenza artificiale dei bot. La memorizzazione nella cache delle risposte dell'IA riduce il numero di richieste al provider LLM , il che può ridurre il costo delle query di circa il 30%, facendovi risparmiare senza compromettere la qualità delle interazioni del bot con i vostri utenti.

Suggerimenti per ottimizzare il costo dell'IA

Ora che abbiamo visto due degli approcci che adottiamo per ridurre la spesa per l'intelligenza artificiale dei nostri utenti, vediamo i suggerimenti che potete utilizzare durante la costruzione del vostro bot per ridurre ulteriormente il costo dell'intelligenza artificiale.

Ottimizzare le basi di conoscenza

L'ottimizzazione delle basi di conoscenza (KB) può influenzare notevolmente la spesa per l'IA, poiché le KB sono di solito il principale fattore di costo dell'IA in un progetto Botpress .

Suggerimento 1: scegliere il modello di IA giusto

La scelta di un modello AI influisce in modo significativo sui costi. Poiché GPT-3.5 Turbo è più veloce e più economico di GPT-4 Turbo, consigliamo di testare a fondo la vostra configurazione con GPT-3.5 Turbo prima di prendere in considerazione l'aggiornamento a versioni più avanzate. 

La modalità ibrida del nostro KB Agent offre un'eccellente via di mezzo: inizialmente utilizziamo GPT-3.5 Turbo per tentare di rispondere a una richiesta e passiamo a GPT-4 Turbo solo se necessario.

Suggerimento 2: schermare la KB

È possibile ridurre la spesa per l'intelligenza artificiale proteggendo la KB da domande tipiche non necessarie che non necessitano di intelligenza artificiale o di risposte intelligenti con una scheda Trova record. Funziona così: se si sa che gli utenti fanno una sola domanda e abbiamo 50 domande note con le relative risposte, possiamo aggiungerle a una tabella e interrogarla usando una scheda Trova record. Se non troviamo una risposta, solo allora cerchiamo in una KB.

Suggerimento 3: distribuire correttamente i KB

A seconda del tipo di informazioni e della quantità di informazioni che si desidera aggiungere a una KB, di solito è consigliabile fare due cose in parallelo per ridurre i costi di AI Spend. In primo luogo, organizzare le informazioni in KB più piccole, con ciascuna KB dedicata a un prodotto/caratteristica/argomento specifico. In secondo luogo, guidare l'utente attraverso un flusso di lavoro con più domande per circoscrivere la ricerca a una KB specifica; in questo modo non solo si ridurranno i costi, ma si otterranno anche risultati migliori.

Suggerimento 4: Origine dati KB del sito web vs. Origine dati KB della ricerca sul web

Se si utilizza un sito web come fonte di dati della KB, ma non si apportano modifiche costanti al sito web che devono essere riflesse nel bot in tempo reale, una buona alternativa economica consiste nell'utilizzare Search The Web come fonte di dati della KB invece della fonte di dati della KB del sito web. Prima di effettuare questa transizione, assicuratevi di testare che le prestazioni delle domande che prevedete di ricevere non vengano compromesse da questo passaggio.

Suggerimento 5: interrogare le tabelle con la scheda Trova record o Esegui codice

Se si dispone di una tabella con dati che si desidera interrogare, si consiglia di usare la scheda Trova record invece di usare la tabella in una KB. Per chi ha competenze tecniche, l'esecuzione del codice può essere un metodo ancora più economico per interrogare una tabella. Per farlo, si interroga la tabella direttamente dalla scheda Esegui codice e si memorizza il risultato in una variabile del flusso di lavoro a cui si può fare riferimento in seguito.

Suggerimento 6: controlla i pezzi

Per blocchi mi riferisco al numero di blocchi che verranno recuperati dalla Knowledge Base per generare una risposta. In generale, più pezzi vengono recuperati, più accurata è la risposta, ma ci vorrà più tempo per generare e costare più token AI. Sperimenta con la dimensione del blocco per stabilire la quantità più bassa che porta comunque a risposte accurate.

Utilizzare la carta Execute Code per ridurre il costo della spesa AI

La carta Esegui Codice può essere un sostituto adeguato ed economico per alcune carte IA. Ecco alcuni scenari in cui si può pensare di utilizzarle:

Alternative ai messaggi intelligenti

Se si desidera che il bot invii ogni volta una risposta AI diversa per la stessa domanda, è necessario impedire la memorizzazione nella cache (vedere l'Appendice per sapere come). Ci sono scenari in cui l'aumento della spesa per l'intelligenza artificiale può essere giustificato dal miglioramento dell'esperienza di conversazione. Ma non è sempre così.

Pensate a qualcosa come un semplice saluto generato con gli LLM. Per ogni saluto si dovrà sostenere un costo aggiuntivo di AI Spend. Ne vale la pena? Probabilmente no. Fortunatamente, c'è una soluzione economica: utilizzare un array con risposte multiple e una semplice funzione per recuperare casualmente un valore e presentarlo. 

A seconda del volume delle conversazioni, il risparmio ottenuto con questo metodo può valere lo sforzo.

Maggiori dettagli su come implementare messaggi alternativi sono disponibili qui.

Esecuzione di codice per attività semplici

Per compiti semplici, come la riformattazione dei dati o l'estrazione di informazioni da dati strutturati, l'uso della scheda Execute Code può essere più efficiente, più economico e più veloce che affidarsi a un sito LLM.

Alternative all'agente di sintesi

È possibile utilizzare le schede Execute Code per creare la propria trascrizione. Inserire una scheda Execute Code ovunque si voglia tenere traccia dei messaggi degli utenti e dei bot in una variabile array. In seguito, è possibile utilizzare tale array e inserirlo come contesto nella KB.

Semplificare quando è possibile

Optate per un metodo di interazione più semplice che raggiunga lo stesso obiettivo senza degradare l'esperienza dell'utente. Ad esempio, se siete interessati a raccogliere i feedback degli utenti, un semplice sistema di valutazione a stelle con commenti sarà più conveniente dell'utilizzo dell'intelligenza artificiale per raccogliere le stesse informazioni.

Suggerimenti per compiti di IA, generazione di testo di IA e traduzioni

Scegliere il giusto modello di AI 

Sì, la scelta del giusto modello di IA è così importante che vale la pena di menzionarla due volte. Come per i KB, la scelta di un modello di IA influisce significativamente sui costi quando si tratta di compiti di IA. Optate per GPT-3.5 Turbo per istruzioni meno complicate. Prima di considerare un aggiornamento a versioni più avanzate, testate a fondo la vostra configurazione con questo modello. Ricordate che GPT-4 Turbo costa 20 volte di più di GPT-3.5 Turbo. A meno che i risultati non siano notevolmente migliori, optate per GPT-3.5 Turbo.

Oltre a quanto sopra, puoi anche risparmiare la spesa per l'IA riducendo il numero di token consumati in ogni esecuzione dell'attività dell'IA.

Il mio consiglio è di essere consapevoli di diminuire questo numero perché comporterà il troncamento di tutti i token aggiuntivi. Ad esempio, se si limita la lunghezza a 2000 token e il prompt più l'output è superiore a 2000 token, l'input verrà troncato di conseguenza.

Compito AI vs Generazione di testo AI

Per semplici output di testo, la scheda AI Generate Text utilizza meno token ed è più facile da configurare rispetto alla scheda AI Task. Per i compiti che richiedono il parsing delle informazioni, la scheda AI Task supera la scheda AI Generate Text. 

Pertanto, consiglio di usare la scheda Compito AI quando si vuole usare l'AI per elaborare le informazioni (ad esempio, se si vuole rilevare l'intenzione dell'utente o se si vuole che l'AI analizzi l'input). Se invece si vuole sfruttare l'IA per generare testo, si deve usare la scheda AI Generate Text (ad esempio, se si vuole prendere una risposta KB ed espanderla o se si vuole generare una domanda in modo creativo).

Traduzioni

Se il vostro bot deve gestire un'elevata quantità di conversazioni multilingue, prendete in considerazione la possibilità di integrare i ganci con servizi di traduzione esterni per ottenere un'opzione più economica.

Ulteriori informazioni sui ganci sono disponibili qui.

Conclusione

Grazie a queste strategie e consigli, sarete in grado di ottimizzare la spesa per l'IA in Botpress. Comprendendo le implicazioni di costo delle diverse attività e scegliendo i metodi più efficienti per le vostre esigenze, potrete ridurre le spese legate all'IA senza compromettere le prestazioni.

Il nostro team è a disposizione per aiutarvi a orientarvi tra queste opzioni e a garantire che il vostro bot offra la migliore esperienza possibile ai vostri utenti al costo più efficiente. Per ulteriori informazioni, visitate la pagina Prezzi o il nostro server Discord.

Appendice

Come prevenire la cache

Se si desidera superare la cache per ottenere sempre risultati in tempo reale, è possibile utilizzare una delle seguenti opzioni:

• For more permanent caching prevention: add `And discard:{{Date.now()}}` in all your AI-related cards (e.g., in the AI Task prompts, in the KB context, etc.).
• Per prevenire la cache temporanea: pubblicare il bot e testarlo da una finestra in incognito.

Nota: a parità di condizioni, rimuovendo questo strato di caching e non apportando altre modifiche al bot, il costo di spesa dell'IA aumenterà.

Corsi consigliati

• ‍ChatGPT Prompt Engineering per gli sviluppatori (anche se il titolo dice per gli sviluppatori, anche i non sviluppatori ne trarranno beneficio!)
• ‍Costruiresistemi con l'API ChatGPT