Che cos'è la Chatbot Analytics? Per saperne di più sulla chatbot analytics e sulle principali metriche dei chatbot

L'analisi dei chatbot è costituita dai dati in tempo reale che il vostro chatbot genera attraverso l'interazione con le persone. Questi dati possono essere molto utili e rappresentano un grande valore per la vostra azienda.

Cosa si deve cercare in una piattaforma di chatbot analytics?

L'analisi dei chatbot è uno strumento essenziale per migliorare le prestazioni dei chatbot e l'esperienza complessiva dei clienti.

La prima serie di analisi dei chatbot che è importante per gli amministratori è costituita dalle statistiche generiche di utilizzo. Metriche chiave come: viene utilizzato il chatbot, su quali dispositivi, con quale frequenza, com'è l'esperienza dell'utente, qual è il tasso di fidelizzazione e qual è la frequenza di rimbalzo in un determinato periodo di tempo, ecc. Queste sono le informazioni preziose che si possono ottenere da uno strumento di analisi dei chatbot per un sito web.

Altre statistiche generiche, necessarie per tutti i siti chatbots quando si utilizza l' elaborazione del linguaggio naturale, sono le analisi conversazionali, come le frasi fraintese, le parole più frequentemente utilizzate, il numero di interventi umani/incidenti, ecc.

Per quanto riguarda le statistiche di cui sopra, è importante non solo misurarle, ma anche integrarle nel software in modo da migliorare l'interazione con l'utente. Ad esempio, le frasi fraintese possono essere aggiunte automaticamente all'elenco di frasi associate a un determinato intento quando si imposta l'NLP, in modo che il bot sviluppi un flusso di conversazione migliore. È importante che gli amministratori o, più probabilmente, gli agenti di supporto dispongano di modi semplici per aggiungere e convalidare questo tipo di frasi, in modo che il bot migliori rapidamente.

Non sottovalutate l'importanza dell'accesso personalizzato alle analisi dei chatbot

Sebbene tutte le analisi generiche di cui sopra siano importanti, in molti casi l'accesso personalizzato ai dati del chatbot è ancora più importante. Questo è particolarmente vero quando il chatbot è in fase di lancio e di sperimentazione. Infatti, all'inizio di un progetto bot, gli sponsor sono ansiosi di dimostrare l'adozione e l'utilizzo. Pertanto, cercheranno di assicurarsi che il bot sia adeguatamente commercializzato agli utenti pilota e, se hanno svolto correttamente il loro lavoro, le statistiche mostreranno un buon utilizzo e il successo del chatbot. Questo è dovuto anche al fatto che la piattaforma di chatbot è un prodotto nuovo per gli utenti, che possono essere curiosi di usarlo inizialmente e questo può gonfiare artificialmente le statistiche di utilizzo.

Ciò che interessa agli amministratori di chatbot, tuttavia, sono i segnali di problemi nell'utilizzo del bot, che indicano che l'utilizzo potrebbe non essere così solido come indicano le statistiche iniziali. E anche se le statistiche indicano chiaramente che c'è un problema di utilizzo, gli sponsor vogliono sapere perché si sta verificando questo problema.

Il problema può essere facilmente identificato e risolto con analisi generiche. All'inizio, ad esempio, capita spesso che la configurazione NLP non sia completa come dovrebbe, per cui il bot fraintende più di quanto dovrebbe. In genere, questo problema si risolve rapidamente aggiungendo altre frasi all'intento pertinente nella configurazione NLP.

Chatbot analitici personalizzati

Come l'analisi personalizzata può risolvere i problemi più comuni dell'esperienza con i chatbot

Spesso sono necessarie analisi personalizzate per diagnosticare un problema. Ad esempio, può essere necessario inserire un feedback esplicito nel flusso di conversazione per poter identificare i problemi.

L'analisi personalizzata è di particolare interesse anche quando il bot è un chatbot più personalizzato.

Approccio semplice vs. approccio complesso Chatbot

Se un chatbot è semplice, ad esempio porta un utente attraverso una sorta di albero decisionale, e c'è un problema di utilizzo, può essere facile identificare il problema dalle sole statistiche generiche di utilizzo. Le analisi potrebbero indicare il punto della conversazione del chatbot in cui gli utenti hanno perso interesse e hanno abbandonato la conversazione, oppure potrebbero indicare la quantità di tempo trascorsa sul bot prima che l'utente lo abbandonasse, e in entrambi i casi questo può indicare un problema con il flusso o con il caso d'uso del bot nel suo complesso.

Se il bot è più complicato, cioè ha una logica personalizzata, le statistiche generiche non raccontano la storia completa. Potrebbero essere in grado di dirvi il punto in cui l'utente abbandona, ma non saranno in grado di dirvi perché l'utente abbandona.

Immaginiamo un semplice esempio. Si costruisce un chatbot per aiutare i bambini a imparare la loro tabella oraria. Un approccio di base potrebbe essere che i bambini scelgano la tabella oraria in questione e il bot randomizzi le domande relative alla tabella oraria scelta. Il problema è che i bambini che imparano le tabelline sono a livelli diversi e quindi il tasso di coinvolgimento potrebbe diminuire se le domande sono troppo difficili all'inizio o anche in un momento successivo dell'interazione.

Per poterlo rilevare, è necessario che le analisi riflettano anche la difficoltà delle domande, tra le altre cose (e idealmente regolino automaticamente il livello). Questo deve essere integrato nelle analisi personalizzate. E questo può essere fatto solo se la piattaforma di costruzione del chatbot supporta le analisi personalizzate (o, più precisamente, se è facile aggiungere analisi personalizzate).

Una volta disponibile l'analisi personalizzata, gli sviluppatori possono utilizzare le informazioni ottenute per implementare un approccio sofisticato, come ad esempio l'utilizzo di un algoritmo per abbinare il livello del bambino alle domande poste per massimizzare la fidelizzazione dell'utente al gioco.

Test A/B per Chabot Analytics

Questo ci porta a un argomento critico e correlato all'analisi personalizzata, ovvero l'A/B testing. Con qualsiasi software, è difficile sapere all'inizio cosa potrebbe funzionare meglio in termini di funzionalità, grafica e contenuti e l'unico modo per saperlo con certezza è testare A/B diverse alternative.

Questo vale anche per chatbots . Le analisi personalizzate devono essere collegate a un motore di test A/B all'interno della piattaforma di costruzione del chatbot. Naturalmente, all'interno della piattaforma bot stessa non è solo importante essere in grado di generare ed etichettare le analisi personalizzate, ma anche di definire test A/B all'interno del flusso di conversazione.

Ruoli dei membri del team per Chatbot Analytics

Lo sponsor, il manager e lo sviluppatore del chatbot sono tutti responsabili della definizione delle analisi necessarie. Come già detto, l'analisi personalizzata dipende almeno dai casi d'uso affrontati dal bot.

Lo sponsor è chiaramente interessato all'adozione dell'interfaccia conversazionale e cerca di risolvere qualsiasi ostacolo all'adozione o qualsiasi altro problema che possa influire negativamente sui livelli di soddisfazione degli utenti.

Quali sono le metriche di performance essenziali per l'analisi dei chatbot?

Dal punto di vista dell'analisi generica dei chatbot, le aziende di chatbot sarebbero interessate alle seguenti metriche e KPI chiave:

• Numero di interazioni (nodi) Numero di flussi
• Durata della chat
• Percentuale di affermazioni non capite/comprese
• Mappa di parole delle dichiarazioni
• Mappa delle parole delle affermazioni fraintese
• Elenco delle domande degli utenti non comprese
• Numero di flussi avviati
• Numero di flussi ripetuti
• Classifica dei flussi per utilizzo
• Classifica dei flussi in base alle dichiarazioni non comprese
• Numero di acquisizioni umane
• Numero di accessi
• Numero di completamenti riusciti
• Numero di utenti abituali
• Numero di utenti attivi per periodo
• Numero di accessi
• Percentuale di utenti attivi e nominati

I clienti possono essere interessati a esaminare le statistiche di cui sopra in periodi specifici o, naturalmente, utilizzando altri filtri.

In che modo gli sviluppatori utilizzano i dati analitici dei chatbot personalizzati per migliorare le interazioni con i chatbot?

In termini di analisi personalizzate, potrebbero essere interessati al feedback che normalmente viene inserito manualmente come nodo nel flusso di conversazione, soprattutto ai punti finali di ciascun flusso (se l'esito è stato positivo o negativo). Potrebbero essere interessati alla classifica dei flussi in base alla valutazione dei feedback.

Per l'esempio che abbiamo fatto di un chatbot per le tabelline, potrebbero essere interessati a vedere se esiste una correlazione tra il livello di difficoltà e il coinvolgimento (numero di nodi attraversati).

I gestori del bot sono ovviamente interessati alle statistiche di cui sopra, ma sono anche interessati a garantire il buon funzionamento del bot. Potrebbero richiedere analisi sulle prestazioni del bot su diversi dispositivi e statistiche sulla disponibilità del bot. Ci sono stati problemi di infrastruttura o di sicurezza?

Potrebbero essere interessati non solo al comportamento della base di utenti, ma anche a quello dei superutenti, come la frequenza con cui aggiornano i contenuti o modificano il flusso. Questo tipo di informazioni potrebbe essere obbligatorio anche per motivi di sicurezza.

Naturalmente sarebbero anche interessati a informazioni sulla progressione dei bot dallo sviluppo, alla messa in scena, agli ambienti di produzione, e alle statistiche sui rilasci degli sviluppatori, ecc.

Gli sviluppatori sono interessati a tutto ciò nella misura in cui possono utilizzare le informazioni per migliorare il loro chatbots aziendale. Naturalmente sono interessati alle statistiche che identificano i bug, come quelle che emergono dal processo di testing, che prevede test speciali per i bot, come il test per il successo dell'NLP. In pratica, tuttavia, gli sviluppatori e i superutenti sono più coinvolti nell'implementazione di analisi personalizzate che nel loro monitoraggio.

Conclusione - Il futuro della Chatbot Analytics

Ho accennato brevemente al fatto che l'integrazione degli analytics nelle funzionalità del bot è fondamentale per la costruzione di un bot di successo. I test A/B devono integrare analisi personalizzate e possono utilizzare un semplice algoritmo per ottimizzare la conversazione. Un'integrazione più complessa può essere utilizzata per ottimizzare le prestazioni del bot, come l'ottimizzazione menzionata in precedenza per garantire che la difficoltà del bot orario (o più realisticamente un gioco più complesso) sia ottimizzata.

Molte grandi aziende di software, come Google, Microsoft e IBM, offrono servizi di analisi dei chatbot. Sebbene questi servizi possano facilmente fornire analisi generiche, per ottenere tutti i vantaggi delle analisi è necessario che queste siano personalizzate e strettamente collegate alle funzionalità del bot, in modo diverso da quanto avviene per i software non conversazionali, come ad esempio i siti web. È quindi essenziale che il framework per chatbot utilizzato consenta agli sviluppatori di personalizzare il pannello di amministrazione.

‍