Qu'est-ce que l'analyse des chatbots ? En savoir plus sur l'analyse des chatbots et les indicateurs clés des chatbots.

L'analyse du chatbot est l'ensemble des données en temps réel que votre chatbot génère grâce à son interaction avec les gens. Ces données peuvent être très utiles et présenter une grande valeur pour votre entreprise.

Que dois-je rechercher dans une plateforme d'analyse de chatbot ?

L'analyse des chatbots est un outil essentiel pour améliorer les performances des chatbots et l'expérience globale des clients

Le premier ensemble d'analyses du chatbot qui est important pour les administrateurs est celui des statistiques d'utilisation génériques. Des mesures clés telles que le chatbot est-il utilisé, sur quels appareils, à quelle fréquence, quelle est l'expérience de l'utilisateur, quel est le taux de rétention et quel est le taux de rebond dans un laps de temps donné, etc ? C'est le genre d'informations précieuses que vous obtiendrez d'un outil d'analyse de chatbot pour un site web.

D'autres statistiques génériques sont nécessaires pour tous les sites chatbots lorsque le traitement du langage naturel est utilisé. Il s'agit d'analyses conversationnelles telles que les phrases incomprises, les mots les plus fréquemment utilisés, le nombre d'interventions humaines/incidents d'escalade, etc.

En ce qui concerne les statistiques susmentionnées, il est important qu'elles soient non seulement mesurées, mais aussi intégrées dans le logiciel de manière à améliorer l'interaction de l'utilisateur avec le chatbot. Par exemple, les phrases incomprises peuvent être automatiquement ajoutées à la liste des phrases associées à une intention donnée lors de la configuration du NLP afin que le chatbot développe un meilleur flux conversationnel. Il est important que les administrateurs ou, plus vraisemblablement, les agents d'assistance disposent de moyens simples pour ajouter et valider ces types de phrases afin que le robot s'améliore rapidement.

Ne sous-estimez pas l'importance d'un accès personnalisé à l'analyse des chatbots.

Bien que toutes les analyses génériques ci-dessus soient importantes, il s'avère que dans de nombreux cas, l'accès personnalisé aux données du chatbot est encore plus important. Cela est particulièrement vrai lorsque le chatbot est en cours de déploiement et de pilotage. En effet, au début d'un projet de bot, les sponsors sont impatients de montrer l'adoption et l'utilisation. Ils essaieront donc de s'assurer que le chatbot est correctement commercialisé auprès des utilisateurs pilotes et, s'ils ont fait leur travail correctement, les statistiques montreront une bonne utilisation et le succès du chatbot. Cela s'explique aussi en partie par le fait que la plateforme de chatbot est un nouveau produit pour les utilisateurs, qui peuvent être curieux de l'utiliser au début, ce qui peut gonfler artificiellement les statistiques d'utilisation.

Ce qui intéresse les administrateurs de chatbots, cependant, ce sont les signes de problèmes liés à l'utilisation du bot, qui indiquent que l'utilisation n'est peut-être pas aussi robuste que ne l'indiquent les statistiques initiales. Et même si les statistiques indiquent clairement qu'il y a un problème d'utilisation, les sponsors veulent savoir pourquoi ce problème se produit.

Le problème peut être facilement identifié et résolu à l'aide d'analyses génériques. Au début, par exemple, il arrive très souvent que la configuration NLP ne soit pas aussi complète qu'elle devrait l'être, de sorte que le robot comprend mal plus de choses qu'il ne le devrait. Ce problème est normalement rapidement corrigé en ajoutant des phrases à l'intention pertinente dans la configuration du NLP.

Analyse personnalisée des chatbots

Comment les analyses personnalisées peuvent résoudre les problèmes courants liés à l'expérience du chatbot

Souvent, des analyses personnalisées sont nécessaires pour diagnostiquer un problème. Il se peut, par exemple, qu'un retour d'information explicite doive être intégré dans le flux de la conversation pour pouvoir identifier les problèmes.

Les analyses personnalisées présentent également un intérêt particulier lorsque le bot est un chatbot plus personnalisé.

Chatbot à approche simple ou à approche complexe

Si un chatbot est simple, par exemple s'il fait passer l'utilisateur par une sorte d'arbre de décision, et qu'il y a un problème d'utilisation, il peut être facile d'identifier le problème à partir des seules statistiques d'utilisation génériques. Les données analytiques peuvent indiquer le point de la conversation du chatbot où les utilisateurs ont perdu l'intérêt et abandonné la conversation ou le temps passé sur le chatbot avant que l'utilisateur ne l'abandonne et, dans les deux cas, cela peut indiquer un problème avec le flux ou avec le cas d'utilisation du chatbot dans son ensemble.

Si le bot est plus compliqué, c'est-à-dire s'il a une logique personnalisée, les statistiques génériques ne donneront pas tous les détails. Elles pourront peut-être vous indiquer le moment où l'utilisateur abandonne, mais elles ne pourront pas vous dire pourquoi l'utilisateur abandonne.

Imaginons un exemple simple. Vous construisez un chatbot pour aider les enfants à apprendre leur emploi du temps. Une approche de base pourrait consister à ce que les enfants choisissent la table des temps en question et que le chatbot pose au hasard les questions relatives à la table des temps choisie. Le problème est que les enfants qui apprennent l'emploi du temps sont à des niveaux différents et que le taux d'engagement peut chuter s'ils trouvent les questions trop difficiles au début ou même à un moment ultérieur de l'interaction.

Pour cela, nous avons besoin que les analyses reflètent également la difficulté des questions, entre autres (et idéalement qu'elles ajustent automatiquement le niveau). Cela doit être intégré dans l'analyse personnalisée. Et cela n'est possible que si la plateforme de construction du chatbot prend en charge les analyses personnalisées (ou, plus précisément, si elle permet d'ajouter facilement des analyses personnalisées).

Une fois que les analyses personnalisées sont disponibles, les développeurs peuvent utiliser les informations exploitables obtenues pour mettre en œuvre une approche sophistiquée telle que l'utilisation d'un algorithme pour faire correspondre le niveau de l'enfant aux questions posées afin de maximiser la rétention de l'utilisateur dans le jeu.

Test A/B pour Chabot Analytics

Cela nous amène à un sujet essentiel et connexe à l'analyse personnalisée, à savoir les tests A/B. Avec n'importe quel logiciel, il est difficile de savoir dès le départ ce qui pourrait fonctionner le mieux en termes de fonctionnalité, de graphisme et de contenu, et la seule façon de le savoir est de procéder à des tests A/B sur différentes alternatives.

Cela vaut également pour chatbots . Les analyses personnalisées doivent être liées à un moteur de tests A/B au sein de la plateforme de création de chatbots. Bien sûr, au sein de la plateforme de chatbot elle-même, il est non seulement important de pouvoir générer et étiqueter des analyses personnalisées, mais aussi de définir des tests A/B au sein du flux de conversation.

Rôles des membres de l'équipe pour l'analyse des chatbots

Le sponsor, le manager et le développeur du chatbot sont tous responsables de la définition des analyses nécessaires. Comme nous l'avons mentionné, les analyses personnalisées dépendent au moins des cas d'utilisation traités par le chatbot.

Le sponsor s'intéresse clairement à l'adoption de l'interface conversationnelle et tente d'éliminer les obstacles à l'adoption ou tout autre problème susceptible d'avoir un impact négatif sur le niveau de satisfaction des utilisateurs.

Quelles sont les mesures de performance essentielles pour l'analyse des chatbots ?

Du point de vue de l'analyse générique des chatbots, les entreprises de chatbots seraient intéressées par les mesures et les indicateurs clés de chatbot suivants :

• Nombre d'interactions (nœuds) Nombre de flux
• Durée du chat
• Pourcentage d'énoncés mal compris/compris
• Carte de mots des déclarations
• Carte de mots des déclarations incomprises
• Liste des questions incomprises des utilisateurs
• Nombre de flux initiés
• Nombre de flux répétés
• Classement des flux par utilisation
• Classement des flux par déclarations incomprises
• Nombre de prises en charge humaines
• Nombre de connexions
• Nombre d'achèvements réussis
• Nombre d'utilisateurs réguliers
• Nombre d'utilisateurs actifs par période
• Nombre de connexions
• Pourcentage d'utilisateurs actifs par rapport aux utilisateurs nommés

Ils peuvent être intéressés par l'examen des statistiques susmentionnées pour des périodes spécifiques ou en utilisant d'autres filtres bien sûr.

Comment les développeurs utilisent-ils les données d'analyse des chatbots personnalisés pour améliorer les interactions avec les chatbots ?

En termes d'analyses personnalisées, ils pourraient être intéressés par le retour d'information qui est normalement saisi manuellement en tant que nœud dans le flux de conversation, en particulier aux extrémités de chaque flux (que le résultat ait été positif ou non). Ils pourraient être intéressés par le classement des flux en fonction de l'évaluation du retour d'information.

Pour l'exemple que nous avons donné d'un chatbot sur la table des temps, il peut être intéressant de voir s'il existe une corrélation entre le niveau de difficulté et l'engagement (nombre de nœuds parcourus).

Les gestionnaires de robots s'intéressent bien sûr aux statistiques susmentionnées, mais aussi au bon fonctionnement du robot. Ils peuvent avoir besoin d'analyses sur les performances du bot sur différents appareils et de statistiques sur la disponibilité du bot. Y a-t-il eu des problèmes d'infrastructure ou de sécurité ?

Ils pourraient être intéressés non seulement par le comportement de la base d'utilisateurs, mais aussi par le comportement des superutilisateurs, par exemple la fréquence à laquelle ils mettent à jour le contenu ou modifient le flux. Ce type d'informations pourrait également être obligatoire pour des raisons de sécurité.

Ils seraient bien sûr également intéressés par des informations concernant la progression des bots depuis le développement jusqu'aux environnements de production, en passant par la phase d'essai, ainsi que par des statistiques sur les mises à jour des développeurs, etc.

Les développeurs s'intéressent à tous ces éléments dans la mesure où ils peuvent utiliser ces informations pour améliorer leur entreprise chatbots . Bien entendu, ils s'intéressent aux statistiques qui identifient les bogues, telles que les statistiques issues du processus de test qui comportera des tests spéciaux pour les bots, tels que les tests de réussite du NLP. Dans la pratique, cependant, les développeurs et les superutilisateurs sont plus impliqués dans la mise en œuvre d'analyses personnalisées que dans leur suivi.

Conclusion - L'avenir de l'analyse des chatbots

J'ai mentionné brièvement que l'intégration de l'analyse dans la fonctionnalité du bot est essentielle à la réussite de la création d'un bot. Les tests A/B doivent intégrer des analyses personnalisées et peuvent ensuite utiliser un algorithme simple pour optimiser la conversation. Une intégration plus complexe peut être utilisée pour optimiser les performances du robot, comme l'optimisation mentionnée précédemment pour s'assurer que la difficulté du robot d'emploi du temps (ou, de manière plus réaliste, d'un jeu plus complexe) est optimisée.

De nombreux grands éditeurs de logiciels, tels que Google, Microsoft et IBM, proposent des services d'analyse des chatbots. Bien que ces services puissent facilement fournir des analyses génériques, ce que j'ai clairement démontré, c'est que pour tirer pleinement parti des analyses, celles-ci doivent être personnalisées et étroitement liées à la fonctionnalité du chatbot, d'une manière différente des logiciels non conversationnels tels que les sites web par exemple. Il est donc essentiel que le cadre de chatbot utilisé permette aux développeurs de personnaliser le panneau d'administration.

‍