Was ist Chatbot-Analytik? Erfahren Sie mehr über Chatbot-Analytik und wichtige Chatbot-Metriken

Chatbot-Analysen sind die Echtzeitdaten, die Ihr Chatbot durch seine Interaktion mit Menschen erzeugt. Diese Daten können sehr nützlich sein und stellen einen großen Wert für Ihr Unternehmen dar.

Worauf sollte ich bei einer Chatbot-Analyseplattform achten?

Chatbot-Analysen sind ein wichtiges Instrument zur Verbesserung der Chatbot-Leistung und des gesamten Kundenerlebnisses

Der erste Satz von Chatbot-Analysen, der für Administratoren wichtig ist, sind allgemeine Nutzungsstatistiken. Schlüsselmetriken wie z. B. ob der Chatbot genutzt wird, auf welchen Geräten, wie oft, wie das Nutzererlebnis ist, wie hoch die Verweildauer ist und wie hoch die Absprungrate in einem bestimmten Zeitraum ist, usw. Dies sind die Art von wertvollen Erkenntnissen, die Sie von einem Chatbot-Analysetool für eine Website erhalten würden.

Andere allgemeine Statistiken, die für alle chatbots benötigt werden, wenn natürliche Sprachverarbeitung verwendet wird, sind Konversationsanalysen wie missverstandene Ausdrücke, die am häufigsten verwendeten Wörter, die Anzahl menschlicher Eingriffe/Eskalationsvorfälle usw.

Bei den oben genannten Statistiken ist es wichtig, dass diese nicht nur gemessen, sondern auch so in die Software integriert werden, dass der Chatbot die Interaktion mit dem Nutzer verbessert. Zum Beispiel können unverstandene Ausdrücke automatisch zur Liste der Ausdrücke hinzugefügt werden, die mit einer bestimmten Absicht verbunden sind, wenn der NLP eingerichtet wird, damit der Bot einen besseren Gesprächsfluss entwickelt. Es ist wichtig, dass Administratoren oder besser noch Supportmitarbeiter einfache Möglichkeiten haben, diese Art von Phrasen hinzuzufügen und zu validieren, damit sich der Bot schnell verbessert.

Unterschätzen Sie nicht die Bedeutung des benutzerdefinierten Zugriffs auf Chatbot-Analysen

Während alle oben genannten allgemeinen Analysen wichtig sind, stellt sich heraus, dass in vielen Fällen ein benutzerdefinierter Zugriff auf Chatbot-Daten noch wichtiger ist. Dies gilt insbesondere, wenn der Chatbot eingeführt und getestet wird. Denn zu Beginn eines Bot-Projekts sind die Sponsoren bestrebt, die Akzeptanz und Nutzung zu zeigen. Sie werden daher versuchen, sicherzustellen, dass der Bot bei den Pilotnutzern angemessen vermarktet wird, und wenn sie ihre Arbeit richtig gemacht haben, werden die Statistiken eine gute Nutzung und den Erfolg des Chatbots zeigen. Dies liegt zum Teil auch daran, dass die Chatbot-Plattform für die Nutzer ein neues Produkt ist und sie anfangs neugierig sind, es zu benutzen, was die Nutzungsstatistiken künstlich aufblähen kann.

Was Chatbot-Administratoren jedoch interessiert, sind Anzeichen für Probleme bei der Bot-Nutzung, die darauf hindeuten, dass die Nutzung nicht so stabil ist, wie die anfänglichen Statistiken vermuten lassen. Und selbst wenn die Statistiken eindeutig auf ein Nutzungsproblem hindeuten, wollen die Sponsoren wissen, warum das Nutzungsproblem auftritt.

Das Problem kann leicht identifiziert und mit generischen Analysen behoben werden. Zu Beginn ist es zum Beispiel sehr häufig der Fall, dass das NLP-Setup nicht so umfassend ist, wie es sein sollte, so dass der Bot mehr missversteht, als er sollte. Dieses Problem lässt sich in der Regel schnell beheben, indem dem relevanten Intent im NLP-Setup weitere Phrasen hinzugefügt werden.

Benutzerdefinierte Chatbot-Analytik

Wie benutzerdefinierte Analysen häufige Probleme mit dem Chatbot-Erlebnis lösen können

Oft ist eine individuelle Analyse erforderlich, um ein Problem zu diagnostizieren. Es kann zum Beispiel sein, dass explizites Feedback in den Gesprächsfluss eingebaut werden muss, um Probleme zu erkennen.

Die benutzerdefinierte Analyse ist auch dann von besonderem Interesse, wenn es sich bei dem Bot um einen stärker angepassten Chatbot handelt.

Einfacher Ansatz vs. Komplexer Ansatz Chatbot

Wenn ein Chatbot einfach ist, z. B. einen Benutzer durch eine Art Entscheidungsbaum führt, und es ein Nutzungsproblem gibt, kann es einfach sein, das Problem allein anhand der allgemeinen Nutzungsstatistiken zu identifizieren. Die Analysen könnten den Punkt in der Chatbot-Konversation angeben, an dem die Nutzer das Interesse verloren und die Konversation abgebrochen haben, oder sie könnten die Zeit angeben, die der Nutzer mit dem Bot verbracht hat, bevor er ihn abgebrochen hat, und in beiden Fällen kann dies auf ein Problem mit dem Ablauf oder mit dem Bot-Anwendungsfall insgesamt hinweisen.

Wenn der Bot komplizierter ist, d. h. über eine benutzerdefinierte Logik verfügt, geben die allgemeinen Statistiken nicht den vollen Aufschluss. Sie können Ihnen vielleicht den Punkt nennen, an dem der Nutzer abbricht, aber sie können Ihnen nicht sagen, warum der Nutzer abbricht.

Stellen Sie sich ein einfaches Beispiel vor. Sie bauen einen Chatbot, der Kindern beim Lernen ihrer Stundenpläne hilft. Ein grundlegender Ansatz könnte sein, dass die Kinder das betreffende Einmaleins wählen und der Bot die Fragen zum gewählten Einmaleins nach dem Zufallsprinzip stellt. Das Problem dabei ist, dass die Kinder, die die Stundenpläne lernen, auf unterschiedlichen Niveaus sind und daher die Erfolgsquote sinken könnte, wenn sie die Fragen zu Beginn oder sogar zu einem späteren Zeitpunkt der Interaktion zu schwierig finden.

Um dies zu erfassen, müssen die Analysen unter anderem auch den Schwierigkeitsgrad der Fragen widerspiegeln (und idealerweise das Niveau automatisch anpassen). Dies muss in die benutzerdefinierte Analyse eingebaut werden. Und das geht nur, wenn die Chatbot-Erstellungsplattform benutzerdefinierte Analysen unterstützt (oder besser gesagt, benutzerdefinierte Analysen leicht hinzufügen kann).

Sobald die benutzerdefinierten Analysen zur Verfügung stehen, können die Entwickler die gewonnenen Erkenntnisse nutzen, um einen ausgeklügelten Ansatz zu implementieren, z. B. die Verwendung eines Algorithmus, der das Niveau des Kindes an die gestellten Fragen anpasst, um die Benutzerbindung im Spiel zu maximieren.

A/B-Tests für Chabot Analytics

Dies bringt uns zu einem kritischen und mit der kundenspezifischen Analyse verbundenen Thema, dem A/B-Testing. Bei jeder Software ist es schwierig, von Anfang an zu wissen, was in Bezug auf Funktionalität, Grafik und Inhalt am besten funktioniert, und die einzige Möglichkeit, dies definitiv herauszufinden, sind A/B-Tests verschiedener Alternativen.

Dies gilt auch für chatbots . Die benutzerdefinierten Analysen müssen mit einer A/B-Test-Engine innerhalb der Chatbot-Erstellungsplattform verknüpft werden. Natürlich ist es in der Bot-Plattform selbst nicht nur wichtig, benutzerdefinierte Analysen erstellen und kennzeichnen zu können, sondern auch A/B-Tests innerhalb des Gesprächsflusses zu definieren.

Rollen der Teammitglieder für Chatbot Analytics

Der Sponsor, der Manager und der Entwickler des Chatbots sind alle dafür verantwortlich, die erforderlichen Analysen zu definieren. Wie bereits erwähnt, hängt die benutzerdefinierte Analyse zumindest von den Anwendungsfällen ab, die der Bot anspricht.

Der Sponsor ist eindeutig an der Akzeptanz der Dialogschnittstelle interessiert und versucht, alle Hindernisse für die Akzeptanz oder andere Probleme, die sich negativ auf die Benutzerzufriedenheit auswirken könnten, zu beseitigen.

Was sind die wichtigsten Leistungskennzahlen für Chatbot-Analysen?

Aus allgemeiner Sicht der Chatbot-Analytik sind Chatbot-Unternehmen an den folgenden wichtigen Chatbot-Kennzahlen und KPIs interessiert:

• Anzahl der Interaktionen (Knotenpunkte) Anzahl der Ströme
• Chat-Dauer
• Prozentsatz der missverstandenen/verstandenen Aussagen
• Wortliste der Aussagen
• Wortkarte der missverstandenen Aussagen
• Liste der missverstandenen Benutzeranfragen
• Anzahl der eingeleiteten Bewegungen
• Anzahl der wiederholten Durchläufe
• Rangfolge der Ströme nach Nutzung
• Rangfolge der Ströme nach missverstandenen Aussagen
• Anzahl der menschlichen Übernahmen
• Anzahl der Anmeldungen
• Anzahl der erfolgreichen Abschlüsse
• Anzahl der wiederholten Nutzer
• Anzahl der aktiven Nutzer pro Zeitraum
• Anzahl der Anmeldungen
• Prozentualer Anteil der aktiven zu den benannten / Nutzern

Sie können daran interessiert sein, die oben genannten Statistiken in bestimmten Zeiträumen zu betrachten oder natürlich andere Filter zu verwenden.

Wie nutzen Entwickler benutzerdefinierte Chatbot-Analysedaten, um Chatbot-Interaktionen zu verbessern?

Im Hinblick auf benutzerdefinierte Analysen könnten sie an Feedback interessiert sein, das normalerweise manuell als Knoten im Gesprächsfluss eingegeben wird, insbesondere an den Endpunkten jedes Flusses (ob das Ergebnis erfolgreich war oder nicht). Sie könnten an der Rangfolge der Abläufe nach der Bewertung des Feedbacks interessiert sein.

In unserem Beispiel eines Chatbots für das Einmaleins könnte es interessant sein, zu sehen, ob es eine Korrelation zwischen dem Schwierigkeitsgrad und dem Engagement (Anzahl der durchlaufenen Knoten) gibt.

Die Bot-Manager sind natürlich an den oben genannten Statistiken interessiert, wollen aber auch den reibungslosen Betrieb des Bots sicherstellen. Sie benötigen möglicherweise Analysen über die Leistung des Bots auf verschiedenen Geräten und Statistiken über die Verfügbarkeit des Bots. Gab es irgendwelche Infrastruktur- oder Sicherheitsprobleme?

Sie könnten nicht nur am Verhalten der Nutzerbasis interessiert sein, sondern auch am Verhalten der Supernutzer, z. B. daran, wie oft sie Inhalte aktualisieren oder den Datenfluss ändern. Diese Art von Informationen könnte auch aus Sicherheitsgründen obligatorisch sein.

Sie wären natürlich auch an Informationen über die Entwicklung der Bots von der Entwicklungs- über die Staging- bis hin zur Produktionsumgebung sowie an Statistiken über Entwicklerfreigaben usw. interessiert.

Die Entwickler sind an all dem interessiert, soweit sie die Informationen nutzen können, um ihr Unternehmen chatbots besser zu machen. Natürlich sind sie auch an Statistiken interessiert, die Fehler identifizieren, wie z. B. die Statistiken aus dem Testprozess, der spezielle Tests für Bots vorsieht, wie z. B. Tests für NLP-Erfolg. In der Praxis sind die Entwickler und Superuser jedoch mehr mit der Implementierung benutzerdefinierter Analysen beschäftigt als mit deren Überwachung.

Fazit - Die Zukunft von Chatbot Analytics

Ich habe bereits kurz erwähnt, dass die Integration von Analysen in die Bot-Funktionalität für den erfolgreichen Aufbau eines Bots entscheidend ist. A/B-Tests müssen benutzerdefinierte Analysen integrieren und können dann einen einfachen Algorithmus zur Optimierung der Konversation verwenden. Eine komplexere Integration kann verwendet werden, um die Leistung des Bots zu optimieren, wie z. B. die bereits erwähnte Optimierung, um sicherzustellen, dass der Schwierigkeitsgrad des Zeitplan-Bots (oder eines realistischeren, komplexeren Spiels) optimiert wird.

Viele große Softwareunternehmen wie Google, Microsoft und IBM bieten Chatbot-Analysedienste an. Obwohl diese Dienste leicht allgemeine Analysen liefern können, habe ich deutlich gemacht, dass die Analysen angepasst und eng an die Funktionalität des Bots gekoppelt werden müssen, um den vollen Nutzen der Analysen zu erhalten, und zwar auf eine Art und Weise, die sich von nicht-konversationeller Software wie z. B. Websites unterscheidet. Daher ist es wichtig, dass das verwendete Chatbot-Framework den Entwicklern die Möglichkeit gibt, das Admin-Panel anzupassen.

‍