Wat is Chatbot Analytics? Meer informatie over chatbot analytics en de belangrijkste chatbot statistieken

Chatbotanalyse is de real-time gegevens die je chatbot genereert door zijn interactie met mensen. Deze gegevens kunnen heel nuttig zijn en zijn van grote waarde voor je bedrijf.

Wat moet ik zoeken in een Chatbot Analytics Platform?

Chatbotanalyses zijn een essentieel hulpmiddel voor het verbeteren van chatbotprestaties en de algehele klantervaring

De eerste set chatbot analytics die belangrijk is voor admins zijn algemene gebruiksstatistieken. Belangrijke statistieken zoals wordt de chatbot gebruikt, op welke apparaten, hoe vaak, hoe is de gebruikerservaring, wat is het retentiepercentage en wat is het bouncepercentage in een bepaald tijdsbestek, enz. Dit zijn het soort waardevolle inzichten die je zou krijgen van een chatbot analytics tool voor een website.

Andere algemene statistieken die nodig zijn voor alle chatbots wanneer natuurlijke taalverwerking wordt gebruikt, zijn conversatieanalyses zoals verkeerd begrepen zinnen, meest gebruikte woorden, aantal menselijke interventies/escalatie-incidenten, enz.

Als het gaat om bovenstaande statistieken, is het belangrijk dat deze niet alleen worden gemeten, maar ook worden geïntegreerd in de software op manieren die de chatbot beter maken voor gebruikersinteractie. Onbegrepen zinnen kunnen bijvoorbeeld automatisch worden toegevoegd aan de lijst met zinnen die horen bij een bepaalde intentie wanneer de NLP wordt ingesteld, zodat de bot een betere conversatiestroom ontwikkelt. Het is belangrijk dat beheerders of waarschijnlijker supportmedewerkers eenvoudige manieren hebben om dit soort zinnen toe te voegen en te valideren, zodat de bot snel verbetert.

Onderschat het belang van aangepaste toegang tot chatbotanalyses niet

Hoewel alle bovenstaande generieke analyses belangrijk zijn, blijkt dat in veel gevallen aangepaste toegang tot chatbotgegevens nog belangrijker is. Dit geldt met name wanneer de chatbot wordt uitgerold en getest. Aan het begin van een botproject willen sponsors namelijk graag adoptie en gebruik aantonen. Ze zullen er daarom voor proberen te zorgen dat de bot voldoende in de markt wordt gezet bij de pilotgebruikers en als ze hun werk goed hebben gedaan, zullen de statistieken een goed gebruik en succes van de chatbot laten zien. Dit is ook deels omdat het chatbotplatform een nieuw product is voor de gebruikers, ze kunnen in het begin nieuwsgierig zijn om het te gebruiken en dit kan de gebruiksstatistieken kunstmatig opblazen.

Wat echter interessant is voor chatbotbeheerders, zijn tekenen dat er problemen zijn met het botgebruik die aangeven dat het gebruik misschien niet zo robuust is als de aanvankelijke statistieken aangeven. En zelfs als de statistieken duidelijk maken dat er een gebruiksprobleem is, willen de sponsors weten waarom het gebruiksprobleem zich voordoet.

Het probleem kan eenvoudig worden geïdentificeerd en opgelost met generieke analyses. In het begin is het bijvoorbeeld heel vaak zo dat de NLP setup niet zo uitgebreid is als zou moeten, zodat de bot meer verkeerd begrijpt dan zou moeten. Dit probleem wordt normaal gesproken snel verholpen door meer zinnen toe te voegen aan de relevante intentie in de NLP setup.

Aangepaste Chatbot-analyse

Hoe aangepaste analyses veelvoorkomende problemen met de chatbotervaring kunnen aanpakken

Vaak is analyse op maat nodig om een probleem te diagnosticeren. Het kan bijvoorbeeld zijn dat er expliciete feedback moet worden ingebouwd in de conversatiestroom om problemen te kunnen identificeren.

Aangepaste analytics is ook bijzonder interessant wanneer de bot een meer aangepaste chatbot is.

Eenvoudige aanpak vs. complexe aanpak Chatbot

Als een chatbot eenvoudig is, bijvoorbeeld een gebruiker door een soort beslisboom leidt, en er is een gebruiksprobleem, kan het eenvoudig zijn om het probleem te identificeren aan de hand van de algemene gebruiksstatistieken alleen. De analytics kan het punt in de chatbot conversatie aangeven waar gebruikers hun interesse verloren en de conversatie verlieten of het kan de hoeveelheid tijd aangeven die op de bot werd doorgebracht voordat de gebruiker deze verliet en in beide gevallen kan dit wijzen op een probleem met de flow of met de bot use case in het algemeen.

Als de bot ingewikkelder is, d.w.z. aangepaste logica heeft, zullen de algemene statistieken niet het volledige verhaal vertellen. Ze kunnen u misschien vertellen op welk punt de gebruiker afhaakt, maar ze zullen u niet kunnen vertellen waarom de gebruiker afhaakt.

Stel je een eenvoudig voorbeeld voor. Je bouwt een chatbot om kinderen te helpen bij het leren van hun tafels. Een basisaanpak kan zijn dat de kinderen de betreffende tafels kiezen en dat de bot de vragen over de gekozen tafels randomiseert. Het probleem hier is dat de kinderen die de tafels leren zich op verschillende niveaus bevinden en daarom kan de succesvolle betrokkenheid dalen als ze de vragen aan het begin of zelfs op een later moment in de interacties te moeilijk vinden.

Om dit op te pikken moeten de statistieken onder andere ook de moeilijkheidsgraad van de vragen weergeven (en idealiter automatisch het niveau aanpassen). Dit moet worden ingebouwd in de aangepaste analytics. En dit kan alleen als het chatbot-bouwplatform custom analytics ondersteunt (of beter gezegd, gemakkelijk custom analytics kan toevoegen).

Zodra de aangepaste analyses beschikbaar zijn, kunnen ontwikkelaars het verkregen bruikbare inzicht gebruiken om een geavanceerde aanpak te implementeren, zoals het gebruik van een algoritme om het niveau van het kind af te stemmen op de gestelde vragen om de retentie van gebruikers in het spel te maximaliseren.

A/B-tests voor Chabot Analytics

Dit brengt ons bij een cruciaal en gerelateerd onderwerp voor aangepaste analytics en dat is A/B-testen. Bij elke software is het moeilijk om in het begin te weten wat het beste werkt qua functionaliteit, afbeeldingen en inhoud en de enige manier om dat zeker te weten is door verschillende alternatieven te A/B-testen.

Dit geldt ook voor chatbots . De custom analytics moeten worden gekoppeld aan een A/B-test engine binnen het chatbot-bouwplatform. Natuurlijk is het binnen het botplatform zelf niet alleen belangrijk om custom analytics te kunnen genereren en taggen, maar ook om A/B-tests te definiëren binnen de conversatieflow.

Teamlidrollen voor Chatbot Analytics

De sponsor, manager en ontwikkelaar van de chatbot zijn allemaal verantwoordelijk voor het helpen definiëren van de benodigde analytics. Zoals gezegd, hangt de aangepaste analyse in ieder geval af van de use cases waarop de bot zich richt.

De sponsor is duidelijk geïnteresseerd in de adoptie van de conversatie-interface en probeert eventuele belemmeringen voor de adoptie of andere problemen die een negatieve invloed kunnen hebben op de tevredenheid van gebruikers op te lossen.

Wat zijn essentiële prestatiecijfers voor chatbotanalyse?

Vanuit een algemeen chatbot analytics oogpunt, zouden chatbot bedrijven geïnteresseerd zijn in de volgende belangrijke chatbot statistieken en KPI's:

• Aantal interacties (knooppunten) Aantal stromen
• Chat duur
• Percentage verkeerd begrepen/onbegrepen verklaringen
• Woordkaart van uitspraken
• Woordkaart van verkeerd begrepen uitspraken
• Lijst met verkeerd begrepen gebruikersvragen
• Aantal geïnitieerde stromen
• Aantal herhalingsstromen
• Rangschikking van de stromen naar gebruik
• Rangschikking van de stromen door verkeerd begrepen verklaringen
• Aantal menselijke overnames
• Aantal aanmeldingen
• Aantal succesvolle voltooiingen
• Aantal terugkerende gebruikers
• Aantal actieve gebruikers per periode
• Aantal aanmeldingen
• Percentage actieve tot genoemde / gebruikers

Ze kunnen geïnteresseerd zijn in het bekijken van bovenstaande statistieken in specifieke perioden of in het gebruik van andere filters natuurlijk.

Hoe gebruiken ontwikkelaars aangepaste chatbotanalysegegevens om chatbotinteracties te verbeteren?

In termen van aangepaste analyses zouden ze geïnteresseerd kunnen zijn in feedback die normaal gesproken handmatig wordt ingevoerd als een knooppunt in de conversatiestroom, vooral bij de eindpunten van elke stroom (of het resultaat succesvol was of niet). Ze zouden geïnteresseerd kunnen zijn in de rangschikking van de stromen op basis van de feedbackbeoordeling.

Voor het voorbeeld dat we gaven van een chatbot die de tijdtafel berekent, kunnen ze geïnteresseerd zijn om te zien of er een correlatie is tussen de moeilijkheidsgraad en de betrokkenheid (het aantal doorlopen knooppunten).

De botbeheerders zijn uiteraard geïnteresseerd in bovenstaande statistieken, maar willen ook de goede werking van de bot garanderen. Ze kunnen analytics nodig hebben over de prestaties van de bot op verschillende apparaten en statistieken over de beschikbaarheid van de bot. Zijn er problemen geweest met de infrastructuur of de beveiliging?

Ze zijn misschien niet alleen geïnteresseerd in het gedrag van de gebruikers, maar ook in het gedrag van de supergebruikers, zoals hoe vaak ze inhoud bijwerken of de stroom wijzigen. Dit soort informatie kan ook verplicht zijn om veiligheidsredenen.

Ze zouden natuurlijk ook geïnteresseerd zijn in informatie over de voortgang van de bots van ontwikkeling, naar staging, naar productie-omgevingen, en statistieken over ontwikkelaar releases, enz.

De ontwikkelaars zijn geïnteresseerd in al het bovenstaande in de mate dat ze de informatie kunnen gebruiken om hun onderneming chatbots beter te maken. Natuurlijk zijn ze geïnteresseerd in statistieken die bugs identificeren, zoals de statistieken die voortkomen uit het testproces dat speciale tests voor bots zal hebben, zoals het testen op NLP-succes. In de praktijk zijn de ontwikkelaars en supergebruikers echter meer betrokken bij het implementeren van aangepaste analytics dan bij het monitoren ervan.

Conclusie - De toekomst van Chatbot Analytics

Ik heb kort vermeld dat het integreren van analytics in de botfunctionaliteit cruciaal is voor het succesvol bouwen van bots. A/B-tests moeten aangepaste analytics integreren en kunnen dan een eenvoudig algoritme gebruiken om de conversatie te optimaliseren. Complexere integratie kan worden gebruikt om de prestaties van de bot te optimaliseren, zoals de eerder genoemde optimalisatie om ervoor te zorgen dat de moeilijkheidsgraad van de tijdschema-bot (of realistischer een complexer spel) wordt geoptimaliseerd.

Veel grote softwarebedrijven, zoals Google, Microsoft en IBM bieden chatbot analytics diensten aan. Hoewel deze diensten gemakkelijk generieke analytics kunnen bieden, heb ik duidelijk gemaakt dat om het volledige voordeel van analytics te krijgen, de analytics moet worden aangepast en nauw moet worden gekoppeld aan de functionaliteit van de bot op een manier die verschilt van niet-conversationele software zoals websites bijvoorbeeld. Het is daarom essentieel dat het gebruikte chatbot-framework ontwikkelaars toestaat om het beheerpaneel aan te passen.

‍