Czym jest analityka chatbotów? Dowiedz się więcej o analityce chatbotów i kluczowych metrykach chatbotów

Analityka chatbota to dane w czasie rzeczywistym, które twój chatbot generuje poprzez interakcję z ludźmi. Dane te mogą być naprawdę przydatne i stanowić dużą wartość dla Twojej firmy.

Czego powinienem szukać w platformie analitycznej Chatbot?

Analityka chatbota jest niezbędnym narzędziem do poprawy wydajności chatbota i ogólnego doświadczenia klienta

Pierwszym zestawem analiz chatbota, który jest ważny dla administratorów, są ogólne statystyki użytkowania. Kluczowe wskaźniki, takie jak to, czy chatbot jest używany, na jakich urządzeniach, jak często, jak wygląda doświadczenie użytkownika, jaki jest wskaźnik retencji i jaki jest współczynnik odrzuceń w danym przedziale czasowym itp. Są to cenne informacje, które można uzyskać za pomocą narzędzia do analizy chatbota na stronie internetowej.

Inne ogólne statystyki, które są wymagane dla wszystkich chatbots , gdy używane jest przetwarzanie języka naturalnego, to analizy konwersacyjne, takie jak niezrozumiałe frazy, najczęściej używane słowa, liczba interwencji człowieka / incydentów eskalacji itp.

Jeśli chodzi o powyższe statystyki, ważne jest, aby były one nie tylko mierzone, ale także zintegrowane z oprogramowaniem w sposób, który sprawi, że chatbot będzie lepszy w interakcji z użytkownikiem. Na przykład niezrozumiałe frazy mogą być automatycznie dodawane do listy fraz powiązanych z daną intencją podczas konfigurowania NLP, aby bot rozwijał lepszy przepływ konwersacji. Ważne jest, aby administratorzy lub, co bardziej prawdopodobne, agenci wsparcia mieli łatwe sposoby dodawania i sprawdzania poprawności tego typu fraz, aby bot szybko się poprawiał.

Nie lekceważ znaczenia niestandardowego dostępu do analityki chatbota

Podczas gdy wszystkie powyższe ogólne analizy są ważne, okazuje się, że w wielu przypadkach niestandardowy dostęp do danych chatbota jest jeszcze ważniejszy. Jest to szczególnie prawdziwe, gdy chatbot jest wdrażany i pilotowany. Wynika to z faktu, że na początku projektu bota sponsorzy chcą pokazać jego przyjęcie i wykorzystanie. Będą więc starali się upewnić, że bot jest odpowiednio sprzedawany użytkownikom pilotażowym, a jeśli wykonają swoją pracę poprawnie, statystyki pokażą dobre wykorzystanie i sukces chatbota. Wynika to również częściowo z faktu, że platforma chatbotowa jest nowym produktem dla użytkowników, którzy mogą być początkowo ciekawi korzystania z niej, co może sztucznie zawyżać statystyki użytkowania.

To, co jednak interesuje administratorów chatbotów, to sygnały, że istnieją problemy z użytkowaniem bota, które sygnalizują, że użytkowanie może nie być tak solidne, jak wskazują na to początkowe statystyki. Nawet jeśli statystyki wyraźnie wskazują na problem z użytkowaniem, sponsorzy chcą wiedzieć, dlaczego tak się dzieje.

Problem można łatwo zidentyfikować i naprawić za pomocą ogólnej analityki. Na przykład na początku bardzo często zdarza się, że konfiguracja NLP nie jest tak kompleksowa, jak powinna, więc bot nie rozumie więcej niż powinien. Problem ten jest zwykle szybko rozwiązywany poprzez dodanie większej liczby fraz do odpowiedniej intencji w konfiguracji NLP.

Niestandardowa analityka chatbota

Jak niestandardowa analityka może rozwiązać typowe problemy związane z obsługą chatbota?

Często do zdiagnozowania problemu potrzebna jest niestandardowa analityka. Może się na przykład okazać, że w celu zidentyfikowania problemów konieczne jest wbudowanie w przebieg konwersacji wyraźnych informacji zwrotnych.

Niestandardowa analityka jest również szczególnie interesująca, gdy bot jest bardziej spersonalizowanym chatbotem.

Chatbot o prostym i złożonym podejściu

Jeśli chatbot jest prosty, na przykład przeprowadza użytkownika przez pewnego rodzaju drzewo decyzyjne i pojawia się problem z użytkowaniem, może być łatwo zidentyfikować problem na podstawie samych ogólnych statystyk użytkowania. Analityka może wskazywać punkt w konwersacji z chatbotem, w którym użytkownicy stracili zainteresowanie i porzucili konwersację, lub może wskazywać ilość czasu spędzonego z botem, zanim użytkownik go porzucił, a w obu przypadkach może to wskazywać na problem z przepływem lub z ogólnym przypadkiem użycia bota.

Jeśli bot jest bardziej skomplikowany, tj. ma niestandardową logikę, ogólne statystyki nie powiedzą wszystkiego. Mogą być w stanie określić punkt, w którym użytkownik porzuca stronę, ale nie będą w stanie określić, dlaczego użytkownik porzuca stronę.

Wyobraźmy sobie prosty przykład. Tworzysz chatbota, który ma pomóc dzieciom w nauce planów lekcji. Podstawowe podejście może polegać na tym, że dzieci wybierają daną tabliczkę mnożenia, a bot losuje pytania dotyczące wybranej tabliczki. Problem polega na tym, że dzieci uczące się tabliczki mnożenia są na różnych poziomach, a zatem wskaźnik zaangażowania może spaść, jeśli na początku lub nawet w późniejszym etapie interakcji pytania okażą się zbyt trudne.

Aby to wychwycić, potrzebujemy, aby analityka odzwierciedlała między innymi trudność pytań (i najlepiej automatycznie dostosowywała poziom). Musi to być wbudowane w niestandardową analitykę. A można to zrobić tylko wtedy, gdy platforma do tworzenia chatbotów obsługuje niestandardowe analizy (lub, co ważniejsze, łatwo dodaje niestandardowe analizy).

Po udostępnieniu niestandardowej analityki programiści mogą wykorzystać uzyskane informacje do wdrożenia zaawansowanego podejścia, takiego jak użycie algorytmu w celu dopasowania poziomu dziecka do zadawanych pytań, aby zmaksymalizować retencję użytkownika w grze.

Testy A/B dla Chabot Analytics

To prowadzi nas do krytycznego i powiązanego tematu z niestandardową analityką, a mianowicie do testów A/B. W przypadku każdego oprogramowania trudno jest wiedzieć na początku, co może działać najlepiej pod względem funkcjonalności, grafiki i treści, a jedynym sposobem, aby dowiedzieć się na pewno, jest testowanie A / B różnych alternatyw.

Dotyczy to również strony chatbots . Niestandardowa analityka musi być połączona z silnikiem testów A/B wewnątrz platformy do tworzenia chatbotów. Oczywiście na samej platformie bota ważna jest nie tylko możliwość generowania i tagowania niestandardowych analiz, ale także definiowania testów A/B w ramach przepływu konwersacji.

Role członków zespołu dla Chatbot Analytics

Sponsor, menedżer i deweloper chatbota są odpowiedzialni za pomoc w zdefiniowaniu wymaganej analityki. Jak wspomniano, niestandardowa analityka zależy przynajmniej od przypadków użycia, do których odnosi się bot.

Sponsor jest wyraźnie zainteresowany przyjęciem interfejsu konwersacyjnego i próbuje rozwiązać wszelkie przeszkody w jego przyjęciu lub inne kwestie, które mogą negatywnie wpłynąć na poziom zadowolenia użytkowników.

Jakie są kluczowe wskaźniki wydajności dla analityki chatbotów?

Z ogólnego punktu widzenia analityki chatbotów, firmy zajmujące się chatbotami byłyby zainteresowane następującymi kluczowymi wskaźnikami i KPI dla chatbotów:

• Liczba interakcji (węzłów) Liczba przepływów
• Czas trwania czatu
• Odsetek niezrozumianych/zrozumiałych stwierdzeń
• Mapa słowna stwierdzeń
• Mapa słów niezrozumiałych stwierdzeń
• Lista niezrozumiałych zapytań użytkowników
• Liczba zainicjowanych przepływów
• Liczba powtórzeń przepływu
• Ranking przepływów według wykorzystania
• Ranking przepływów według niezrozumiałych stwierdzeń
• Liczba przejęć przez ludzi
• Liczba logowań
• Liczba pomyślnych zakończeń
• Liczba powtarzających się użytkowników
• Liczba aktywnych użytkowników w danym okresie
• Liczba logowań
• Odsetek aktywnych do nazwanych / użytkowników

Mogą być zainteresowani spojrzeniem na powyższe statystyki w określonych okresach lub oczywiście przy użyciu innych filtrów.

W jaki sposób deweloperzy wykorzystują niestandardowe dane analityczne chatbota do ulepszania interakcji z chatbotem?

Jeśli chodzi o niestandardową analitykę, mogą być zainteresowani informacjami zwrotnymi, które są zwykle wprowadzane ręcznie jako węzeł w przepływie konwersacji, zwłaszcza w punktach końcowych każdego przepływu (niezależnie od tego, czy wynik był pomyślny, czy nie). Mogą być zainteresowani rankingiem przepływów według oceny opinii.

W przypadku podanego przez nas przykładu chatbota z tabelą czasów, mogą być zainteresowani sprawdzeniem, czy istnieje jakakolwiek korelacja między poziomem trudności a zaangażowaniem (liczbą pokonanych węzłów).

Menedżerowie botów są oczywiście zainteresowani powyższymi statystykami, ale są również zainteresowani zapewnieniem płynnego działania bota. Mogą wymagać analiz dotyczących wydajności bota na różnych urządzeniach i statystyk dotyczących dostępności bota. Czy wystąpiły jakiekolwiek problemy z infrastrukturą lub bezpieczeństwem?

Mogą być zainteresowani nie tylko zachowaniem bazy użytkowników, ale także zachowaniem superużytkowników, takich jak częstotliwość aktualizacji treści lub modyfikacji przepływu. Tego rodzaju informacje mogą być również obowiązkowe ze względów bezpieczeństwa.

Oczywiście byliby również zainteresowani informacjami dotyczącymi postępów botów od etapu rozwoju, przez etapy przejściowe, po środowiska produkcyjne, a także statystykami dotyczącymi wydań deweloperskich itp.

Deweloperzy są zainteresowani wszystkimi powyższymi informacjami w zakresie, w jakim mogą je wykorzystać, aby ulepszyć swoje przedsiębiorstwo chatbots . Oczywiście byliby zainteresowani statystykami, które identyfikują błędy, takie jak statystyki pochodzące z procesu testowania, które będą miały specjalne testy dla botów, takie jak testowanie sukcesu NLP. W praktyce jednak programiści i superużytkownicy są bardziej zaangażowani we wdrażanie niestandardowych analiz niż w ich monitorowanie.

Podsumowanie - przyszłość analityki chatbotów

Wspomniałem pokrótce, że integracja analityki z funkcjonalnością bota ma kluczowe znaczenie dla skutecznego tworzenia botów. Testy A/B wymagają integracji niestandardowej analityki, a następnie mogą wykorzystywać prosty algorytm do optymalizacji konwersacji. Bardziej złożona integracja może być wykorzystana do optymalizacji wydajności bota, takiej jak wspomniana wcześniej optymalizacja w celu zapewnienia, że trudność bota rozkładu jazdy (lub bardziej realistycznej bardziej złożonej gry) jest zoptymalizowana.

Wiele dużych firm programistycznych, takich jak Google, Microsoft i IBM, oferuje usługi analityczne dla chatbotów. Chociaż usługi te mogą z łatwością zapewnić ogólną analitykę, to w moim przekonaniu, aby uzyskać pełne korzyści z analityki, analityka musi być dostosowana i ściśle powiązana z funkcjonalnością bota w sposób, który różni się od oprogramowania nie konwersacyjnego, takiego jak na przykład strony internetowe. Istotne jest zatem, aby używany framework chatbota umożliwiał programistom dostosowanie panelu administracyjnego.

‍