O que é a Chatbot Analytics? Saiba mais sobre análises chatbot e métricas chave de chatbot

Chatbot analytics são os dados em tempo real que o chatbot está a gerar através da sua interacção com as pessoas. Estes dados podem ser realmente úteis e apresentam um grande valor para o seu negócio.

O que devo procurar numa plataforma Chatbot Analytics?

A análise de chatbot é uma ferramenta essencial para melhorar o desempenho de chatbot e a experiência geral do cliente

O primeiro conjunto de análise de chatbot que é importante para os administradores são as estatísticas genéricas de utilização. Métricas chave como é o chatbot utilizado, em que dispositivos, com que frequência, como é a experiência do utilizador, qual é a taxa de retenção e qual é a taxa de ressalto num determinado período de tempo, etc.? Estes são o tipo de conhecimentos valiosos que se obteriam com uma ferramenta de análise de chatbot para um website.

Outras estatísticas genéricas que são necessárias para todos chatbots quando é utilizado o processamento de linguagem natural são análises de conversação como frases mal compreendidas, palavras mais frequentes utilizadas, número de incidentes de intervenção humana/escalada, etc.

Quando se trata das estatísticas acima referidas, é importante que estas estatísticas não sejam apenas medidas mas integradas no software de forma a melhorar a interacção do chatbot com o utilizador. Por exemplo, frases mal compreendidas podem ser automaticamente adicionadas à lista de frases associadas a uma dada intenção ao configurar a PNL, de modo a que o bot desenvolva um melhor fluxo de conversação. É importante que os administradores ou os agentes de apoio mais prováveis tenham formas fáceis de adicionar e validar estes tipos de frases, para que o bot melhore rapidamente.

Não subestime a importância do acesso personalizado à análise de chatbot

Embora todas as análises genéricas acima referidas sejam importantes, acontece que em muitos casos, o acesso personalizado aos dados do chatbot é ainda mais importante. Isto é particularmente verdade quando o "chatbot" está a ser desenrolado e pilotado. Isto acontece porque no início de um projecto bot, os patrocinadores estão ansiosos por mostrar adopção e utilização. Por conseguinte, tentarão certificar-se de que o bot é adequadamente comercializado aos utilizadores do piloto e, se tiverem feito o seu trabalho correctamente, as estatísticas mostrarão uma boa utilização e o sucesso do chatbot. Isto também se deve em parte ao facto de a plataforma chatbot ser um produto novo para os utilizadores que possam ter curiosidade em utilizá-lo inicialmente, o que pode inflacionar artificialmente as estatísticas de utilização.

O que é de interesse para os administradores de chatbot, contudo, são sinais de que existem problemas com o uso de bot que sinalizam que o uso pode não ser tão robusto como as estatísticas iniciais indicam. E mesmo que as estatísticas sejam claras de que existe um problema de utilização, os patrocinadores querem saber porque é que o problema de utilização está a acontecer.

O problema pode ser facilmente identificado e corrigido com análises genéricas. No início, por exemplo, é muito frequente que a configuração da PNL não seja tão abrangente como deveria ser, pelo que o bot interpreta mais mal do que deveria. Este problema é normalmente rapidamente corrigido através da adição de mais frases à intenção relevante na configuração da PNL.

Análise personalizada Chatbot Analytics

Como a análise personalizada pode abordar questões comuns com a experiência chatbot

Muitas vezes é necessária uma análise personalizada para diagnosticar um problema. Pode ser, por exemplo, que seja necessário incorporar feedback explícito no fluxo da conversa para se poder identificar problemas.

A análise personalizada é também de particular interesse quando o bot é um chatbot mais personalizado.

Abordagem Simples vs. Abordagem Complexa Chatbot

Se um chatbot é simples, por exemplo, leva um utilizador através de algum tipo de árvore de decisão, e existe um problema de utilização, pode ser fácil identificar o problema apenas a partir das estatísticas genéricas de utilização. A análise pode indicar o ponto na conversa de chatbot onde os utilizadores perderam o interesse e abandonaram a conversa ou pode indicar a quantidade de tempo gasto no bot antes do utilizador o abandonar e, em ambos os casos, isto pode indicar um problema com o fluxo ou com o caso de utilização do bot em geral.

Se o bot for mais complicado, ou seja, se tiver uma lógica personalizada, as estatísticas genéricas não irão contar a história completa. Podem ser capazes de lhe dizer que o utilizador abandona, mas não serão capazes de lhe dizer porque é que o utilizador abandona.

Imagine como um exemplo simples. Constrói-se um chatbot para ajudar as crianças a aprender os seus horários. Uma abordagem básica pode ser que as crianças escolham a tabela de horários em questão e o bot randomize as perguntas relativas à tabela de horários escolhida. O problema aqui é que as crianças que aprendem os horários estão a níveis diferentes e, por conseguinte, a taxa de envolvimento bem sucedido pode cair se as perguntas forem demasiado difíceis no início ou mesmo num ponto posterior das interacções.

Para o apanhar, precisamos que a análise reflicta também a dificuldade das perguntas entre outras coisas (e idealmente ajustar automaticamente o nível). Isto precisa de ser incorporado na análise personalizada. E isto só pode ser feito se a plataforma de construção de chatbot suportar análises personalizadas (ou mais ao ponto, acrescentando facilmente análises personalizadas).

Uma vez que a análise personalizada esteja disponível, os criadores podem usar o conhecimento accionável adquirido para implementar uma abordagem sofisticada, tal como a utilização de um algoritmo para fazer corresponder o nível da criança às perguntas feitas para maximizar a retenção do utilizador no jogo.

Teste A/B para Chabot Analytics

Isto leva-nos a um assunto crítico e relacionado com a análise personalizada e que é o teste A/B. Com qualquer software, é difícil saber no início o que pode funcionar melhor em termos de funcionalidade, gráficos e conteúdo e a única forma de saber definitivamente é testar diferentes alternativas A/B.

Isto também é verdade para chatbots . A análise personalizada precisa de ser ligada a um motor de teste A/B dentro da plataforma de construção de chatbot. Claro que, dentro da própria plataforma bot é importante não só ser capaz de gerar e etiquetar análises personalizadas, mas também de definir testes A/B dentro do fluxo de conversação.

Funções dos membros da equipa para Chatbot Analytics

O patrocinador, gestor e criador do chatbot são todos responsáveis por ajudar a definir as análises necessárias. Tal como mencionado, a análise personalizada depende pelo menos dos casos de utilização abordados pelo bot.

O patrocinador está claramente interessado na adopção da interface de conversação e na tentativa de resolver quaisquer impedimentos à adopção ou quaisquer outras questões que possam ter um impacto negativo nos níveis de satisfação dos utilizadores.

Quais são as métricas de desempenho essenciais para a análise de chatbot?

De um ponto de vista analítico genérico de chatbot, as empresas chatbot estariam interessadas nas seguintes métricas chave de chatbot e KPIs:

• Número de interacções (nós) Número de fluxos
• Duração do Chat
• Percentagem de declarações mal compreendidas/entendidas
• Mapa Word das declarações
• Mapa Word de declarações mal entendidas
• Lista de consultas de utilizadores incompreendidos
• Número de fluxos iniciados
• Número de repetição do fluxo
• Ranking dos fluxos por uso
• Ranking dos fluxos por declarações mal compreendidas
• Número de tomadas de controlo humanas
• Número de logins
• Número de finalizações bem sucedidas
• Número de utilizadores repetidos
• Número de utilizadores activos por período
• Número de logins
• Percentagem de activos a nomeados/utilizadores

Podem estar interessados em analisar as estatísticas acima em períodos específicos ou em utilizar outros filtros, como é óbvio.

Como é que os programadores utilizam dados analíticos personalizados de chatbot para melhorar as interacções de chatbot?

Em termos de análises personalizadas, podem estar interessados em feedback que normalmente é introduzido manualmente como um nó no fluxo de conversação, especialmente nos pontos finais de cada fluxo (quer o resultado tenha sido bem sucedido ou não). Poderiam estar interessados na classificação dos fluxos através da classificação do feedback.

Para o exemplo que demos de um chatbot de tabela de tempos, podem estar interessados em ver se existe alguma correlação entre o nível de dificuldade e o compromisso (número de nós atravessados).

Os gestores de bot estão naturalmente interessados nas estatísticas acima referidas, mas estão também interessados em assegurar o bom funcionamento do bot. Podem exigir análises sobre o desempenho do bot através de diferentes dispositivos e estatísticas sobre a disponibilidade do bot. Houve algum problema de infra-estrutura ou de segurança?

Podem estar interessados não só no comportamento da base de utilizadores, mas também no comportamento dos super utilizadores, tais como a frequência com que actualizam o conteúdo ou modificam o fluxo. Este tipo de informação poderia também ser obrigatória por razões de segurança.

É claro que também estariam interessados em informações relativas à progressão dos bots desde o desenvolvimento, à encenação, aos ambientes de produção, e estatísticas sobre lançamentos dos desenvolvedores, etc.

Os promotores estão interessados em tudo o que foi dito acima, na medida em que podem utilizar a informação para melhorar a sua empresa chatbots . É claro que estariam interessados em estatísticas que identificassem bugs, tais como as estatísticas resultantes do processo de testes que terão testes especiais para bots, tais como testes para o sucesso da PNL. Na prática, porém, os criadores e super utilizadores estão mais envolvidos na implementação de análises personalizadas do que na sua monitorização.

Conclusão - O Futuro da Chatbot Analytics

Mencionei brevemente que a integração da análise na funcionalidade do bot é fundamental para o sucesso da construção do bot. Os testes A/B precisam de integrar análises personalizadas e depois podem usar um algoritmo simples para optimizar a conversa. Uma integração mais complexa pode ser utilizada para optimizar o desempenho do bot, tal como a optimização mencionada anteriormente para assegurar que a dificuldade do bot de calendário (ou, mais realisticamente, um jogo mais complexo) seja optimizada.

Muitas grandes empresas de software, tais como Google, Microsoft, e IBM oferecem serviços de análise de chatbot. Embora estes serviços possam facilmente fornecer análises genéricas, o que eu defendi claramente é que para obter o pleno benefício das análises, as análises precisam de ser personalizadas e firmemente acopladas à funcionalidade do bot de uma forma diferente do software não-conversa, como por exemplo websites. Por conseguinte, é essencial que a estrutura de chatbot utilizada permita aos programadores a personalização do painel de administração.

‍