¿Qué es la analítica de chatbot? Más información sobre análisis de chatbot y métricas clave de chatbot

La analítica de chatbot son los datos en tiempo real que su chatbot genera a través de su interacción con las personas. Estos datos pueden ser realmente útiles y presentan un gran valor para tu negocio.

¿Qué debo buscar en una plataforma de análisis de chatbots?

Los análisis de chatbot son una herramienta esencial para mejorar el rendimiento del chatbot y la experiencia general del cliente.

El primer conjunto de análisis del chatbot que es importante para los administradores son las estadísticas genéricas de uso. Métricas clave como si el chatbot se utiliza, en qué dispositivos, con qué frecuencia, cómo es la experiencia del usuario, cuál es la tasa de retención y cuál es la tasa de rebote en un período de tiempo determinado, etc? Este es el tipo de información valiosa que se puede obtener de una herramienta de análisis de chatbot para un sitio web.

Otras estadísticas genéricas que se requieren para todos los chatbots cuando se utiliza el procesamiento del lenguaje natural son las analíticas conversacionales, como las frases malinterpretadas, las palabras más frecuentes utilizadas, el número de incidentes de intervención/escalada humana, etc.

En lo que respecta a las estadísticas anteriores, es importante que no sólo se midan, sino que se integren en el software de forma que el chatbot mejore la interacción con el usuario. Por ejemplo, las frases malinterpretadas pueden añadirse automáticamente a la lista de frases asociadas a una determinada intención al configurar el NLP para que el bot desarrolle un mejor flujo conversacional. Es importante que los administradores o, más probablemente, los agentes de soporte tengan formas sencillas de añadir y validar este tipo de frases para que el bot mejore rápidamente.

No subestime la importancia del acceso personalizado a los análisis del chatbot

Aunque todos los análisis genéricos anteriores son importantes, resulta que, en muchos casos, el acceso personalizado a los datos del chatbot es aún más importante. Esto es especialmente cierto cuando el chatbot se está desplegando y poniendo a prueba. Esto se debe a que al principio de un proyecto de bot, los patrocinadores están ansiosos por demostrar la adopción y el uso. Por lo tanto, intentarán asegurarse de que el bot se comercializa adecuadamente entre los usuarios piloto y, si han hecho bien su trabajo, las estadísticas mostrarán un buen uso y éxito del chatbot. Esto también se debe en parte a que la plataforma de chatbot es un producto novedoso para los usuarios, que pueden sentir curiosidad por utilizarlo inicialmente, lo que puede inflar artificialmente las estadísticas de uso.

Sin embargo, lo que interesa a los administradores de chatbot son las señales de que hay problemas con el uso del bot que indican que el uso puede no ser tan sólido como indican las estadísticas iniciales. E incluso si las estadísticas indican claramente que hay un problema de uso, los patrocinadores quieren saber por qué se está produciendo ese problema.

El problema puede identificarse fácilmente y solucionarse con análisis genéricos. Al principio, por ejemplo, es muy frecuente que la configuración de PNL no sea todo lo exhaustiva que debería, por lo que el bot malinterpreta más de lo que debería. Normalmente, este problema se corrige rápidamente añadiendo más frases a la intención relevante en la configuración de PNL.

Análisis personalizados de Chatbot

Cómo los análisis personalizados pueden resolver problemas comunes con la experiencia del chatbot

A menudo se necesitan análisis personalizados para diagnosticar un problema. Por ejemplo, puede ser necesario incorporar comentarios explícitos en el flujo de la conversación para poder identificar problemas.

Los análisis personalizados también son de especial interés cuando el bot es un chatbot más personalizado.

Enfoque simple frente a enfoque complejo Chatbot

Si un chatbot es sencillo, por ejemplo, lleva a un usuario a través de algún tipo de árbol de decisión, y hay un problema de uso, puede ser fácil identificar el problema sólo a partir de las estadísticas genéricas de uso. Las analíticas podrían indicar el punto de la conversación del chatbot en el que los usuarios perdieron el interés y abandonaron la conversación o podrían indicar la cantidad de tiempo que pasaron en el bot antes de que el usuario lo abandonara y, en ambos casos, esto puede indicar un problema con el flujo o con el caso de uso del bot en general.

Si el bot es más complicado, es decir, tiene una lógica personalizada, las estadísticas genéricas no contarán toda la historia. Podrían decirte el punto en el que el usuario abandona, pero no podrán decirte por qué el usuario abandona.

Imagínese un ejemplo sencillo. Usted crea un chatbot para ayudar a los niños a aprender sus tablas de multiplicar. Un enfoque básico podría ser que los niños eligen la tabla de multiplicar en cuestión y el bot aleatoriza las preguntas relativas a la tabla de multiplicar elegida. El problema aquí es que los niños que aprenden los horarios están en diferentes niveles y, por lo tanto, la tasa de participación exitosa podría caer si encuentran que las preguntas son demasiado difíciles al principio o incluso en un momento posterior de las interacciones.

Para recoger esto necesitamos que los análisis también reflejen la dificultad de las preguntas, entre otras cosas (e idealmente que ajusten automáticamente el nivel). Esto debe incorporarse a los análisis personalizados. Y esto solo se puede hacer si la plataforma de creación de chatbot admite análisis personalizados (o, más concretamente, si es fácil añadir análisis personalizados).

Una vez que se dispone de los análisis personalizados, los desarrolladores pueden utilizar la información práctica obtenida para aplicar un enfoque sofisticado, como el uso de un algoritmo para adaptar el nivel del niño a las preguntas formuladas y maximizar así la retención del usuario en el juego.

Pruebas A/B para Chabot Analytics

Esto nos lleva a un tema crítico y relacionado con la analítica personalizada y es el de las pruebas A/B. Con cualquier software, es difícil saber al principio qué puede funcionar mejor en términos de funcionalidad, gráficos y contenido, y la única forma de saberlo definitivamente es probar A/B diferentes alternativas.

Esto también es válido para chatbots . La analítica personalizada debe estar vinculada a un motor de pruebas A/B dentro de la plataforma de creación de chatbot. Por supuesto, dentro de la propia plataforma de bots no solo es importante poder generar y etiquetar analíticas personalizadas, sino también definir pruebas A/B dentro del flujo de conversación.

Funciones de los miembros del equipo para Chatbot Analytics

El patrocinador, el gestor y el desarrollador del chatbot son los responsables de ayudar a definir los análisis necesarios. Como ya se ha mencionado, la analítica personalizada depende, como mínimo, de los casos de uso que aborde el bot.

El patrocinador está claramente interesado en la adopción de la interfaz conversacional y en tratar de resolver cualquier impedimento a la adopción o cualquier otro problema que pueda afectar negativamente a los niveles de satisfacción de los usuarios.

¿Cuáles son las métricas de rendimiento esenciales para el análisis de chatbots?

Desde un punto de vista genérico de análisis de chatbot, las empresas de chatbot estarían interesadas en las siguientes métricas y KPI clave de chatbot:

• Número de interacciones (nodos) Número de flujos
• Duración del chat
• Porcentaje de declaraciones malinterpretadas/entendidas
• Mapa de palabras de las declaraciones
• Mapa de palabras de frases malinterpretadas
• Lista de consultas erróneas de los usuarios
• Número de flujos iniciados
• Número de repeticiones de flujo
• Clasificación de los flujos por uso
• Clasificación de los flujos por declaraciones malinterpretadas
• Número de absorciones humanas
• Número de conexiones
• Número de finalizaciones con éxito
• Número de usuarios habituales
• Número de usuarios activos por periodo
• Número de conexiones
• Porcentaje de activos a nombrados / usuarios

Pueden estar interesados en consultar las estadísticas anteriores en periodos específicos o utilizando otros filtros, por supuesto.

¿Cómo utilizan los desarrolladores los datos de análisis de chatbot personalizados para mejorar las interacciones del chatbot?

En términos de análisis personalizados, podrían estar interesados en el feedback que normalmente se introduce manualmente como un nodo en el flujo de conversación, especialmente en los puntos finales de cada flujo (si el resultado ha sido satisfactorio o no). Podrían estar interesados en la clasificación de los flujos según la valoración del feedback.

Para el ejemplo que dimos de un chatbot de tabla de multiplicar, pueden estar interesados en ver si hay alguna correlación entre el nivel de dificultad y el compromiso (número de nodos recorridos).

Por supuesto, los gestores de bots están interesados en las estadísticas anteriores, pero también en garantizar el buen funcionamiento del bot. Pueden necesitar análisis sobre el rendimiento del bot en diferentes dispositivos y estadísticas sobre la disponibilidad del bot. ¿Ha habido problemas de infraestructura o de seguridad?

Podrían estar interesados no sólo en el comportamiento de la base de usuarios, sino también en el de los superusuarios, como la frecuencia con la que actualizan contenidos o modifican el flujo. Este tipo de información también podría ser obligatoria por motivos de seguridad.

Por supuesto, también estarían interesados en la información relativa a la progresión de los robots desde el desarrollo, a la puesta en escena, a los entornos de producción, y las estadísticas sobre los lanzamientos de los desarrolladores, etc.

A los desarrolladores les interesa todo lo anterior en la medida en que puedan utilizar la información para mejorar su empresa chatbots . Por supuesto, les interesan las estadísticas que identifican errores, como las que surgen del proceso de pruebas, que tendrá pruebas especiales para los bots, como las pruebas de éxito de PNL. En la práctica, sin embargo, los desarrolladores y superusuarios están más implicados en la implementación de análisis personalizados que en su supervisión.

Conclusión: el futuro del análisis de chatbots

He mencionado brevemente que la integración de la analítica en la funcionalidad del bot es fundamental para el éxito de la creación de bots. Las pruebas A/B necesitan integrar analíticas personalizadas y luego pueden utilizar un algoritmo simple para optimizar la conversación. Se puede utilizar una integración más compleja para optimizar el rendimiento del bot, como la optimización mencionada anteriormente para garantizar la optimización de la dificultad del bot de horarios (o, de forma más realista, de un juego más complejo).

Muchas grandes empresas de software, como Google, Microsoft e IBM, ofrecen servicios de análisis de chatbot. Aunque estos servicios pueden proporcionar fácilmente analíticas genéricas, lo que he defendido claramente es que, para obtener todo el beneficio de las analíticas, éstas deben personalizarse y acoplarse estrechamente a la funcionalidad del bot de un modo diferente al del software no conversacional, como los sitios web, por ejemplo. Por lo tanto, es esencial que el marco de chatbot utilizado permita a los desarrolladores personalizar el panel de administración.

‍