聊天机器人分析是您的聊天机器人通过与人互动产生的实时数据。这些数据非常有用,能为您的业务带来巨大价值。
我应该如何选择聊天机器人分析平台?
聊天机器人分析是提高聊天机器人性能和整体客户体验的重要工具
对于管理员来说,第一套重要的聊天机器人分析是通用使用统计。关键指标包括聊天机器人是否被使用、在哪些设备上使用、使用频率如何、用户体验如何、留存率如何、特定时间内的跳出率如何等。这些都是您可以从网站聊天机器人分析工具中获得的宝贵信息。
所有chatbots 在使用 自然语言处理时都需要的其他通用统计数据包括会话分析,如被误解的短语、最常用的词语、人工干预/升级事件的数量等。
说到上述统计数据,重要的是不仅要测量这些数据,还要将其整合到软件中,使聊天机器人更好地与用户互动。例如,在 设置 NLP时,可以将误解的短语自动添加到与特定意图相关的短语列表中,这样机器人就能开发出更好的对话流程。重要的是,管理员或更有可能是支持代理有简单的方法来添加和验证这些类型的短语,这样机器人就能快速改进。
不要低估自定义访问聊天机器人分析的重要性
虽然上述所有通用分析都很重要,但事实证明,在很多情况下,自定义访问聊天机器人数据更为重要。在聊天机器人推出和试运行时尤其如此。这是因为在聊天机器人项目的初期,发起人急于展示其采用和使用情况。因此,他们会努力确保向试点用户充分推销机器人,如果他们的工作做得正确,统计数据就会显示出良好的使用率和聊天机器人的成功。这部分也是因为聊天机器人平台对用户来说是一个新产品,他们可能会在使用之初感到好奇,这可能会人为夸大使用统计数据。
然而,聊天机器人管理员最关心的是机器人使用出现问题的迹象,这些迹象表明机器人的使用可能并不像最初的统计数据显示的那样强劲。即使统计数据清楚地表明存在使用问题,赞助商也想知道为什么会出现使用问题。
通过通用分析,问题很容易被发现和解决。例如,在开始时,NLP 设置往往没有达到应有的全面性,因此机器人会误解更多内容。通常情况下,只要在 NLP 设置中为相关意图添加更多短语,就能迅速纠正这一问题。
自定义聊天机器人分析
自定义分析如何解决聊天机器人体验中的常见问题
诊断问题通常需要定制分析。例如,可能需要在对话流程中建立明确的反馈,以便能够发现问题。
当机器人是一个更加个性化的聊天机器人时,自定义分析也特别重要。
简单方法与复杂方法聊天机器人
如果聊天机器人很简单,比如它带用户通过某种决策树,但出现了使用问题,那么仅从一般的使用统计数据就很容易找出问题所在。分析结果可以显示用户在聊天机器人对话中失去兴趣并放弃对话的时间点,也可以显示用户放弃对话前在机器人上花费的时间,在这两种情况下,都可以显示流程或机器人用例的整体问题。
如果机器人比较复杂,即具有自定义逻辑,那么通用统计数据就无法说明全部情况。它们也许能告诉你用户放弃的时间点,但无法告诉你用户放弃的原因。
举个简单的例子。您创建了一个聊天机器人来帮助儿童学习他们的时间表。一种基本方法是,孩子们选择相关的时表,然后机器人随机提出与所选时表相关的问题。这里的问题是,学习时间表的儿童处于不同的水平,因此,如果他们在开始时甚至在互动的后期发现问题太难,成功参与率可能会下降。
要了解这一点,我们需要分析结果也能反映问题的难度等(最好能自动调整难度)。这需要内置到自定义分析中。而这只有在聊天机器人构建平台支持自定义分析的情况下才能实现(或者更确切地说,可以轻松添加自定义分析)。
一旦有了自定义分析,开发人员就可以利用所获得的可操作的洞察力来实施复杂的方法,例如使用算法将儿童的水平与所提问题相匹配,从而最大限度地提高用户在游戏中的留存率。
针对 Chabot Analytics 的 A/B 测试
这就引出了与定制分析相关的一个重要课题,即 A/B 测试。对于任何软件来说,一开始都很难知道什么在功能、图形和内容方面最有效,唯一能确定的方法就是对不同的替代方案进行 A/B 测试。
chatbots 也是如此。自定义分析需要与聊天机器人构建平台内的 A/B 测试引擎相连。当然,在聊天机器人平台中,不仅要能生成和标记自定义分析,还要能在对话流中定义 A/B 测试。
聊天机器人分析团队成员角色
聊天机器人的发起人、管理者和开发者都有责任帮助定义所需的分析。如前所述,自定义分析至少取决于聊天机器人所处理的用例。
显然,发起人对采用会话界面很感兴趣,并试图解决采用过程中遇到的任何障碍或可能对用户满意度产生负面影响的任何其他问题。
聊天机器人分析的基本性能指标是什么?
从一般聊天机器人分析的角度来看,聊天机器人公司会对以下关键聊天机器人指标和 KPI 感兴趣:
- 互动次数(节点) 流量次数
- 聊天持续时间
- 被误解/理解的陈述所占百分比
- 语句字图
- 被误解语句的词汇图
- 被误解的用户查询列表
- 启动的流量数
- 重复流动次数
- 按使用情况排列的流量
- 按被误解的说法对流量进行排序
- 人类接管次数
- 登录次数
- 成功完成的次数
- 重复用户数量
- 每期活跃用户数量
- 登录次数
- 活跃用户占已命名/用户的百分比
当然,他们可能有兴趣查看特定时期的上述统计数据或使用其他筛选器。
开发人员如何使用自定义聊天机器人分析数据改进聊天机器人互动?
就自定义分析而言,他们可能会对通常作为对话流程节点手动输入的反馈意见感兴趣,尤其是在每个流程的终点(结果是否成功)。他们可能会对按反馈评级进行的流程排名感兴趣。
对于我们举的乘法表聊天机器人的例子,他们可能想知道难度和参与度(遍历节点数)之间是否存在关联。
机器人管理员当然对上述统计数据感兴趣,但同时也希望确保机器人的顺利运行。他们可能需要分析机器人在不同设备上的性能,并统计机器人的可用性。是否存在任何基础设施或安全问题?
他们可能不仅对用户群的行为感兴趣,还对超级用户的行为感兴趣,例如他们更新内容或修改流量的频率。出于安全考虑,这类信息也可能是强制性的。
当然,他们也会对机器人从开发环境、暂存环境到生产环境的进展信息,以及开发人员发布的统计数据等感兴趣。
开发人员对上述所有信息都很感兴趣,因为他们可以利用这些信息将企业chatbots 做得更好。当然,他们也会对识别错误的统计数据感兴趣,例如测试过程中产生的统计数据,其中会有针对机器人的特殊测试,如测试 NLP 是否成功。但实际上,开发人员和超级用户更多参与的是实施自定义分析,而不是对其进行监控。
结论--聊天机器人分析的未来
我曾简要提到,将分析整合到机器人功能中对于成功构建机器人至关重要。A/B 测试需要集成自定义分析,然后可以使用简单的算法来优化对话。更复杂的集成可用于优化机器人的性能,例如前面提到的优化,以确保优化时间表机器人(或更现实的更复杂的游戏)的难度。
谷歌、微软和 IBM 等许多大型软件公司都提供聊天机器人分析服务。虽然这些服务可以轻松提供通用分析,但我想说的是,要想获得分析的全部好处,就必须对分析进行定制,并与聊天机器人的功能紧密结合,这一点与网站等非对话软件不同。因此,聊天机器人框架必须允许开发者定制管理面板。