潜在客户和用户向我们提出的最常见问题之一是:"你们的意图分类器在哪里?
我们没有是的,这是故意的
Botpress LLMs 来识别用户意图。为什么?这对人工智能代理的构建者和用户来说都好得多。
我们对这一立场深有感触,因此我想花几分钟时间来解释一下我们不使用意图分类器的原因。
总之,它更容易构建、更准确、更易于维护。
旧时代(LLM 前)
(如果您熟悉意图分类器及其作用,请跳过本节)。
意图分类器是一种根据训练数据将用户输入归类为预定义意图的工具。
开发人员必须为每种可能的意图策划和标注无数的示例,希望系统能将用户输入与这些示例相匹配。
例如,对于电子商务聊天机器人,开发者可以定义一个类似 "跟踪订单 "的意图。其示例语句可能包括"我的包裹在哪里?""跟踪我的订单 "和 "您能帮我检查一下送货状态吗?
他们基本上是通过举例来训练人工智能代理识别用户的意图。是的,他们必须手工输入所有这些例子。
幸运的是,随着LLMs 变得越来越先进,这种将可能的语音与意图进行人工映射的需要几乎消失了。
但仍有很多对话式人工智能平台在使用它们。为什么呢?我们会说到这一点。
4 意向分类器的缺点
这不仅仅是因为流程较长--意图分类器之所以糟糕,原因有很多。以下是几个原因:
1.数据依赖性
意图分类器对数据要求很高。它们需要一个庞大的、具有代表性的用户示例数据集,才能准确地处理每种意图。没有数据集,它们很难对输入进行正确分类。
建立这些数据集是一项艰巨的任务。开发人员要花费无尽的时间来收集和标注示例,毫无疑问,这并不能很好地利用他们的时间。
2.可扩展性有限
意图分类器也不适合扩展。添加新的意图意味着要收集更多数据并重新训练模型,这很快就会成为开发的瓶颈。Plus此外,它们在维护方面也令人头疼--因为随着语言使用的演变,语篇也会发生变化。
3.语言理解能力差
意图分类器缺乏真正的语言理解能力。它们难以应对语言中的各种变化,例如:
- 同义词
- 转述
- 措辞含糊不清
- 错别字
- 不熟悉的口语表达
- 零散的投入
他们通常也是孤立地处理每一句话,这意味着他们缺乏在整个对话过程中保持语境的能力。
4.过度拟合
意图分类器很容易出现过度拟合,即记忆训练实例,而不是学习一般模式。
这意味着,它们在处理已见过的精确短语时表现出色,但在处理新的或不同的输入时却很吃力。这使得它们比专业用例更加脆弱。
LLMs 更好的 6 个理由
LLMs 几乎解决了这些问题。它们能理解上下文和细微差别,开发人员不需要向它们灌输训练数据就能让它们开始工作。基于LLM 的代理从创建的那一刻起就可以开始对话。
1.零镜头学习能力
LLMs 不需要实例来学习。广泛的预培训意味着它们已经理解了上下文、细微差别和意图,而不需要开发人员向它们提供具体的示例。
2.一种叫做细微差别的小东西
LLMs 意向分类器的不足之处。它们可以轻松解读成语、讽刺和模棱两可的语言。
他们在各种数据集上接受过广泛的培训,因此有能力把握人类交流中的细微差别,而这些细微差别往往会被意图分类器所忽略。
3.更好的背景
LLMs 不会忘记谈话内容。他们会记住之前说过的话,从而使互动自然流畅,感觉更加连贯。
这种语境还能帮助他们消除歧义。即使输入的信息模糊或复杂,他们也能通过观察更广泛的对话将其拼凑起来。
4.可扩展性
LLMs 在扩展方面的能力是 100% 的。得益于对语言的广泛理解,他们不需要重新接受培训就能处理新的主题。
这使得它们几乎可以处理任何开箱即用的用例。对于多代理系统来说,使用LLM 而不是意图分类器是最简单不过的了。
5.灵活性
LLMs 不依赖死板的模板。它们的灵活性意味着回复感觉自然、多变,完全符合对话的需要。对用户来说,它们比脆性的意图分类器体验更好。
6.训练数据较少
LLMs 不需要特定任务的标注数据就能完成工作。它们的威力来自于对不同文本的大量预训练,因此它们不依赖于煞费苦心的注释数据集。
如果需要,开发人员可以随时为自己的项目定制LLM。例如,LLMs 只需最少的数据即可进行微调,因此可以快速适应专门的使用案例或行业。
其他公司为什么使用意图分类器?
问得好。如果LLMs 在意图分类方面如此出色,那么为什么还有这么多公司在使用意图分类器呢?
答案并不漂亮,说出来也不是最外交辞令:这是传统技术的问题。
大多数公司在使用意图分类器方面都有既得利益。他们已经建立了巨大的安装基础,并在此基础上运行。他们没有理由劝阻用户放弃他们建立的系统。
但Botpress 是LLM-first
LLMs 比老式的意图分类器更擅长识别意图。这就是我们从头开始重写,在 2020 年成为LLM 第一的原因。
我们知道更好的技术已经到来,因此我们没有固守传统技术,而是投资于飞跃。
我们会增加意图分类器吗?
不,我们太在意我们的建设者和他们用户的体验了。
意向分类的未来
意图分类器已成为过去式。这就是为什么我们全力开发LLMs 的原因。
随着LLMs 的不断完善,建立在Botpress 上的人工智能代理也将不断完善。我们已经做好准备,并很高兴能不断提高人工智能对话的水平。
如果您正在构建由LLMs 支持的灵活的人工智能代理,请随时在Botpress 上开始构建。这是免费的。