如何构建阿拉伯语AI聊天机器人

阿拉伯语聊天机器人是一种能够理解和分析阿拉伯语内容的程序。如今，我们可以模拟并处理计算机与人类之间用阿拉伯语进行的对话。

近期自然语言处理技术（NLP）的突破，使得创建阿拉伯语聊天机器人变得简单。全新的阿拉伯语AI聊天机器人技术通过机器学习，既能理解语言结构，也能理解词语的“含义”。

创建阿拉伯语AI聊天机器人

阿拉伯语是互联网上使用人数排名第四的语言，但对非母语者来说却是最难学的语言之一。

这是因为它在多个方面与大多数语言不同。

• 它的书写方向是从右到左。
• 它使用自己独特的字符集，其他语言的使用者难以辨认。
• 书写时省略元音，语法结构复杂且丰富，例如，许多情况下代词直接嵌入词语中。
• 它比大多数其他语言更灵活，句子结构不遵循英语常见的主谓顺序。
• 所有这些都让阿拉伯语更难学习，也导致比其他常见语言更高的歧义风险。
  

除此之外，阿拉伯语还有许多不同的形式和方言。这些形式和方言彼此相关，但并不互通。实际上，一个方言的使用者往往无法理解另一种方言，从实际效果来看，它们就像不同的语言。
‍
所有这些因素都意味着阿拉伯语对人类来说更难学。
‍
那么，这是否也意味着机器学习阿拉伯语更难？毫不意外，答案是肯定的。

阿拉伯语聊天机器人：自然语言处理的挑战

上述所有因素都为阿拉伯语自然语言处理（NLP）带来了挑战。任何自然语言处理算法的第一步都是理解语言本身，也就是将句子分解为独立的意义单元。这个任务正式名称叫做“分词”，每个独立的意义单元称为一个“词元”。

语言越有规律、越系统化，分词就越容易。

正是那些让阿拉伯语对人类难学的挑战，也让阿拉伯语比大多数其他常见语言更难分词。

在理解最新突破的重要性之前，我们需要先了解过去NLP语言模型是如何构建的。

过去

分词的工作需要NLP研究人员大量手动干预。每种语言都必须独立、基本上是手动分词。

可以想象，这项工作对阿拉伯语机器人来说尤其困难。

一旦完成分词，AI算法就可以用于理解语言，也就是建立词语之间意义关系的映射。

如果分词足够可靠，这一步可以自动化。但问题在于，阿拉伯语的分词非常棘手，因此即使是理解算法也需要与分词一起手动配置。

最终的效果并不好。阿拉伯语的理解水平与英语相比很差。当然，研究重点一直更多放在英语上，这也是原因之一，但语言本身的难度让取得好结果几乎不可能。

正如AI研究人员常做的那样，他们开始思考分词是否可以通过机器学习来完成。这将使分词和理解算法对底层语言无感（即“语言无关”），从而大大加快并提升AI对新语言的训练效果。

阿拉伯语对话式AI的最新突破

最终，突破出现在2018年末。AI可以在无需人工干预的情况下用阿拉伯语进行训练，NLP的表现因此大幅提升。

阿拉伯语聊天机器人平台的表现也随之提升，机器人对阿拉伯语的理解能力达到了与其他语言相当的水平。

但这一突破的出现，并不意味着阿拉伯语聊天机器人的质量立刻提升。

要让客户真正体验到这些好处，第一步是聊天机器人AI平台需要更新算法，采用最新技术。考虑到他们对旧技术的投入，这一转变并非一蹴而就。

此外，平台还需具备多项功能，确保阿拉伯语聊天机器人为终端用户带来良好体验。例如，用户界面需要适配阿拉伯语，这可能只是确保聊天内容对齐正确、按钮顺序显示合理等简单调整。

为什么多语言平台很重要

在不同平台上处理多种语言可能很困难。有些平台要求为不同语言分别创建机器人，这显然非常低效。

优秀的平台应当真正支持多语言，允许在平台用户界面内为所有内容提供多种翻译。

此外，语言需要作为对话的一个变量进行跟踪，以便AI能够准确识别语言，设计者也能基于语言设计逻辑。

除了与语言相关的功能外，要打造出色的聊天机器人，平台的整体功能也必须出色。这里有两类重要的功能。

• 第一类是通用的NLU技术。高性能平台不仅要做到语言无关，底层NLU还要采用最新技术，并且整体表现良好。平台还应具备与NLU相关的功能（如高级槽位填充和基于上下文的意图匹配）。
  ‍
• 第二类是平台的通用功能。它应让设计者能够轻松为终端用户打造极佳的聊天机器人体验，包括便捷地与第三方系统集成。如果功能不全或难以使用，那么是否支持阿拉伯语也就无关紧要了。
  ‍

归根结底，为终端用户打造的聊天机器人体验质量，直接取决于所用工具的强大程度，从语言理解到图形界面都很重要。

在阿拉伯世界，企业往往还要求本地部署的阿拉伯语聊天机器人。这在选择平台时显然需要考虑。本地部署的阿拉伯语聊天机器人需要用支持本地部署的阿拉伯语机器人平台来构建，不仅要有本地化的UI，还要在本地部署完整的NLU引擎和训练好的语言模型。

打造最佳阿拉伯语聊天机器人

即使有了优秀的平台，创建出色的阿拉伯语聊天机器人仍然面临挑战。AI领域的阿拉伯语人才有限，因此找到合适的资源参与项目并不容易。虽然无需自己编写底层NLU算法（这些平台已内置），但要找到能熟练掌握所有支持语言或方言的设计师也很难。因此，聊天机器人平台应允许非技术人员轻松更新和维护内容及翻译，因为设计师很可能并不精通所有支持的语言。

显然，高质量阿拉伯语聊天机器人逐步上线，意味着这项技术的应用将不断增长。随着应用普及，资源短缺的问题将得到缓解，潜在用户也能更清楚地了解最佳实践。

摘要

NLP技术的突破不仅适用于阿拉伯语聊天机器人，也适用于其他AI应用。我们现在看到多功能系统以不同方式应用阿拉伯语AI——从新闻情感分析到文本摘要或生成，这些以前只能由人类完成。聊天机器人常常被用作用户界面，不仅用于不同的AI技术，还用于帮助终端用户操作其他系统的界面，例如网站或网页应用。

当然，尽管阿拉伯语NLU能力有了巨大飞跃，但仍有提升空间。相关研究仍在继续，NLU引擎会变得更强大，未来必将有新的突破。在NLU达到人类水平之前，总会有改进的空间。

所有NLU引擎的下一个目标，无论语言如何，都是更好地处理多轮对话。这意味着让用户能在特定话题领域与机器人进行多步交流，而不仅仅是单次指令或提问。相应地，聊天机器人平台也要让多轮对话的创建变得简单。

多轮对话对语音界面（如Alexa）尤为重要。

虽然我们一直在讨论机器学习驱动的分词及其对阿拉伯语NLP的影响，但相关话题还有阿拉伯语语音转文本。阿拉伯语的语音转文本仍落后于其他语言，但我们有理由相信，NLP领域的进步将有助于缩小这一差距。