- 人在回路(HITL)将人工监督与人工智能系统相结合,以提高准确性。
- 人类通过注释数据、审查人工智能输出、处理升级和指导模型改进来进行干预。
- HITL 可提高可靠性,减少偏差,实现持续学习,并使人工智能系统更加透明。
- 使用案例涵盖自动驾驶汽车、零售机器人、金融风险检查和医疗决策。
如果您正在考虑利用人工智能改善业务,那您并不孤单。随着人工智能聊天机器人成为增长最快的通信渠道,它们不再是奢侈品,而是人们的期望。
但是,放弃控制权会让人感觉有点害怕。将关键操作卸载给所谓的 "黑盒算法",感觉就像是一次信念的飞跃。
的确如此,这也是企业依靠人工干预来引导人工智能的原因。几乎所有的人工智能代理框架都包含人在回路中--人类对人工智能操作的监督。

在本文中,我将解释它是什么、如何工作,并举例说明如何每天使用人工干预让用户对人工智能聊天机器人和代理有更多控制权。
什么是 "人在回路中"?
人在回路(HITL)是人工智能的一种协作方法,利用人类的输入来改进或扩展人工智能的能力。其形式可以是人工标注数据、修正模型输出,或者在人工智能不确定或被认为无效的情况下由人类执行完整的任务。
这个词可能有点模棱两可。从技术上讲,它指的是人工智能应用生命周期中的任何人工参与--从数据标注和模型评估到主动学习和升级。
在实践中,当人工智能提供商提供 HITL 功能时,通常意味着对人工智能输出的监督:有机会审查回复并将聊天机器人互动升级到人工代理。
人类如何 "参与 "人工智能?
一个运转良好的人工智能管道将为人类提供多个入口。
人工智能的训练目的是发现训练数据中的模式,然后将这些模式泛化到新的、未见过的数据中。我们可以决定模型看到哪些数据,但不能决定它从数据中得出哪些模式。
在数据收集、培训和部署过程中的每一步,都要由人来确保模型按预期运行。
根据这种人为干预发生的地点和方式,它可以属于以下任何一类:
为持续学习提供反馈
你知道ChatGPT 问你两个回答哪个更好吗?反馈可以作为模型训练的新数据。

不过,反馈不一定要明确。
想想社交媒体推荐。预测模型会根据你的历史记录不断推荐内容。当您使用该平台时,您选择的内容将作为数据不断训练推荐模型。
在这种情况下,你就是人类。在使用该应用时,您将成为未来推荐的指南。
这就是问题的关键所在:模型根据数据进行训练,用户与模型进行交互,这些交互反过来又产生数据,模型再次根据这些数据进行训练。
处理升级情况
HITL 不一定是为了改进系统。有时,它是为了将棘手的案件交由人工处理。
考虑一下客户支持聊天机器人。它能清晰、简洁、准确地回答 95% 的问题,从而减轻团队的大量工作。
但还有那 5%。
有些情况非常特殊或晦涩难懂,人工智能无法胜任。虽然在这种情况下,人工干预并不能改进模型,但这却是人类与机器学习共生合作的一个很好的例子。
为训练数据添加注释
从技术上讲,几乎所有的机器学习都采用了 HITL 机制。因此,当我们谈论 HITL 时,我们主要指的是上述类别。
尽管如此,我还是要提醒大家注意机器学习环节中的人力和专业知识。
数据是人工智能的支柱,它依赖于人类。人工智能模型经过训练,可以根据输入数据预测标签。标签是人工智能的预期输出,而我们人类则负责制作标签。
人类标签的例子包括
- 手写回复 提示,训练大型语言模型LLMs)
- 为语音识别模型转录音频文件。
- 注释图像中的物体,用于物体检测模型
- 为电子邮件客户端的垃圾邮件检测器将样本邮件标记为垃圾邮件或非垃圾邮件
评估模型性能
建立人工智能模型的大部分时间都花在了如何让模型变得更好上。虽然您可以计算出无穷无尽的指标,如精确度和召回率,但要弄清模型是如何工作的,更重要的是要弄清该怎么做,这需要专家的洞察力。
例如,研究人员可能会注意到,该模型在识别狗的图片方面表现出色,但在识别热狗方面却不行。这通常可以通过增加或丰富热狗图片来解决。
有时,聊天模型在记忆之前信息时会遇到困难。研究人员一般会通过对模型结构或生成方法进行低级调整来解决这个问题。
人在回路中的人工智能的优势
人工智能在识别微妙的模式方面可能无比高效和有效,但人是聪明的。
HITL 是将人类的细微差别与人工智能工作流程自动化的效率相结合,从而根据用户和提供商所寻求的体验量身定制响应。
1.准确性和可靠性
这个问题不难回答。有什么比普通人工智能更好?经过修正的人工智能。
它不仅在处理边缘情况方面进行了优化,而且还很可靠,因为用户知道输出结果将不断得到审查和改进。

2.减少偏差
数据是不完美的,模型输出也会反映出这一点。偏差--偏向于某些输出而不是其他输出--是机器学习和人工智能的一个问题。
比如生成带有种族色彩的图像,或根据性别确定工作资格,这些都是人工智能反映训练数据中存在的偏见的例子。
HITL 可让人们发现这些问题,并引导该模式取得更公平的结果。
3.持续改进和适应性
模型投入生产后,训练并没有结束。HITL 可让模型继续在新数据上进行训练,以便更好地泛化未见案例。
例如,编辑生成的文本或跟踪用户的内容选择可提供更多数据,供模型用于改进。
但仅仅改进模式是不够的,还应该改变模式。
我们很容易想当然地认为,我们正在以各种方式适应瞬息万变的世界。对于人工智能来说,这并非理所当然。HITL 将专业知识与细致入微的判断相结合,使模型的输出与时俱进。
4.透明度和信任
人类的参与让人工智能的决策更加透明。通过人工智能纠正输出或解决低确定性案例,用户可以放心,他们是在与一个合理的算法进行交互。
它能让我们控制人工智能,而不是相反。
人在回路中的使用案例
1.自动驾驶

未来十年,自动驾驶的市场价值预计将达到3.9USD ,它可能会成为人工智能的下一个重要领域。它利用物体检测模型和每时每刻的决策来模拟人的驾驶。
但是,对于这样一个 "不干预 "的系统来说,它在很大程度上依赖于人类。模型不断观察人类的驾驶模式,并将他们的决策与自己的预测进行比较。
2.零售业
零售聊天机器人是实现客户互动自动化的绝佳方式,同时还能提供个性化体验。HITL 可以让您保持流畅的体验,并与您的业务保持一致。例如,您可以
- 审查并纠正机器人的产品建议
- 在派遣人工座席之前,先让客户说明其基本需求
3.财务
金融聊天机器人是实现人工智能自动化与人类专业知识对接的绝佳方式。
欺诈检测系统能很好地识别交易中的可疑活动。但并不是所有可疑活动都是邪恶的,你也不希望每次更换咖啡订单时你的卡都被注销。
HITL 可以将低确定性、低风险的病例交给人类处理。
贷款风险评估是人工智能的另一个优势领域--它擅长计算各种看似无关数据的概率。不过,这些数据几乎肯定会包含一些偏差。
维护公平和减少偏见往往需要真人的帮助。
4.医疗保健

克劳德拯救了Reddit 用户的生命,他将成为第一个倡导人工智能在医疗保健领域的潜力的人。
医疗人工智能聊天机器人已经展示了它的一些潜力,但还远不止于此:人工智能可以根据核磁共振成像读数帮助确定诊断,或根据检查结果建议后续治疗。但我还没准备好放弃医生。
HITL 提供了两全其美的方案:既能发现医生可能遗漏的病例,又能让他们做出最终决定。
现在就使用人工智能
Botpress 部署了成千上万个机器人,可实现无缝人工监督,是市场上最灵活的人工智能代理平台。
Botpress 集成了 HITL、可视化拖放生成器,并可部署到所有流行的通信渠道(包括Slack、Telegram、WhatsApp 和 Web),因此使用人工智能并不意味着放弃个人风格。
今天就开始建设。它是免费的。
常见问题
如何判断人工智能系统是否需要人工参与?
如果您的人工智能系统需要处理高风险决策,经常遇到模棱两可或罕见的情况,有可能产生有偏见或有害的输出,或者在绝对准确性和人类判断对合规性或客户信任至关重要的领域运行,那么它很可能需要人类的参与。
在非技术性业务流程中能否使用 "人在回路中",还是只能在人工智能模型中使用?
环中有人可以用于非技术性业务流程,如审查客户投诉或审核内容,因为这意味着在任何自动化工作流程中插入人的判断,而在这些流程中,仅靠机器决策可能是不够的。
使用 "人在回路中 "是否意味着我的人工智能系统不够先进?
使用 "人在回路中 "并不意味着人工智能系统不够先进。它表明你将人工智能的速度和模式识别与人类对细微决策的判断相结合,优先考虑了安全性和公平性,而这往往是至关重要的。
人在环路中的人工智能对小型企业来说是否具有成本效益,还是只适用于大型企业?
对于小型企业来说,人工智能的成本效益越来越高,因为现代工具可以让您有选择性地让人工参与棘手的案件,从而最大限度地降低人力成本,同时还能提高准确性和信任度,而不需要庞大的员工队伍。
在人工智能系统中增加人环流程的成本是多少?
如果您偶尔使用内部员工,那么增加人工环路流程的成本可能极低;如果您需要专门的审核人员或专业承包商,那么成本可能会很高,达到每月数百或数千dollars ,成本主要取决于人工必须处理的任务量和复杂性。