欢迎来到令人兴奋的多重代理世界！这些LLM 奇观正通过与人类并肩作战来解决复杂问题，从而彻底改变生产力。从起草报告到调试代码和管理数据中心，构建能有效协作的人工智能代理的能力代表着人工智能劳动力的未来。
如何衡量多代理系统的成功？评估 MAS（多代理系统）就像给接力赛打分一样，不仅要看单个选手的表现，还要看接力棒在他们之间传递得是否顺畅。
但在此之前
什么是多代理系统？
多代理系统包含多个人工智能代理，它们在一个共享环境中工作，以实现一个总体目标。这个目标可能需要每个代理做出贡献，也可能不需要。
为什么不把不同的系统提示传递给同一个代理呢？多代理系统允许多个代理独立工作，更系统、更高效地感知和决策，从而完成任务。
什么是多代理 Eval 系统？
多代理评估系统可以理解为用于评估代理系统行为的工具、包装或服务。
这些系统并不局限于延迟或令牌使用等定量评估。现代评估方法通过涵盖更多定性领域（如与源内容的一致性和语义相似性）的指标来深入了解代理行为。
评估 MAS 的乐趣（和挫败感
评估多代理系统（MAS）需要在管道的每一步都提出正确的问题。这些方面可以帮助您重新考虑或完善系统的代理设计：
1.合作与协调
你的代理是在友好相处，还是在虚情假意、混乱无序？例如，在数据库中，代理需要相互协作以避免冲突，如覆盖另一个代理正在使用的动态文件。
2.工具和资源的利用
代理对其掌握的工具的使用情况如何？如果您部署的是用于数据分析的 MAS，那么代理是否有效地分担了工作量，还是存在重复劳动？
3.可扩展性
添加更多的代理可以使系统成功，也可以使系统失败。是性能随着规模的扩大而提高，还是代理开始互相影响？如果代理重叠太多，就会占用宝贵的计算资源。
如何构建多代理评价系统？
要为多代理系统创建有效的评估框架，需要完成几项任务。下面介绍如何构建您的管道：
- 代理交互日志：跟踪每个决策、操作和通信，以便进行分析。
- 评估指标：定义代理互动的衡量标准和基准。
- 评估框架：选择正确的框架，开始实施评估。
1.代理交互日志
在评估多代理系统的一般任务中，需要保持代理层面的问责制。生成交互日志，显示每个代理的推理、行动和后果，可以促进系统的稳健性。
现在，此类日志可以包含时间戳、工具调用、生成的结果或内部对话。下面是一个使用Botpress 部署的代理的对话日志示例。
2.评估指标
评估 MAS 需要正确的指标和实用的工具来衡量性能。一旦日志准备就绪，就该决定评估什么了。以下是评估 MAS 的关键指标：
在评估此类系统时，必须重点关注反映其协作、工具使用和产出质量的指标。
3.评估框架
在选择框架以获取和编译指标时，您可以轻松找到大量开源库形式的资源。让我们来看看 DeepEval、TruLens、RAGAs 和 DeepCheck，它们是您可以用于评估的一些顶级框架：
一旦建立了评估框架，就该集中精力采取行动了。您收集到的指标和见解应指导您如何完善多代理系统：
- 调整协作协议：使用衡量标准调整代理互动和分担任务的方式。
- 加强资源分配：来自评估框架的数据可以突出工具使用或计算资源分配中的低效问题。
- 积极解决偏差问题：定期检查所提及的评估框架，确保 MAS 的产出公平公正。
.svg)
