LLM 代理完全指南 (2025)

1.语言模式 

语言模型通常被视为LLM 代理的 "大脑"。它的质量和规模直接影响LLM agent 的性能。

这是一种在庞大的文本数据集上训练出来的复杂算法，使其能够理解上下文、识别模式并生成连贯且与上下文相关的回复。

• 识别和学习语言模式
• 获得一定程度的情境感知能力（得益于其庞大的培训数据）
• 适应不同领域，处理广泛的主题

语言模型决定了回复的深度、准确性和相关性，这构成了代理语言能力的基础。 

2.内存

记忆指的是跨会话保留过去交互信息的能力，如事实、用户偏好或主题。 

这能增强代理对上下文的理解，并使对话更具连续性和相关性。 

在某些设置中，记忆功能允许代理长期保留信息。这支持长期互动，即代理从重复的用户行为或偏好中 "学习"--不过这通常会受到隐私和相关性方面的限制。

3.工具使用

其工具的使用将LLM 特工从对话转为行动。 

LLM 代理可与外部应用程序、数据库或应用程序接口集成，以执行特定功能。 

这意味着它们可以获取实时信息、执行外部操作或访问专业数据库，从而使其具备提供实时信息的能力。这包括

• 调用应用程序接口
• 调入实时数据，如天气更新或股票价格
• 安排会议或约会
• 查询数据库，如产品目录或人力资源政策文件

工具的使用使LLM 代理从一个被动的、以知识为基础的系统转变为一个能够与其他系统接口的主动参与者。

4.规划 

规划是LLM 代理人将复杂任务分解为一系列可管理步骤的能力。 

LLM 代理人可以在有反馈或无反馈的情况下制定计划。区别是什么？

• 没有反馈的规划意味着LLM 代理将根据其最初的理解制定计划。这种方法更快、更简单，但缺乏适应性。
• 带反馈的规划意味着LLM 代理可以根据环境的输入不断完善自己的计划。这种方法比较复杂，但灵活性要高得多，而且随着时间的推移还能提高性能。 

通过规划，LLM 代理可以创建逻辑流程，逐步实现解决方案，从而更有效地处理复杂的请求。

1.对话式代理（如客户支持和潜在客户开发）

这类代理与用户进行自然对话--它们通常提供信息、回答问题并协助完成各种任务。 

这些代理依靠LLMs 来理解和产生类似人类的反应。 

例如 客户支持代理和医疗聊天机器人

2.面向任务的代理（如人工智能助手和人工智能工作流）

这些代理以执行特定任务或实现预定目标为重点，与用户互动以了解他们的需求，然后执行行动来满足这些需求。

例如 人工智能助理和人力资源机器人

3.创意代理（如内容生成工具）

这些代理能够生成艺术品、音乐或写作等原创性和创造性内容，他们利用LLMs 了解人类的喜好和艺术风格，从而制作出能引起受众共鸣的内容。 

例如： 内容生成工具和图像生成工具（如Dall-E)

4.协作代理（如企业人工智能代理）

这些代理与人类一起完成共同的目标或任务，促进团队成员之间或人类与机器之间的沟通、协调与合作。 

LLMs 可通过协助决策、生成报告或提供见解来支持协作代理。

举例说明： 大多数企业人工智能代理和项目管理聊天机器人

客户支持

自动化专家帕斯卡尔-博尔内（Pascal Bornet）对 167 家公司进行的一项研究表明，客户服务是采用LLM 代理最普遍的使用案例。

LLM 代理被广泛用于客户支持，以处理常见问题、排除故障并提供全天候帮助。 

这些代理可以与客户实时互动，提供即时帮助，或将复杂的咨询升级到人工代理。

另请参见什么是客户服务聊天机器人？

销售和销售线索生成

在销售领域，LLM 代理可用于人工智能销售线索的生成--他们甚至可以通过与潜在客户对话、评估需求和收集有价值的信息来对销售线索进行事后鉴定。 

它们还可以自动进行后续互动，根据客户的兴趣发送个性化推荐或产品信息。 

另请参见：如何将人工智能用于销售

内部支持：人力资源和信息技术

在内部支持方面，LLM 代理通过处理员工的常见咨询，简化了人力资源和 IT 流程。

事实上，Bornet 的研究发现，内部运营中的LLM 代理最具成本效益，可节省 30-90%以前完成内部任务所需的时间。

在人力资源部门，他们负责回答福利、休假政策和薪资等方面的问题；在信息技术部门，他们负责为基本技术问题提供故障排除服务，或自动执行账户设置等常规任务。 

这样，人力资源和 IT 团队就可以专注于更复杂的职责，而不是重复性的繁忙工作。

另请参见：最佳人力资源人工智能代理

1. 检索增强生成

RAG是我们在ChatGPT 中都做过的一件简单事情的别称：在ChatGPT 中粘贴一些文本，然后提出相关问题。

一个典型的例子是，询问电子商务网站上的某种产品是否有库存，聊天机器人会在产品目录（而不是更广泛的互联网）中查找相关信息。

就开发速度和获取实时信息而言，RAG 是必备工具。

这通常并不影响您选择哪种模型，但是没有什么能阻止您创建一个LLM API 端点来查询信息和回答问题，并将该端点当作自己的LLM 来使用。

在基于知识的聊天机器人中使用 RAG 通常更易于维护，因为您不需要对模型进行微调和不断更新，这还可以降低成本。

2. 微调

微调包括向模型提供示例，让它学会如何出色地完成某项任务。如果您想让模型在谈论您的产品时表现出色，您可以提供大量贵公司最出色的销售电话实例。

如果模型是开源的，请自问您的团队是否有足够的工程能力对模型进行微调。

如果模型是闭源的，并以服务形式提供（GPT-4 或 Claude），那么您通常可以让工程师使用 API 对定制模型进行微调。通过这种方法，价格通常会大幅提高，但几乎不需要维护。

但对于许多用例来说，微调并不是优化模型的第一步。

为静态知识构建知识机器人就是一个很好的微调案例。通过提供问题和答案的示例，它应该能够在未来回答这些问题，而无需查找答案。但对于实时信息来说，这并不是一个实用的解决方案。

3. N-shot学习

开始提高响应质量的最快方法是在单个LLM API 调用中提供示例。

我们大多数人都使用ChatGPT 。添加一个示例（或一个镜头）通常就足以使回复质量得到大幅提高。

一个以上的示例被视为 N-shot。N-shot不会改变模型，这与微调不同。你只是在要求回答之前举例而已，每次提问都是如此。

但这一策略不能过度使用：LLM 模型有最大上下文大小，并根据信息大小定价。微调可以消除对 n 个示例的需求，但需要更多时间才能做到正确。

4. 及时的工程技术

还有其他一些提示工程技术，比如思维链，它可以迫使模型在得出答案之前大声思考。

还有提示链，它鼓励模型通过按顺序运行多个提示将复杂的任务分解为更小的步骤。

这些策略可以显著提高响应的质量和可靠性——特别是对于推理繁重的任务——但它们通常以更长的响应、更高的令牌使用率和更慢的性能为代价。

这样可以提高响应质量，但代价是响应的长度、成本和速度。

1.确定目标

构建人工智能代理或聊天机器人的第一步是确定您希望它实现的目标。

明确您希望LLM 代理实现的目标，无论是协助客户查询、生成内容还是处理特定任务。 

明确的目标将决定代理的设置和配置。

2.选择人工智能平台

最佳人工智能平台完全取决于您的目标和需求。 

考虑定制选项、集成能力、易用性和支持等因素，选择符合您要求的平台。 

该平台应

• 支持您所需的用例
• 提供您首选的LLMs
• 提供集成能力

3. 配置LLM

根据平台的选项，可以选择一个预建的LLM ，或者在必要时针对专门任务对模型进行微调。 

许多平台都提供预先训练好的内置语言模型，可以随时使用。

如果您对定制LLM 的用法感兴趣，请阅读我们的增长工程师为您的人工智能项目选择定制LLM 选项的文章，Patrick Hamelin 。

4. 集成工具 

大多数平台都提供外部工具集成选项。连接您的代理需要访问的任何 API、数据库或资源，如 CRM 数据或实时信息。

5. 测试并改进

使用平台的内置测试工具对代理进行全面测试。根据测试结果调整参数、提示措辞和工作流程，确保代理在实际场景中表现良好。

6.部署和监控 

在部署后，使用平台的监控工具跟踪代理的互动和性能。 

利用平台提供的任何反馈机制，根据需要收集见解并完善设置。

1.LLM 代理和聊天机器人有什么区别？

LLM 代理与聊天机器人的区别在于，聊天机器人遵循预定义的规则或对话流程，而LLM 代理则使用大型语言模型来理解意图、检索数据、使用工具或应用程序接口执行操作，并动态调整其响应。LLM 代理可以自主推理和行动，而不仅仅是回复。

2.在没有互联网连接的情况下，LLM 代理可以运行吗？

只有当语言模型和所有所需工具或数据都在本地托管时，LLM 代理才能在没有互联网连接的情况下运行。然而，大多数生产型LLM 代理都依赖于基于云的 API 或外部服务来完成最新搜索或客户关系管理访问等任务。

3.LLM 代理是否总是需要语言模型后台？

是的，LLM 代理始终需要一个语言模型后台，因为整个架构取决于模型处理自然语言输入和生成输出的能力。没有LLM，代理就无法理解用户的提示，也无法决定该做什么。

4.目前使用LLM 代理的主要限制或风险是什么？

使用LLM 代理的主要限制包括幻觉（产生不准确的响应），以及如果输入/输出没有得到适当的保护，可能会出现数据泄露。它们还需要周到的设计和监控，以确保在实际使用中的行为可靠、合规。

5.哪些行业采用LLM 代理的速度最快？

采用LLM 代理最快的行业包括客户支持、IT 服务管理、医疗保健管理、金融服务和 B2B 销售，在这些行业中，大量重复性语言任务可以实现自动化，以提高效率并扩大规模。