- LLM智能体结合了语言理解、记忆、工具使用和规划能力,能够自主完成超越简单对话的复杂任务。
- 提升LLM智能体表现的方法包括RAG、微调、n-shot提示和高级提示工程,以提高其准确性和可靠性。
- 构建LLM智能体需要明确目标、选择合适的平台、模型配置、集成、测试以及持续监控。
- 尽管LLM智能体功能强大,但仍存在幻觉、隐私风险和上下文限制等问题,因此合理设计和监管依然至关重要。

你可能已经很熟悉今年最热门的话题:AI智能体。
这些AI智能体大多数都是LLM智能体。为什么?
“过去几年里,自主智能体发生了变化,”Botpress CEO Sylvain Perron 解释道,“底层模型得到了提升。LLM解锁了新的推理和抽象层次。”
借助LLM的强大能力,AI智能体可以被构建为完成各种基于语言或推理的任务。
凭借其语言和分析能力,LLM智能体正逐步进入白领工作场所,超过80%的公司计划在未来几年内使用AI智能体。
虽然AI智能体的广义范畴还包括非语言类应用(内容推荐系统、图像识别、机器人控制等),但LLM智能体通常是对话式AI软件。
什么是LLM智能体?
LLM智能体是利用大型语言模型来理解语言、进行对话和执行任务的AI工具。
这些智能体基于复杂算法,经过海量文本数据训练,使其能够理解并生成类人交流的语言。
LLM智能体可以集成到AI智能体、AI聊天机器人、虚拟助手、内容生成软件等应用工具中。
LLM智能体如何工作?
LLM智能体将LLM的能力与检索、推理、记忆和工具使用结合,实现自主完成任务。下面逐一介绍这些组成部分的作用。
这些能力结合,使LLM智能体能够完全自主地执行复杂、多步骤的工作流程。
比如:
- B2B 销售智能体会检索潜在客户的CRM数据,分析交易进展,记住与该客户的过往互动,从而实现个性化跟进,并使用邮件和日历API发送邮件和安排日程。
- IT智能体检索系统日志以诊断错误,分析故障排查步骤以制定最佳策略,记住以往用户问题的有效解决方法,并执行脚本重启服务或创建工单。
LLM智能体的4大特征是什么?

LLM智能体有四个关键特征:
1. 语言模型
语言模型通常被视为LLM智能体的“大脑”,其质量和规模直接影响智能体的表现。
它是一种经过海量文本数据训练的复杂算法,能够理解上下文、识别模式,并生成连贯且符合语境的回复。
- 识别并学习语言模式
- 具备一定的上下文感知能力(得益于庞大的训练数据)
- 能够适应不同领域,处理广泛主题
语言模型决定了回复的深度、准确性和相关性,是智能体语言能力的基础。
2. 记忆
记忆指的是保留过往互动信息的能力,比如事实、用户偏好或跨会话的话题。
这提升了智能体的上下文理解,使对话更加连贯和相关。
在某些设置下,记忆让智能体能够长期保留信息,支持长期互动,智能体可以“学习”用户的重复行为或偏好——不过这通常会因隐私和相关性受到限制。
3. 工具使用
工具使用让LLM智能体从对话走向实际行动。
LLM智能体可以与外部应用、数据库或API集成,执行特定功能。
这意味着它们可以获取实时信息、执行外部操作或访问专业数据库,从而具备提供实时信息的能力,包括:
- 调用API
- 获取实时数据,如天气更新或股票价格
- 安排会议或预约
- 查询数据库,如产品目录或人力资源政策文件
工具使用让LLM智能体从被动的知识系统转变为能够与其他系统交互的主动参与者。
4. 规划
规划是LLM智能体将复杂任务分解为一系列可管理步骤的能力。
LLM智能体可以有或没有反馈地进行规划。区别是什么?
- 无反馈的规划意味着LLM智能体会根据初步理解制定计划,速度快、结构简单,但缺乏适应性。
- 有反馈的规划则允许LLM智能体持续优化计划,结合环境输入,虽然更复杂,但灵活性更高,长期表现更好。
通过规划,LLM智能体能够创建逻辑流程,逐步推进解决方案,更有效地处理复杂请求。
LLM智能体的4种类型是什么?
.webp)
1. 对话型智能体(如客户支持与线索获取)
这类智能体与用户进行自然对话,通常提供信息、回答问题并协助完成各类任务。
这些智能体依赖LLM理解并生成类人的回复。
2. 任务型智能体(如AI助手与AI工作流)
专注于执行特定任务或实现预定目标,这类智能体与用户互动,理解需求后执行相应操作。
3. 创意型智能体(如内容生成工具)
能够生成原创内容,如艺术作品、音乐或写作,这类智能体利用LLM理解人类偏好和艺术风格,创作出能引起共鸣的内容。
示例:内容生成工具和图像生成工具(如Dall-E)
4. 协作型智能体(如企业AI智能体)
这类智能体与人类协作完成共同目标或任务,促进团队成员或人与机器之间的沟通、协调与合作。
LLM可通过辅助决策、生成报告或提供洞见来支持协作型智能体。
示例:大多数企业AI智能体和项目管理聊天机器人
企业如何使用LLM智能体?
企业在处理和响应自然语言的场景中受益于LLM智能体,如答疑、指导、自动化流程和文本分析。
企业常用LLM智能体于市场营销、数据分析、合规、法律协助、医疗支持、金融任务和教育等领域。
以下是LLM智能体最受欢迎的三大应用场景:
客户支持
根据自动化专家Pascal Bornet对167家企业的研究,客户服务是LLM智能体应用最广泛的场景。
LLM智能体广泛应用于客户支持,处理常见问题、故障排查并提供全天候服务。
这些智能体可以实时与客户互动,提供即时帮助,或将复杂问题转交人工客服。
相关内容:什么是客户服务聊天机器人?
销售与线索获取
在销售领域,LLM智能体用于AI线索获取——它们还能通过对话与潜在客户互动,评估需求并收集有价值的信息,实现线索筛选。
它们还可以自动化后续互动,根据客户兴趣发送个性化推荐或产品信息。
相关内容:如何在销售中使用AI
内部支持:人力资源与IT
在内部支持方面,LLM智能体通过处理员工常见问题,简化人力资源和IT流程。
事实上,Bornet研究发现,LLM智能体在内部运营中的成本效益最高,节省了30-90%的时间。
在人力资源领域,它们解答福利、请假政策和薪资等问题;在IT领域,则为基础技术问题提供排查或自动化日常任务,如账户设置。
这让人力资源和IT团队能够专注于更复杂的工作,而不是重复性事务。
相关内容:最佳人力资源AI智能体
如何提升LLM智能体回复质量
如果你正在为AI项目定制LLM,你可能希望调整公开模型的标准回复(毕竟不能让你的聊天机器人推荐竞争对手,对吧?)。你还可能希望它采用自定义业务逻辑,让其表现更像训练有素的员工,而不是随机生成语言。
提升LLM回复质量的四个通用思路:
- RAG
- 微调
- N-shot提示
- 提示工程
1. 检索增强生成
RAG其实就是我们在ChatGPT里常做的事:粘贴一段文本,然后提问。
典型例子是询问某电商网站某商品是否有货,聊天机器人会在产品目录中查找(而不是全网搜索)。
在开发速度和获取实时信息方面,RAG是必不可少的。
它通常不会影响您选择哪个模型,但完全可以创建一个LLM API端点来查询信息并回答问题,把它当作独立LLM使用。
用RAG做知识型聊天机器人通常更易维护,因为无需微调模型和持续更新,也能降低成本。
2. 微调
微调是给模型提供示例,让它学会如何做好某项任务。如果您希望模型擅长介绍产品,可以提供公司最佳销售通话的示例。
如果模型是开源的,您需要评估团队是否有足够的工程能力进行微调。
如果模型是闭源并以服务形式提供——如GPT-4或Claude——通常可以通过API让工程师微调自定义模型。这种方式价格通常会大幅提升,但几乎无需维护。
但对于许多场景来说,微调并不是优化模型的第一步。
微调非常适合为静态知识构建知识型机器人。通过提供问答示例,模型未来就能直接回答这些问题,无需查找答案。但对于实时信息来说,这不是实用方案。
3. N-shot学习
提升回答质量最快的方法,是在一次LLM API调用中直接提供示例。
Zero-shot——即不提供任何示例——是我们大多数人使用ChatGPT的方式。加一个示例(one-shot)通常就能显著提升回答质量。
多个示例就是n-shot。与微调不同,n-shot不会改变模型本身。每次提问时,您只是临时提供示例。
但这种策略不能滥用:LLM有最大上下文长度,且按消息大小计费。微调可以消除n-shot示例的需求,但需要更多时间调优。
4. 提示工程技术
还有其他提示工程技巧,比如chain-of-thought,让模型在回答前先“思考”并表达推理过程。
还有提示链,通过顺序运行多个提示,引导模型将复杂任务拆解为更小的步骤。
这些策略能显著提升回复的质量和可靠性——尤其适用于推理密集型任务——但通常会导致回复更长、Token消耗更多、响应速度变慢。
这种方法能提升回答质量,但会增加回答的长度、成本和响应速度。
六步构建LLM智能体

1. 明确目标
构建AI智能体或聊天机器人的第一步,是明确你希望它实现什么目标。
明确你希望LLM智能体完成的任务,无论是客户咨询、内容生成还是处理特定事务。
明确的目标将决定智能体的设置和配置。
2. 选择AI平台
最佳 AI 平台完全取决于你的目标和需求。
选择与需求相符的平台,重点考虑自定义选项、集成能力、易用性和支持情况等因素。
平台应当:
- 支持你的目标应用场景
- 支持你偏好的LLM
- 支持集成能力
3. 配置LLM
根据平台选项,选择预置LLM或根据需要对模型进行微调以适应专业任务。
许多平台都提供预训练、可直接使用的内置语言模型。
如果你有兴趣自定义LLM使用方式,可阅读我们增长工程师Patrick Hamelin撰写的为AI项目选择自定义LLM方案一文。
4. 集成工具
大多数平台都提供集成选项,用于连接外部工具。你可以将你的智能体与所需访问的任何API、数据库或资源连接,比如CRM数据或实时信息。
5. 测试与优化
利用平台内置的测试工具对智能体进行全面测试。根据测试结果调整参数、提示语和流程,确保智能体在实际场景下表现良好。
6. 上线与监控
使用平台的监控工具,在部署后跟踪智能体的互动和性能。
收集洞察,根据需要优化设置,充分利用平台提供的反馈机制。
部署自定义LLM智能体
LLM智能体正在企业中迅速普及——无论是在客户服务、内部运营还是电商领域。那些行动缓慢的公司,将会错失AI浪潮带来的机遇。
Botpress是一款为企业打造的高度可扩展AI智能体平台。我们的技术栈让开发者能够构建具备各种能力的LLM智能体。
我们增强的安全套件确保客户数据始终受到保护,并完全由您的开发团队掌控。
立即开始构建。 免费使用。
或联系我们了解更多信息。
常见问题
1. LLM智能体和聊天机器人有什么区别?
聊天机器人通常遵循预设脚本或流程,而LLM智能体更加灵活。LLM智能体利用大型语言模型进行推理、信息检索、工具调用和决策。
2. LLM智能体可以在没有互联网连接的情况下运行吗?
如果所需的一切(如语言模型和数据)都在本地运行,LLM智能体可以在没有互联网的情况下部分工作。但大多数情况下,它们依赖云服务来获取实时数据、外部API或最新知识。
3. LLM智能体是否始终需要语言模型作为后端?
是的,这几乎是核心要素。LLM智能体中的“LLM”指的就是大型语言模型。没有它,智能体就无法理解或生成自然语言。
4. 目前使用LLM智能体的主要限制或风险有哪些?
它们可能会产生虚假内容、在模糊提示下卡住,或者如果防护不严会泄露敏感信息。此外,它们的智能程度取决于背后的数据和设计。
5. 哪些行业正在最快采用LLM智能体?
客户服务、IT支持、医疗健康和销售领域发展最快。基本上,任何有大量重复性语言工作的行业,都在积极推动自动化。





.webp)
