即使你每天都在使用它，你可能仍然会对ChatGPT的工作方式有疑问。
让我们深入了解这个全球最受欢迎的AI聊天机器人的幕后原理。
概览：ChatGPT的工作原理
如果你只有20秒时间，ChatGPT的工作原理如下：
- 你发送一个请求。例如：“请帮我写一封邮件。”
- ChatGPT将输入内容分解为可处理的“标记”。
- 它利用自然语言处理（NLP）分析输入内容并理解上下文。
- 它根据训练数据中学到的模式预测下一个词。
- 它通过注意力机制，聚焦于输入中最相关的部分。
- ChatGPT逐字生成完整回复，并将其发送给你。
这些就是ChatGPT接收并回复问题的基本步骤。
GPT代表什么？
ChatGPT中的GPT代表“生成式预训练变换器”。这三个要素都是理解ChatGPT工作原理的关键。
1. 生成式
ChatGPT 是一种生成式 AI 模型——它可以生成文本、代码、图片和音频。其他生成式 AI 的例子包括 DALL-E 这样的图像生成工具或音频生成器。
2. 预训练
ChatGPT 的“预训练”特性让它似乎无所不知。GPT 模型通过一种叫做“无监督学习”的过程，在大量数据上进行了训练。
在 ChatGPT 之前，AI 模型通常采用有监督学习——即给定明确标注的输入和输出，并教会模型将两者对应起来。这个过程较为缓慢，因为数据集需要人工整理。
早期的 GPT 模型在接触到大规模训练数据集时，从各种来源中吸收了语言模式和上下文含义。
这就是为什么 ChatGPT 是一个通用知识型聊天机器人——它在面向公众发布前，已经在庞大的数据集上完成了训练。
希望进一步训练GPT引擎，使其专注于某些特定任务（如为你的组织撰写报告）的用户，可以使用技术对大语言模型（LLM）进行定制。
3. 变换器
变换器是一种神经网络架构，最早由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。在变换器出现之前，处理文本序列通常采用循环神经网络（RNN）和长短期记忆网络（LSTM）。
RNN 和 LSTM 网络会像人一样按顺序读取文本输入。而变换器架构能够同时处理和评估句子中的每个词，即使某些词位于句中或句末，也能赋予其更高的相关性分数。这被称为自注意力机制。
举个例子：“老鼠钻不进笼子，因为它太大了。”
变换器可以将“老鼠”这个词判定为比“笼子”更重要，并正确识别句中的“它”指的是老鼠。
但像 RNN 这样的模型可能会把“它”理解为“笼子”，因为那是最近处理的名词。
“变换器”这一特性让 ChatGPT 能更好地理解上下文，生成比前代模型更智能的回复。
自然语言处理
ChatGPT之所以看起来像“魔法”，部分原因在于它采用了自然语言处理。它能够与我们对话，是因为它可以处理并理解自然的人类语言。
什么是自然语言处理？
自然语言处理（NLP）是人工智能的一个分支，专注于计算机与人类通过自然语言进行交互。
它使机器能够理解、解释并生成有意义且实用的人类语言。
NLP、NLU与NLG的区别
NLP是一个广泛的领域，涵盖了包括自然语言理解（NLU）和自然语言生成（NLG）在内的多个子领域。
NLP是总领域，而NLU和NLG是其中的专门分支。这是因为在对话过程中，自然语言处理必须同时涉及理解和生成。
NLP是如何工作的？
NLU将人类语言分解，以解释其含义和意图。其工作流程如下：
- 对文本进行预处理，去除不必要的元素（如标点符号和停用词）。
- 系统从文本中识别出关键组成部分，如实体、关键词和短语。
- 分析句子结构，以理解词语和概念之间的关系。
- NLU模型将识别出的元素映射到具体的意图或目标。
- NLU引擎会根据上下文和用户历史交互进一步优化理解。
系统输出结构化结果，从而触发相应的操作或回复。
ChatGPT的训练过程
ChatGPT的训练分为两个阶段：预训练和微调。
预训练
首先，AI模型会接触大量文本数据——包括书籍、网站和其他文件。
在预训练阶段，模型学习预测句子中的下一个词，这帮助它理解语言中的模式。它本质上建立了对语言的统计理解，使其能够生成连贯的文本。
微调
预训练后，模型会在更具体的数据集上进行微调。对于ChatGPT来说，这包括专门为对话设计的数据集。
这一阶段的关键部分是“基于人类反馈的强化学习（RLHF）”，即由人工训练师对模型的回复进行排序。这个反馈循环帮助ChatGPT提升生成合适、有用且符合语境的回复能力。
ChatGPT核心术语
标记（Tokens）
模型处理的文本单元（单词或词的一部分）。ChatGPT的输入和输出都会被分词，以提高计算效率。
零样本学习（Zero-shot learning）
模型能够依靠其通用知识，完成未经过专门训练的任务。
单样本学习是给模型一个示例，多样本学习则是给多个示例以便学习。
注意力机制
变换器模型中的一个组件，使其在生成回复时能够关注输入文本的不同部分。
幻觉（Hallucination）
当AI模型生成错误或无意义的信息时，称为“幻觉”。可以通过检索增强生成（RAG）等策略来减少幻觉。
链式思维推理
一种帮助模型逐步思考的方法，提升其处理复杂提示或任务的能力。
部分ChatGPT模型已自动具备这种策略——比如最新的OpenAI o1模型。但你也可以让任何版本进行链式思维推理：只需让它一步步解释推理过程即可。
预训练
模型在被微调前，首先在海量数据集上训练以学习语言模式的初始阶段。
微调
在更窄的数据集或特定任务上进一步优化模型，以提升其在特定场景下的表现。
上下文窗口
模型在生成回复时可考虑的输入文本长度限制。
上下文窗口较小时，你无法发送很长的报告让其总结——模型会“忘记”文档的开头内容。
如何定制ChatGPT
有多种方式可以定制强大的大语言模型（LLM），比如驱动ChatGPT的GPT引擎。定制你自己的LLM智能体其实没有你想象的那么难。
自定义GPT
OpenAI允许用户根据自己的需求定制GPT。你可以让自定义GPT帮助你学习某个桌游规则、设计摇滚金属乐队海报，或教你AI相关概念。
自定义AI智能体
随着AI技术的发展，现在创建你自己的LLM驱动的AI智能体变得简单且免费。
从低代码拖拽式构建器到高级编程生态系统，市面上有适合各种需求和技能水平的优秀AI构建平台。
打造你自己的LLM智能体，意味着你可以设计一个专属的AI助手，帮你安排会议、生成每周数据报告。你也可以创建一个客户支持AI智能体，部署在WhatsApp等平台。可能性无限。
免费构建GPT驱动的聊天机器人
ChatGPT 是通用型聊天机器人，但你可以利用 OpenAI 的强大 GPT 引擎，构建属于你自己的定制 AI 聊天机器人。
用你自己的定制聊天机器人，充分发挥最新大型语言模型的强大能力。
Botpress 是一个灵活且可无限扩展的 AI 聊天机器人平台。用户可以为任何场景构建各种类型的 AI 智能体或聊天机器人。
将你的聊天机器人集成到任意平台或渠道，或从我们的预置集成库中选择。你可以通过Botpress YouTube频道的教程或Botpress Academy的免费课程快速入门。
立即开始构建。 免费使用。
常见问题
1. ChatGPT 与 Google Bard 或 Claude 等其他 AI 聊天机器人相比有何不同？
ChatGPT擅长结构化推理和编程，Bard（来自Google）与搜索和实时数据紧密集成，而Claude（Anthropic开发）则注重安全性和更长的记忆上下文。
2. ChatGPT 能否同样准确地理解和生成多种语言的文本？
ChatGPT可以理解和生成多种语言的文本，但其在英语方面的流利度和准确性最高。对于西班牙语、法语、德语等常用语言表现也不错，但对于结构复杂的语言，表现可能会有所下降。
3. ChatGPT会像人类一样“思考”或“理解”吗？
ChatGPT并不会像人类那样思考或理解。它没有意识或真正的理解能力。ChatGPT通过统计预测下一个最可能出现的词来生成回复，完全基于训练时学到的模式，而不是出于真正的理解。
4. ChatGPT有偏见吗？如何衡量或解决大语言模型中的偏见？
是的，ChatGPT可能会表现出其训练数据中存在的偏见，包括社会或文化偏见。OpenAI通过采用基于人类反馈的强化学习（RLHF）、红队测试和持续监控等方法来减少偏见，但要完全消除偏见仍然具有挑战性。
5. ChatGPT多久会更新一次新信息？
ChatGPT不会实时更新知识，其知识基于截至某一时间点的训练数据。只有当OpenAI发布新版本或重新训练模型时才会更新，因此除非某些版本启用网页浏览，否则它可能无法反映最新事件。
.webp)
