ChatGPT 如何工作？

1. Generative

ChatGPT 是一种生成式人工智能模型--它可以生成文本、代码、图像和声音。生成式人工智能的其他例子还有图像生成工具，如DALL-E 或音频生成器。

2. Pre-Trained

ChatGPT 的 "预训练 "功能让它似乎对互联网上的一切了如指掌。GPT 模型是在一种称为 "无监督学习 "的过程中通过大量数据训练出来的。

在ChatGPT 之前，人工智能模型是通过监督学习建立起来的--给它们提供明确标注的输入和输出，然后教它们将一个映射到另一个。这一过程相当缓慢，因为数据集必须由人类编制。

当早期的GPT 模型接触到它们所训练的大型数据集时，就会从各种来源吸收语言模式和上下文含义。 

这就是为什么ChatGPT 是一款常识聊天机器人--在向公众发布之前，它已经在一个庞大的数据集上接受过训练。

如果用户希望进一步训练GPT 引擎--使其专门处理某些任务，如为您的独特组织编写报告--可以使用 定制LLMs 的 技术。  

3. Transformer

变压器是一种神经网络架构，由 Vaswani 等人在 2017 年发表的题为 "Attention is All You Need "的论文中介绍。在变压器之前，递归神经网络（RNN）和长短期记忆（LSTM）网络等模型通常用于处理文本序列。 

RNN 和 LSTM 网络会按顺序阅读文本输入，这与人类的阅读方式相同。但转换器架构能够同时处理和评估句子中的每个单词，从而将某些单词评为更相关的单词，即使这些单词位于句子的中间或末尾。这就是所谓的自我关注机制。 

就拿这个句子来说"因为笼子太大了，小老鼠放不进去"

转换器可以给 "老鼠 "一词打分，认为它比 "笼子 "更重要，并正确识别出句子中的 "它 "指的是老鼠。 

但是，像 RNN 这样的模型可能会将 "它 "解释为笼子，因为它是最近处理过的名词。

与前代产品相比，"转换器 "使ChatGPT 能够更好地理解上下文，并做出更智能的响应。 

什么是自然语言处理？

自然语言处理（NLP）是人工智能的一个分支，主要研究计算机与人类通过自然语言进行交互。 

它使机器能够以一种既有意义又有用的方式理解、解释和生成人类语言。

NLP vs NLU vs NLG

NLP 是一个广泛的领域，包括自然语言理解（NLU）和自然语言生成（NLG）等多个分支学科。 

NLP 是一个总体领域，而 NLU 和 NLG 则是其中的专业领域。这是因为自然语言处理必须同时涉及理解和在来回对话中生成。

NLP 如何发挥作用？

NLU 可分解人类语言，解读其含义和意图。下面将逐步介绍其工作原理：

1. 文本经过预处理，以去除不必要的元素（如标点符号和停顿词）。
2. 该系统可从文本中识别实体、关键词和短语等关键要素。
3. 它通过分析句子结构来理解词语和概念之间的关系。
4. 北大西洋公约组织模型将识别到的元素映射到具体的意图或目标上。
5. NLU 引擎会根据上下文和用户交互历史完善其理解能力。

系统提供结构化输出，可触发适当的行动或反应。

培训前

首先，人工智能模型会接触到大量的文本数据--来自书籍、网站和其他文件。 

在预训练过程中，模型学会预测句子中的下一个单词，这有助于它理解语言的模式。从本质上讲，它建立了对语言的统计理解，从而能够生成听起来连贯的文本。

微调

预训练后，模型将在更具体的数据集上进行微调。对于ChatGPT ，这包括为对话策划的数据集。 

这一步骤的关键部分包括从人类反馈中强化学习（RLHF），即人类培训师对模型的反应进行排序。这一反馈环路有助于ChatGPT 提高其生成适当、有帮助和上下文准确的反应的能力。

代币

模型处理的文本单位（单词或单词的一部分）。ChatGPT该模型的输入和输出都经过标记化处理，以提高计算效率。

零点学习

模型依靠常识执行未经专门训练的任务的能力。 

单次学习是指给模型提供一个例子，而 n 次学习是指给模型提供许多例子来进行学习。 

注意机制

转换器模型的一个组件，它允许转换器在生成回复时关注输入文本的不同部分。

幻觉

当人工智能模型生成错误或无意义的信息时，就会产生 "幻觉"。可以通过检索增强生成（RAG）等策略来缓解幻觉。

思维链推理

一种帮助模型逐步思考的方法，可提高模型处理复杂提示或任务的能力。 

有些ChatGPT 模型会自动配备这种策略，比如最新的OpenAI o1 模型。但您也可以要求任何版本进行思维链推理：只需要求它逐步解释其推理过程即可。

培训前

在初始阶段，先在海量数据集上对模型进行训练，以学习语言模式，然后再针对特定任务进行微调。

微调 

在更小的数据集或任务中完善模型，以提高其在特定用例中的性能。

上下文窗口

模型在生成响应时可考虑的输入文本数量限制。 

低上下文窗口意味着您无法发送长篇报告并要求摘要--模型会 "忘记 "文件的开头。 

定制GPTs

OpenAI 允许用户根据自己的喜好定制GPTs 。您可以指导定制的GPT 帮助您学习特定棋盘游戏的规则、设计金属摇滚乐队的海报，或教您人工智能的概念。

自定义人工智能代理

随着人工智能技术的发展，您可以轻松（免费）创建自己的LLM人工智能代理。 

从低代码拖放构建器到高级编码生态系统，有很多优秀的人工智能构建平台可满足任何使用情况和技能水平的需求。 

建立自己的LLM 代理意味着你可以设计一个定制的人工智能助理，为你安排会议和生成每周指标报告。或者，您也可以建立一个客户支持人工智能代理，将其部署在...... WhatsApp.这一切都充满了可能性。