大语言模型（LLM）概述#

在本主题中，我们将从宏观层面介绍什么是 LLM（Large Language Model，大语言模型），了解根据输出形式可以将其分为的两种主要类型，并探讨它们在作为 AI 助手之外的更多应用场景。

什么是大语言模型#

大语言模型（LLM） 是一种人工智能（AI），能够理解并生成类似人类的文本。
它通过在海量文本数据上进行训练，从而学会识别、总结、翻译、预测以及创造内容。

在核心结构上，LLM 使用一种神经网络架构，通常是 Transformer 架构 来处理语言。

通过分析训练数据中单词和短语之间的统计关系，模型可以学习：

• 语法
• 事实知识
• 推理能力

因此，它能够完成许多任务，例如：

• 回答问题
• 写邮件
• 生成代码
• 进行对话

名称中的 “large（大）” 指的是模型包含的大量参数——通常达到 数十亿甚至数万亿个参数，这些参数用于进行预测。

LLM 的训练过程#

LLM 的开发通常包括 两个主要阶段。

对齐（Alignment）#

微调过程中通常还包含一个子步骤：

对齐（Alignment）

在这个步骤中，开发者会调整模型行为，使其：

• 更友好
• 更符合用户期望
• 更安全

两种主要类型的 LLM#

根据输出类型，LLM 可以分为两大类：

1. 自回归模型（Autoregressive Models）
2. 表示模型（Representational Models / Embedding Models）

自回归模型（生成式模型）#

自回归模型通过以下方式生成文本：

根据之前的 token（词或子词），预测下一个 token。

换句话说，它们建模的是：

P(下一个词 | 前面的词)

你几乎肯定使用过这种模型，例如：

• ChatGPT
• Claude
• Gemini
• Llama
• Grok

这些都是 自回归模型。

这也是为什么你看到它们回答问题时：

一个 token 一个 token 地流式输出。

这就是 自回归生成。

表示模型（Embedding 模型）#

表示模型的目标不同。

它们不会生成文本，而是：

将整个输入编码成一个向量表示（embedding）。

这些模型会：

• 将单词和文本表示为向量
• 在向量空间中表示语义关系

然后根据这些向量进行预测。

例如：

一些模型（如 BERT）通过以下方式训练：

Masked Language Model（掩码预测）

即：

预测句子中被遮挡的词。

例如：

1
I love [MASK] learning

模型需要预测 [MASK] = machine 等。

不过这并不是训练 embedding 模型的唯一方法。

表示模型的输出#

表示模型的输出通常是：

embedding（向量表示）

之后可以进一步微调，用于执行特定任务，例如：

• 情感分析

输出可能是：

1
positive
2
negative
3
neutral

两类模型的区别#

因此：

• 表示模型通常不生成文本
• 生成文本主要由自回归模型完成

使用 LLM 构建应用#

开发者已经在很多领域使用 LLM。

一个基础技术是：

语义搜索（Semantic Search）

它不同于传统的关键词搜索，而是：

根据 语义和上下文相关性 查找信息。

RAG：解决幻觉问题#

为了解决这个问题，近年来出现了：

RAG（Retrieval-Augmented Generation，检索增强生成）

RAG 结合了两种模型的能力：

1. 表示模型 → 用于检索知识
2. 生成模型 → 用于生成回答

工作流程：

1. 系统先从知识库中检索相关信息

2. 将这些信息提供给模型

3. 模型只根据这些信息生成回答

这样可以：

• 提高准确性

• 提供可验证的信息来源

LLM Agent（智能体）#

LLM 的下一阶段是：

Agent（智能体）

在这种模式中：

LLM 作为 推理引擎，能够：

1. 理解目标
2. 制定计划
3. 使用工具执行任务

例如调用：

• API
• 脚本
• 数据库

这可以构建更强大的系统，例如：

• 自动化助手
• 智能代理系统

总结#

LLM 的发展经历了从：

理解语言 → 生成语言 → 采取行动

的演变。

LLM 主要分为两类：

表示模型（Representational Models）

• 生成向量表示（embedding）
• 用于语义搜索和分类

自回归模型（Autoregressive Models）

• 根据提示生成文本
• 用于对话和内容生成

通过 RAG 等技术，开发者可以克服 LLM 的一些限制，例如：

• 幻觉问题
• 无法引用来源

这使得 LLM 能够构建 基于真实信息的可靠系统，并在各个行业产生深远影响。