
把下面这句话发给一个聊天模型：

```text
用户：请只回答城市名：法国的首都是哪里？
模型：巴黎
```

界面上看到的是一次问答。模型内部发生的事情却更接近下面这个过程：先把问题切成若干 Token，把每个 Token 变成向量，经过几十层 Transformer 计算上下文，再在词表上算出一组下一 Token 的概率，选出“巴黎”，把它接到输入后面，继续判断是否结束。

本文从这个回答出发，逐层拆开现代大语言模型的工作方式。文中讨论的是以文本为输入输出的 decoder-only 语言模型；多模态模型会在进入主干前增加图像或音频编码器，但“根据上下文预测下一个 Token”的主干仍然相同。为了便于核对，文中出现的真实 Token 切分使用 `tiktoken` 的 `o200k_base` 编码实际计算；标为示意的概率、向量和权重只用于解释机制，不代表某个具体模型的输出。

<!--more-->

## 一次回答并不只做一次计算

```mermaid
flowchart LR
    INPUT["用户输入<br/>'法国的首都是哪里？'"] --> TOK["分词器 Tokenizer<br/>切分为 Token ID 序列"]
    TOK --> EMB["Embedding + RoPE<br/>查表生成向量并注入位置编码"]
    EMB --> LAYERS["N 层 Transformer Blocks<br/>多头注意力 MHA/GQA + MLP + 残差连接"]
    LAYERS --> HEAD["LM Head 输出头<br/>映射到词表大小的 Logits"]
    HEAD --> SOFTMAX["Softmax 与采样策略<br/>产出概率分布并选取下一 Token '巴黎'"]
    SOFTMAX --> APPEND["追加到输入末尾<br/>循环前向计算直至输出 EOS"]
```

上面的问题进入模型时，并不是以一整句汉字的形式存在。用 `o200k_base` 编码实际切分，会得到：

```text
请 | 只 | 回答 | 城市 | 名 | ： | 法国 | 的 | 首 | 都是 | 哪里 | ？

Token ID:
10394, 18637, 89785, 47371, 6224, 1817,
169469, 1616, 15425, 78710, 42333, 4802
```

这里已经出现了第一个容易误解的地方：`首` 和 `都是` 被切成了两个 Token，而不是 `首都` 和 `是`。分词器追求的是语料中的高频片段和编码效率，不是语言学上的词法分析。`巴黎` 在这个编码下则是一个完整的 Token，ID 是 `168959`。

模型真正接收的是这些整数 ID。每个 ID 先查表得到一个向量，再和位置信息结合，进入 Transformer 层。最后一层在最后一个输入位置产生一个隐藏向量，输出头把这个向量映射成词表中每个 Token 的分数。分数经过 softmax 后变成概率，解码器再从中选一个 Token。

聊天模型还会在文本前后加入 system、user、assistant 等角色标记或特殊 Token。用户看到的是一句问题，模型实际接收的序列可能还包含这些不可见标记，它们也占用上下文窗口。

为了只展示输出形态，假设模型在这个位置给出下面这组概率：

| 候选 Token | 概率 |
| --- | ---: |
| 巴黎 | 0.86 |
| 里昂 | 0.04 |
| 马赛 | 0.03 |
| 其他候选 | 0.07 |

这组数字是示意，不是实测结果。它说明的是：模型的直接输出不是一个已经写好的句子，而是一个覆盖整个词表的概率分布。选择“巴黎”之后，模型把 `巴黎` 追加到序列末尾，再次运行前向计算。此时输入已经变成“问题 + 巴黎”，模型需要判断下一个 Token 是句号、换行还是结束符。聊天模型通常会在这里输出一个不可见的结束 Token，生成循环随之停止。

“巴黎是法国首都”这个事实也不是模型在运行时从数据库里查到的。它来自训练数据在参数中形成的统计关联；如果当前问题直接提供了资料，模型还可以通过注意力利用上下文中的信息。需要实时或私有数据时，才需要检索和工具调用把它送进上下文。

因此，用户看到的“逐字输出”至少涉及两个层面。模型层面是按 Token 生成，界面层面可能把多个 Token 合并成一个流式片段再显示。`巴黎` 恰好是一个 Token，所以它可能一次出现在界面上；英文单词或中文长词则可能由多个 Token 组成，显示时被拆成多个片段。

## Token 不是汉字，也不是单词

> 例子：英文单词 `strawberry` 在 `o200k_base` 中被切成 `st | raw | berry`，而不是十个字母，也不是一个完整的单词。

这个切分直接影响了模型处理字母级任务的方式。问模型“`strawberry` 里有几个 `r`”时，模型看到的输入单元是三个 Token ID，而不是十个字符。模型仍可能在训练中学会拼写和计数，因为 Token 的字节组成会影响它出现在哪些上下文里，模型也能通过多个 Token 的组合学习字符模式；但这不是一个天然按字符遍历的过程。Tokenization 让常见片段更短，也让字母级操作变得更间接。

现代语言模型常用的分词方法之一是 BPE（Byte Pair Encoding，字节对编码）。它从较小的字节或字符单元开始，统计语料中相邻片段出现的频率，反复合并高频组合，直到词表达到预设大小。高频词可能成为一个 Token，低频词会被拆成多个片段，汉字也可能以单字、词组或字节片段的形式出现。

BPE 的结果由语料、词表大小和训练配置决定，所以不同模型的分词器不能混用。一个模型认为很短的句子，在另一个模型里可能多出很多 Token。上下文窗口、计费、吞吐和长文本截断都以 Token 为单位，而不是以汉字数或单词数为单位。

Token ID 只是索引。模型有一张形状为 `词表大小 × 隐藏维度` 的嵌入矩阵，ID 用来取出对应的一行：

```text
Token ID 169469
        |
        v
[0.021, -0.114, 0.307, ...]  ← 一个隐藏维度上的向量
```

向量的具体数值没有人类可读的含义，它们是训练出来的参数。相似的 Token 在向量空间中可能接近，但“接近”反映的是模型在预测任务中使用它们的方式，不等同于人类词典里的同义关系。

## 位置信息让同一组 Token 产生不同含义

> 例子：`A 打败 B` 和 `B 打败 A` 使用了相同的三个 Token，但表达的关系相反。

如果没有位置信息，Self-Attention 本身不区分位置。它只能看到同一组 Token 的内容，无法仅凭内容判断谁打败了谁。位置编码把“第几个位置”注入模型，使注意力可以区分“A 在前”和“A 在后”。

原始 Transformer 使用正弦位置编码，后续模型也常用可学习的位置向量。现代 decoder-only 模型常用 RoPE（Rotary Position Embedding，旋转位置编码）把位置信息作用到 Query 和 Key 上，让注意力分数带有相对位置关系。具体实现会因模型而异，但目的相同：让模型知道 Token 的先后顺序，并能在长上下文中区分不同距离的关系。

这也是为什么“把一句话的词打乱”不是无关紧要的预处理。词袋模型可能只关心出现了哪些词，语言模型还必须关心它们如何排列、相隔多远、在什么结构中互相约束。

## Attention 在做什么

> 例子：
>
> `苹果发布了新手机，因为它想抢占高端市场。`
>
> `苹果掉在桌上，因为它已经熟透了。`
>
> 两个句子里的“它”是同一个 Token，但前一句更可能指公司，后一句更可能指水果。

模型并不会在内部维护一个“代词指代表”。它通过注意力让“它”这个位置读取前文不同 Token 的信息，形成不同的上下文向量。第一句里，“苹果”“发布”“高端市场”等位置的 Key 与“它”的 Query 产生不同的匹配分数；第二句里，“掉”“桌”“熟透”会改变分数分布。最后，“它”的表示会偏向不同的语义方向。

用公式表示，单个注意力头会为每个位置计算 Query、Key 和 Value：

$$
q_i = x_i W_Q,\qquad
k_j = x_j W_K,\qquad
v_j = x_j W_V
$$

位置 `i` 对位置 `j` 的原始匹配分数是：

$$
s_{ij} = \frac{q_i \cdot k_j}{\sqrt{d_k}}
$$

在 decoder-only 模型中，还要加上 causal mask：位置 `i` 只能看到 `j <= i` 的位置，不能偷看未来 Token。经过掩码和 softmax 后得到权重：

$$
\alpha_{ij} = \operatorname{softmax}_{j \le i}(s_{ij})
$$

当前位置的输出就是所有 Value 的加权和：

$$
o_i = \sum_{j \le i} \alpha_{ij} v_j
$$

```mermaid
flowchart LR
    Q["Query (当前位置查询 qi)"] --> DOT["点积计算匹配度<br/>(qi · kj) / √dk"]
    K["Key (历史位置键 kj)"] --> DOT
    DOT --> MASK["因果掩码 Causal Mask<br/>遮蔽未来位置 (j > i)"]
    MASK --> SOFTMAX["Softmax<br/>归一化为注意力权重 αij"]
    SOFTMAX --> SUM["按权重加权求和<br/>Σ αij · vj"]
    V["Value (历史位置值 vj)"] --> SUM
    SUM --> OUT["输出向量 oi<br/>融入上下文的新表示"]
```

可以把 Query 理解成“当前位置想找什么信息”，把 Key 理解成“其他位置能提供什么索引”，把 Value 理解成“真正被搬运的内容”。这只是帮助理解的类比。模型中的 Query、Key、Value 都是学习出来的连续向量，并不对应可读的自然语言问题，也不能保证每个注意力头都能被解释成一个明确的语言规则。

### 多个注意力头

一个 Transformer 层通常有多个注意力头，每个头有独立的投影矩阵。它们并行计算不同的注意力分布，再把结果拼接起来，经过一次输出投影。某些头可能对句法结构敏感，某些头可能关注相邻位置或重复片段，但这种分工不是预先写死的，也不能把每个头都稳定地命名成“指代头”或“语法头”。

多头的价值在于提供多个可学习的视角。以“它”所在的句子为例，一个头可能更关注“苹果”，另一个头可能更关注“高端市场”，还有一个头可能关注句子边界。最终表示由这些视角组合而成，而不是由某个头单独决定答案。

### 注意力的代价

对于长度为 `n` 的序列，标准全注意力需要计算位置之间的两两关系，单层注意力分数矩阵的大小约为 `n × n`。因此，Prefill 阶段的计算量通常会按序列长度的平方增长（O(n²)）；显存和内存访问也会成为瓶颈。FlashAttention 通过分块和减少显存读写来提高效率，但它没有改变全注意力在数学上仍然是两两交互这一事实。

## 注意力之后，还有前馈网络和残差连接

> 例子：在“法国的首都是”这句话里，最后一个位置需要同时保留“前面出现过法国”“当前在回答首都”“输出应该是一个城市名”等信息。注意力把这些信息汇集到当前表示，前馈网络再把它们组合成对下一个 Token 的判断。

这句话描述的是信息流，不是说某个神经元或某个维度单独存储了“法国”。Transformer 的表示是分布式的，一个概念会分布在许多维度上，也会和上下文共同变化。

每个 Transformer block 大致包含两部分：

```text
输入 x
  |
  +--> RMSNorm -> Self-Attention -> 残差相加
  |
  +--> RMSNorm -> MLP / FFN -> 残差相加
  |
输出到下一层
```

用 pre-norm 结构表示，可以写成：

$$
x' = x + \operatorname{Attention}(\operatorname{Norm}(x))
$$

$$
x'' = x' + \operatorname{MLP}(\operatorname{Norm}(x'))
$$

残差连接让原始表示可以沿层直接传下去，降低深层网络训练难度；归一化让不同层的数值尺度更稳定。不同模型可能使用 LayerNorm、RMSNorm 或不同的放置顺序，但目标都是让深层堆叠可训练。

MLP 对每个位置独立作用，通常先把向量投影到更高维的中间空间，经过非线性激活，再投影回来。它不是一个可读的知识库，而是对上下文向量做非线性特征组合。注意力和 MLP 交替堆叠几十层之后，模型才能把低层的子词片段、词形和局部搭配，逐层组合成更抽象的关系。

## 从隐藏向量到词表概率

最后一层输出的是一个隐藏向量，不是直接的文字。输出头把它投影到词表大小，得到每个 Token 的 logit：

$$
z = h_{\text{last}} W_{\text{vocab}}
$$

logit 可以理解为未归一化的分数。softmax 把分数变成概率：

$$
p_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)}
$$

这里有两个经常被混淆的点。第一，logit 不是概率；第二，模型给出高概率的 Token 不一定事实上正确，只表示在当前参数和上下文下，它更符合训练中学到的分布。

以开头的“法国的首都是”为例，如果训练语料里“法国”和“巴黎”经常一起出现，模型会给“巴黎”较高的 logit。但模型也可能在别的上下文中给“里昂”或“马赛”较高分数，因为概率始终以完整上下文为条件。改变系统提示、前面的对话或问题措辞，都会改变最后一层隐藏向量，进而改变整个词表上的分布。

## 预训练：把预测下一个 Token 变成学习目标

> 例子：把 `今天很适合散步。` 用 `o200k_base` 切开后，得到：
>
> `今天 | 很 | 适 | 合 | 散 | 步 | 。`
>
> 预训练会在同一段文本上构造多个“前缀 -> 下一个 Token”的预测任务。

| 输入前缀 | 预测目标 |
| --- | --- |
| 今天 | 很 |
| 今天 很 | 适 |
| 今天 很 适 | 合 |
| 今天 很 适 合 | 散 |
| 今天 很 适 合 散 | 步 |
| 今天 很 适 合 散 步 | 。 |

这张表是概念上的拆解。实际训练不会为每一行单独跑一次模型。训练时把整段 Token 序列一次性送入 Transformer，利用 causal mask 让每个位置只能看到自己之前的 Token，然后同时计算所有位置的预测损失。这种做法叫 teacher forcing：训练数据中正确的下一个 Token 是已知的，模型不需要先生成一遍再学习。

预训练目标可以写成：

$$
L(\theta) =
-\frac{1}{N-1}\sum_{t=2}^{N}
\log p_\theta(x_t \mid x_{\lt t})
$$

其中 `N` 是序列长度，`θ` 是模型参数，`x_<t` 是位置 `t` 之前的 Token。模型提高正确 Token 的概率，就会降低交叉熵损失。

> 例子：如果正确 Token 的预测概率是 `0.8`，损失约为 `0.223`；如果只有 `0.2`，损失约为 `1.609`；如果只有 `0.01`，损失约为 `4.605`。

这组数字来自 `-ln(p)`。概率越低，损失越大。语言模型训练通常还会报告 perplexity，即 `exp(平均交叉熵)`，但它和具体分词器绑定，不能脱离 Token 词表直接比较两个模型“谁更聪明”。

训练时，反向传播计算损失对每个参数的梯度，优化器再更新参数。可以把一次更新粗略理解为：

$$
\theta_{\text{new}} = \theta - \eta \nabla_\theta L
$$

`η` 是学习率。真实训练会使用 AdamW、学习率调度、梯度累积、混合精度、分布式并行和检查点等技术；这些技术改变的是优化效率和规模，不改变“用下一 Token 预测训练参数”的核心目标。

### 预训练数据与规模

预训练数据通常来自网页、代码、书籍、论文和其他文本集合，但原始数据不能直接拿来训练。团队会做去重、质量过滤、语言识别、隐私和安全处理，并调整不同来源的比例。数据质量、覆盖范围和重复度会直接影响模型能力。

规模可以用一个具体模型作参照。Meta 在 [Llama 3 论文](https://arxiv.org/abs/2407.21783) 中报告，Llama 3 使用了超过 15 万亿 Token 的预训练数据。这个数字说明现代语言模型的训练目标虽然简单，但数据量和计算量很大；它不意味着 15 万亿 Token 中的每一段都同样有价值，也不意味着所有模型都必须使用相同规模。

Scaling law 研究描述了在一定范围内，模型损失如何随参数量、数据量和计算量变化。[Chinchilla 论文](https://arxiv.org/abs/2203.15556) 进一步说明，在固定计算预算下，参数量和训练 Token 数需要一起考虑，不能只增大模型而忽略数据。论文中的计算最优比例是研究设定下的结果，实际产品还会把推理成本、延迟、显存和部署规模纳入选择。

### 稠密模型与稀疏模型

> 例子：[DeepSeek-V3 技术报告](https://arxiv.org/abs/2412.19437) 给出的是一个总参数量约 `671B`、每个 Token 激活约 `37B` 参数的 MoE 模型。

稠密模型处理每个 Token 时，通常都会经过同一套前馈网络参数。MoE（Mixture of Experts，混合专家）模型则在部分层中准备多个专家网络，由一个路由器为每个 Token 选择少数几个专家。总参数可以很大，但单个 Token 实际参与计算的参数较少。

这带来一个很重要的区分：总参数量不等于每个 Token 的激活参数量，也不等于模型部署时占用的显存。未激活的专家仍然需要被保存，训练还要处理负载均衡和专家利用率问题。MoE 也不是一个额外的“推理模块”，它仍然服务于同一个下一 Token 预测目标。

另一个常见变化是 GQA（Grouped-Query Attention）。它让多个 Query 头共享较少的 Key/Value 头，从而减少推理时 KV Cache 的规模。假设一个模型有 32 个 Query 头、8 个 KV 头，那么 KV 相关的缓存需求会显著小于每个 Query 头都配一套 Key/Value 的设计。这个数字只是结构示意，具体模型配置要以模型卡或配置为准；GQA 的原始工作见 [GQA 论文](https://arxiv.org/abs/2305.13245)。

## 后训练：从会续写，到会按指令回答

预训练完成后，模型已经能根据上下文续写文本，但未必会稳定地遵循用户要求。后训练（post-training）会把这种基础模型调整成更可用的助手。

### 指令微调

> 例子：
>
> 用户：把“你错了”改得更礼貌。
>
> 理想回答：这个说法可能不够准确，我们可以再核对一下。

基础模型可能把这句话续写成一段关于沟通技巧的文章，也可能直接重复原文。指令微调（Supervised Fine-Tuning，SFT）用大量“指令 + 期望回答”的样本训练模型，让它学会识别角色、遵循格式、保持语气和处理常见任务。

SFT 仍然使用下一 Token 预测损失，只是训练数据从普通文本变成了对话或指令数据。常见实现会把系统、用户和助手的消息按聊天模板编码，并对回答部分计算损失；具体哪些 Token 参与损失由训练框架和数据结构决定，不能假设所有实现完全相同。

### 偏好优化

> 例子：
>
> 用户：我明天要考试，很焦虑。
>
> 回答 A：别焦虑。
>
> 回答 B：先列出明天要复习的三件事，再把手机放远一点。焦虑通常来自任务不清楚，先缩小下一步会更容易开始。

人类通常更偏好 B。偏好优化收集这种成对比较，让模型提高更受欢迎回答的相对概率，降低不被偏好回答的概率。

经典 RLHF（Reinforcement Learning from Human Feedback）会先训练一个奖励模型，给回答打分，再用强化学习算法优化语言模型，同时用 KL 惩罚限制新模型不要偏离参考模型太远。DPO（Direct Preference Optimization）则直接用偏好对构造训练目标，不需要在常见流程中单独训练奖励模型。两者的共同点是：优化目标来自人类偏好或偏好数据，而不是单纯复制标准答案。

偏好优化改变的是模型的行为分布。它可以让回答更有帮助、更符合格式或更安全，但不能自动把模型变成一个可靠的事实数据库。一个表达流畅、语气合适的回答仍然可能包含错误。

### 推理训练与工具使用

> 例子：甲单独完成一项工作需要 6 小时，乙单独完成需要 3 小时，两人合作需要多久？基础模型可能直接给出错误答案；经过推理训练的模型可能先生成“总效率 = 1/6 + 1/3 = 1/2，所以需要 2 小时”这样的中间步骤，再给出最终结果。

一些现代模型会用强化学习训练更长的推理轨迹。训练系统可以用数学答案、代码测试或规则验证器判断最终结果，再把成功轨迹的生成概率提高。这样，模型学会在需要时生成中间步骤，把更多计算放到输出 Token 上。这个过程仍然属于自回归生成，只是模型被训练成更倾向于先展开问题再回答。[DeepSeek-R1 技术报告](https://arxiv.org/abs/2501.12948) 展示了这一类推理强化学习路线，但具体训练配方和可见推理内容会因产品而异。

工具调用则是另一条路径。模型本身不执行 HTTP 请求，也不天然拥有实时数据。运行时把可用工具描述放进上下文，模型生成一个结构化的工具调用；外部程序执行工具，把结果作为新的上下文返回，模型再生成最终回答：

```text
用户：今天台北天气怎么样？
  |
  v
模型：调用 weather(city="Taipei")
  |
  v
运行时：{"temperature": 27, "rain": false}
  |
  v
模型：今天台北气温约 27 摄氏度，暂时没有降雨。
```

这个例子里的天气值只是为了展示消息流，不是实时数据。工具调用把“生成语言”和“访问外部系统”分开，权限、参数校验和执行结果的可信度由运行时负责。检索增强生成（RAG）也是类似思路：先检索文档，再把相关片段放进上下文，让模型基于可见材料回答。

## 推理阶段：为什么需要 Prefill 和 KV Cache

```mermaid
sequenceDiagram
    autonumber
    participant U as 用户输入
    participant P as Prefill 阶段
    participant KV as KV Cache 显存
    participant D as Decode 阶段 (逐字生成)

    U->>P: 输入完整 Prompt (12 Tokens)
    Note over P: 并行计算全部 12 个位置的 Q, K, V
    P->>KV: 写入全部 12 个历史 Tokens 的 K 与 V
    P->>D: 采样生成首个输出 Token: '巴黎'

    loop 逐 Token 自回归生成
        D->>KV: 仅计算新 Token 的 Q, K, V，并追加写入 K, V
        KV-->>D: 读取所有已缓存的历史 K 与 V 参与注意力计算
        D-->>D: 采样产出下一个 Token，直到遇到 EOS 结束
    end
```

开头的问题正文有 12 个 Token（不含“用户：”前缀）。模型可以先并行处理这 12 个位置，建立它们的中间结果；之后每生成一个新 Token，只需要计算新位置，并复用前面已经算过的 Key 和 Value。

推理通常分成两个阶段。Prefill 处理完整输入，吞吐较高，因为输入位置可以并行处理。Decode 逐 Token 生成输出，必须按顺序推进，因为下一个 Token 依赖前一个 Token。对话模型的首 Token 延迟主要受排队、输入长度和 Prefill 影响，后续 Token 的间隔则更多受 Decode 影响。

KV Cache 保存每一层历史 Token 的 Key 和 Value。对于因果注意力，历史 Token 的 Key/Value 不会因为后面新增 Token 而改变，所以后续位置可以复用它们，避免每一步都重新计算整个前缀。忽略分片和额外开销时，KV Cache 的容量可以粗略写成：

```text
2 × 层数 × KV 头数 × 每个头的维度
  × 当前 Token 数 × 并发序列数
  × 每个元素的字节数
```

公式里的 `2` 表示 Key 和 Value 两份数据；当前 Token 数按单条序列计算，再乘以并发序列数。GQA 会减少 KV 头数；量化会减少每个元素的字节数；分页、前缀复用和缓存淘汰会影响实际占用。上下文越长、并发越高，KV Cache 越可能成为显存瓶颈。

Prefill 阶段的标准全注意力计算会按输入长度的平方增长（O(n²)）；Decode 阶段每生成一个 Token，仍要让当前位置关注全部历史位置。[FlashAttention](https://arxiv.org/abs/2205.14135) 通过更高效的内存访问减少中间矩阵的读写，[PagedAttention](https://arxiv.org/abs/2309.06180) 通过分页管理 KV Cache 来降低碎片和浪费。这些优化改善的是执行效率，不会让模型凭空获得更长的有效记忆。

部署时还常把模型权重从 BF16 或 FP16 量化成 INT8、INT4 等精度。量化降低权重存储和显存带宽压力，但可能改变输出分布，因此需要用任务评测确认质量损失是否可以接受。它改变的是数值表示和运行成本，不会给模型增加新的知识。

## 上下文窗口不是永久记忆

> 例子：用户在第一轮说“我叫小明”，第二轮只问“我叫什么”。如果运行时把第一轮消息一起放回上下文，模型可以看到“小明”；如果没有放回，模型没有跨请求保存这段对话的机制。

语言模型的一次前向计算本身是无状态的。聊天产品所谓的“记住上一轮”，通常是应用把历史消息、摘要或检索到的记忆重新拼进当前上下文。模型权重不会因为一次普通对话就自动更新。

上下文窗口是模型一次可以接收的 Token 上限，通常包括系统消息、历史对话、检索材料、当前问题和即将生成的输出。窗口更大，不代表每个位置都能被同样可靠地利用。[长上下文研究](https://arxiv.org/abs/2307.03172) 观察到，相关信息出现在中间位置时，模型的表现可能低于信息出现在开头或结尾的情况；不同模型和任务的结果并不相同。因此，检索、摘要、分段处理和关键信息重排仍然是工程上常见的手段。

## 采样策略决定“同样的概率”如何变成回答

> 例子：假设模型在“法国的首都是”之后给出下面这组示意概率：
>
> `巴黎 0.86`、`里昂 0.04`、`马赛 0.03`、其他 `0.07`。

如果每一步都选择概率最高的 Token，这叫 greedy decoding。它容易得到稳定、保守的结果，但不一定总是最自然，也可能陷入重复。聊天模型通常使用采样，让输出具有多样性。

温度 `T` 会在 softmax 前缩放 logit：

$$
p_i(T) = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
$$

`T < 1` 会让分布更尖锐，高概率 Token 更容易被选中；`T > 1` 会让分布更平坦，低概率 Token 获得更多机会。`T = 0` 在数学上不能直接代入这个公式，工程实现通常把它解释为 greedy。Top-k 只保留分数最高的 `k` 个候选；Top-p 从高到低保留累计概率达到阈值的最小集合，再在集合内重新归一化并采样。

所以“模型知道巴黎是首都”和“模型每次都回答巴黎”不是同一件事。前者是概率分布中的相对分数，后者还取决于温度、Top-p、随机种子、停止条件和运行时版本。即使温度设为零，不同批处理、硬件和推理实现也可能带来细微差异，不能把某一次输出当成严格的确定性证明。

生成循环还需要停止条件：模型输出结束 Token、命中停止字符串，或者达到最大输出 Token 数。缺少停止条件时，模型可能继续生成新的句子，甚至重复前面的内容。

## 幻觉：为什么流畅不等于正确

> 例子：用户要求给出一篇虚构论文《Quantum Gardening with Entangled Tomatoes》的作者和 DOI。模型可能生成一个看起来很像真实引用的作者名、年份和 DOI。

这是一个故意构造的虚构输入。模型的训练目标是提高合理 Token 的概率，不是先查询一个事实数据库再决定是否回答。当训练语料中存在大量“论文标题 -> 作者、年份、DOI”的格式时，模型很容易沿着这个格式继续生成，即使目标论文根本不存在。

幻觉不只发生在虚构引用。日期、人物关系、数字、代码 API 和多步推理都可能出现错误。降低风险的办法包括提供可核验资料、使用检索和工具、要求引用、做结构化约束、运行测试以及建立评测集。这些办法能降低错误率，但不能把语言模型变成永不犯错的数据库。

同样，模型参数中的知识有训练截止时间。对于训练之后发生的事件、私有文档和实时状态，模型要么不知道，要么只能根据上下文猜测。把最新资料放进上下文或交给工具查询，才是解决信息时效性的直接办法。

## 训练和推理不是同一件事

把前面几个阶段放在一起，可以区分得很清楚：

| 阶段 | 使用什么数据 | 是否更新权重 | 主要目标 |
| --- | --- | --- | --- |
| 预训练 | 大规模文本、代码等 | 是 | 学会下一 Token 的分布 |
| 指令微调 | 指令和期望回答 | 是 | 学会按指令组织回答 |
| 偏好优化 | 成对偏好或奖励信号 | 是 | 更符合人类偏好和安全要求 |
| 推理 | 当前上下文、工具结果 | 否 | 根据已有权重生成回答 |

训练改变的是 `θ`，也就是模型参数。推理改变的是当前输入和 KV Cache，不会因为一次对话就改写模型权重。理解这条边界，很多现象就更容易解释：模型为什么会忘记上一轮、为什么会受到系统提示影响、为什么同一个问题换一种问法会得到不同答案，以及为什么工具调用需要由外部运行时控制。

## 回到开头的“巴黎”

现在把开头的过程完整走一遍：

1. “请只回答城市名：法国的首都是哪里？”被切成 12 个 Token。
2. 每个 Token ID 查嵌入矩阵，得到向量，并加入位置信息。
3. 多层 Transformer 通过注意力和 MLP 把上下文混合，最后一个位置形成“回答首都问题”的表示。
4. 输出头把表示映射到词表 logits，softmax 得到概率。
5. 解码策略从候选中选出“巴黎”，把它追加到输入后面。
6. 模型再次计算，判断是否输出结束 Token。
7. 文本接口把 Token 解码成字符串，流式返回给用户。

这条链路可以用一句简化公式概括：

```text
LLM ≈ Tokenizer
    + P(下一个 Token | 上下文; 参数)
    + 解码与停止规则
```

其中 `P` 不是一张人工写入的规则表，而是由大量参数组成的条件概率函数。预训练让它学会语言和世界知识中的统计结构，后训练让它更会遵循指令和偏好，推理系统再通过采样、KV Cache、工具和上下文管理把它变成可用的产品。

模型看起来像是在“理解”问题，是因为它能在大量上下文中形成有用的内部表示，并据此预测接下来的 Token。这个解释足以说明生成过程，但不等于模型拥有和人类相同的意识、意图或事实核查机制。把 LLM 看成“被训练出来的条件概率模型 + 一套运行时系统”，比把它看成一个会查资料的人，更接近实际发生的事情。

## 参考资料

1. [Attention Is All You Need](https://arxiv.org/abs/1706.03762)，Transformer 的原始论文。
2. [Language Models are Few-Shot Learners](https://arxiv.org/abs/2005.14165)，GPT-3 与自回归语言模型规模化的代表性工作。
3. [Training language models to follow instructions with human feedback](https://arxiv.org/abs/2203.02155)，InstructGPT 与 RLHF 流程。
4. [Direct Preference Optimization: Your Language Model is Secretly a Reward Model](https://arxiv.org/abs/2305.18290)，DPO。
5. [Training Compute-Optimal Large Language Models](https://arxiv.org/abs/2203.15556)，Chinchilla 与计算最优训练。
6. [RoFormer: Enhanced Transformer with Rotary Position Embedding](https://arxiv.org/abs/2104.09864)，RoPE。
7. [GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints](https://arxiv.org/abs/2305.13245)，GQA。
8. [The Llama 3 Herd of Models](https://arxiv.org/abs/2407.21783)，Llama 3 的模型与训练规模。
9. [DeepSeek-V3 Technical Report](https://arxiv.org/abs/2412.19437)，MoE、总参数量与激活参数量。
10. [DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning](https://arxiv.org/abs/2501.12948)，推理强化学习。
11. [Lost in the Middle: How Language Models Use Long Contexts](https://arxiv.org/abs/2307.03172)，长上下文中的信息位置问题。
12. [Efficient Memory Management for Large Language Model Serving with PagedAttention](https://arxiv.org/abs/2309.06180)，PagedAttention 与 KV Cache 管理。
13. [FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness](https://arxiv.org/abs/2205.14135)，IO-aware 注意力优化。
14. [tiktoken](https://github.com/openai/tiktoken)，本文用于核对 Token 切分的编码器实现。

