现代 LLM 原理:从一次回答拆开 Token、Transformer 与训练过程
最后更新:
把下面这句话发给一个聊天模型:
| |
界面上看到的是一次问答。模型内部发生的事情却更接近下面这个过程:先把问题切成若干 Token,把每个 Token 变成向量,经过几十层 Transformer 计算上下文,再在词表上算出一组下一 Token 的概率,选出“巴黎”,把它接到输入后面,继续判断是否结束。
本文从这个回答出发,逐层拆开现代大语言模型的工作方式。文中讨论的是以文本为输入输出的 decoder-only 语言模型;多模态模型会在进入主干前增加图像或音频编码器,但“根据上下文预测下一个 Token”的主干仍然相同。为了便于核对,文中出现的真实 Token 切分使用 tiktoken 的 o200k_base 编码实际计算;标为示意的概率、向量和权重只用于解释机制,不代表某个具体模型的输出。
一次回答并不只做一次计算
flowchart LR
INPUT["用户输入<br/>'法国的首都是哪里?'"] --> TOK["分词器 Tokenizer<br/>切分为 Token ID 序列"]
TOK --> EMB["Embedding + RoPE<br/>查表生成向量并注入位置编码"]
EMB --> LAYERS["N 层 Transformer Blocks<br/>多头注意力 MHA/GQA + MLP + 残差连接"]
LAYERS --> HEAD["LM Head 输出头<br/>映射到词表大小的 Logits"]
HEAD --> SOFTMAX["Softmax 与采样策略<br/>产出概率分布并选取下一 Token '巴黎'"]
SOFTMAX --> APPEND["追加到输入末尾<br/>循环前向计算直至输出 EOS"]
上面的问题进入模型时,并不是以一整句汉字的形式存在。用 o200k_base 编码实际切分,会得到:
| |
这里已经出现了第一个容易误解的地方:首 和 都是 被切成了两个 Token,而不是 首都 和 是。分词器追求的是语料中的高频片段和编码效率,不是语言学上的词法分析。巴黎 在这个编码下则是一个完整的 Token,ID 是 168959。
模型真正接收的是这些整数 ID。每个 ID 先查表得到一个向量,再和位置信息结合,进入 Transformer 层。最后一层在最后一个输入位置产生一个隐藏向量,输出头把这个向量映射成词表中每个 Token 的分数。分数经过 softmax 后变成概率,解码器再从中选一个 Token。
聊天模型还会在文本前后加入 system、user、assistant 等角色标记或特殊 Token。用户看到的是一句问题,模型实际接收的序列可能还包含这些不可见标记,它们也占用上下文窗口。
为了只展示输出形态,假设模型在这个位置给出下面这组概率:
| 候选 Token | 概率 |
|---|---|
| 巴黎 | 0.86 |
| 里昂 | 0.04 |
| 马赛 | 0.03 |
| 其他候选 | 0.07 |
这组数字是示意,不是实测结果。它说明的是:模型的直接输出不是一个已经写好的句子,而是一个覆盖整个词表的概率分布。选择“巴黎”之后,模型把 巴黎 追加到序列末尾,再次运行前向计算。此时输入已经变成“问题 + 巴黎”,模型需要判断下一个 Token 是句号、换行还是结束符。聊天模型通常会在这里输出一个不可见的结束 Token,生成循环随之停止。
“巴黎是法国首都”这个事实也不是模型在运行时从数据库里查到的。它来自训练数据在参数中形成的统计关联;如果当前问题直接提供了资料,模型还可以通过注意力利用上下文中的信息。需要实时或私有数据时,才需要检索和工具调用把它送进上下文。
因此,用户看到的“逐字输出”至少涉及两个层面。模型层面是按 Token 生成,界面层面可能把多个 Token 合并成一个流式片段再显示。巴黎 恰好是一个 Token,所以它可能一次出现在界面上;英文单词或中文长词则可能由多个 Token 组成,显示时被拆成多个片段。
Token 不是汉字,也不是单词
例子:英文单词
strawberry在o200k_base中被切成st | raw | berry,而不是十个字母,也不是一个完整的单词。
这个切分直接影响了模型处理字母级任务的方式。问模型“strawberry 里有几个 r”时,模型看到的输入单元是三个 Token ID,而不是十个字符。模型仍可能在训练中学会拼写和计数,因为 Token 的字节组成会影响它出现在哪些上下文里,模型也能通过多个 Token 的组合学习字符模式;但这不是一个天然按字符遍历的过程。Tokenization 让常见片段更短,也让字母级操作变得更间接。
现代语言模型常用的分词方法之一是 BPE(Byte Pair Encoding,字节对编码)。它从较小的字节或字符单元开始,统计语料中相邻片段出现的频率,反复合并高频组合,直到词表达到预设大小。高频词可能成为一个 Token,低频词会被拆成多个片段,汉字也可能以单字、词组或字节片段的形式出现。
BPE 的结果由语料、词表大小和训练配置决定,所以不同模型的分词器不能混用。一个模型认为很短的句子,在另一个模型里可能多出很多 Token。上下文窗口、计费、吞吐和长文本截断都以 Token 为单位,而不是以汉字数或单词数为单位。
Token ID 只是索引。模型有一张形状为 词表大小 × 隐藏维度 的嵌入矩阵,ID 用来取出对应的一行:
| |
向量的具体数值没有人类可读的含义,它们是训练出来的参数。相似的 Token 在向量空间中可能接近,但“接近”反映的是模型在预测任务中使用它们的方式,不等同于人类词典里的同义关系。
位置信息让同一组 Token 产生不同含义
例子:
A 打败 B和B 打败 A使用了相同的三个 Token,但表达的关系相反。
如果没有位置信息,Self-Attention 本身不区分位置。它只能看到同一组 Token 的内容,无法仅凭内容判断谁打败了谁。位置编码把“第几个位置”注入模型,使注意力可以区分“A 在前”和“A 在后”。
原始 Transformer 使用正弦位置编码,后续模型也常用可学习的位置向量。现代 decoder-only 模型常用 RoPE(Rotary Position Embedding,旋转位置编码)把位置信息作用到 Query 和 Key 上,让注意力分数带有相对位置关系。具体实现会因模型而异,但目的相同:让模型知道 Token 的先后顺序,并能在长上下文中区分不同距离的关系。
这也是为什么“把一句话的词打乱”不是无关紧要的预处理。词袋模型可能只关心出现了哪些词,语言模型还必须关心它们如何排列、相隔多远、在什么结构中互相约束。
Attention 在做什么
例子:
苹果发布了新手机,因为它想抢占高端市场。
苹果掉在桌上,因为它已经熟透了。两个句子里的“它”是同一个 Token,但前一句更可能指公司,后一句更可能指水果。
模型并不会在内部维护一个“代词指代表”。它通过注意力让“它”这个位置读取前文不同 Token 的信息,形成不同的上下文向量。第一句里,“苹果”“发布”“高端市场”等位置的 Key 与“它”的 Query 产生不同的匹配分数;第二句里,“掉”“桌”“熟透”会改变分数分布。最后,“它”的表示会偏向不同的语义方向。
用公式表示,单个注意力头会为每个位置计算 Query、Key 和 Value:
$$ q_i = x_i W_Q,\qquad k_j = x_j W_K,\qquad v_j = x_j W_V $$位置 i 对位置 j 的原始匹配分数是:
在 decoder-only 模型中,还要加上 causal mask:位置 i 只能看到 j <= i 的位置,不能偷看未来 Token。经过掩码和 softmax 后得到权重:
当前位置的输出就是所有 Value 的加权和:
$$ o_i = \sum_{j \le i} \alpha_{ij} v_j $$
flowchart LR
Q["Query (当前位置查询 qi)"] --> DOT["点积计算匹配度<br/>(qi · kj) / √dk"]
K["Key (历史位置键 kj)"] --> DOT
DOT --> MASK["因果掩码 Causal Mask<br/>遮蔽未来位置 (j > i)"]
MASK --> SOFTMAX["Softmax<br/>归一化为注意力权重 αij"]
SOFTMAX --> SUM["按权重加权求和<br/>Σ αij · vj"]
V["Value (历史位置值 vj)"] --> SUM
SUM --> OUT["输出向量 oi<br/>融入上下文的新表示"]
可以把 Query 理解成“当前位置想找什么信息”,把 Key 理解成“其他位置能提供什么索引”,把 Value 理解成“真正被搬运的内容”。这只是帮助理解的类比。模型中的 Query、Key、Value 都是学习出来的连续向量,并不对应可读的自然语言问题,也不能保证每个注意力头都能被解释成一个明确的语言规则。
多个注意力头
一个 Transformer 层通常有多个注意力头,每个头有独立的投影矩阵。它们并行计算不同的注意力分布,再把结果拼接起来,经过一次输出投影。某些头可能对句法结构敏感,某些头可能关注相邻位置或重复片段,但这种分工不是预先写死的,也不能把每个头都稳定地命名成“指代头”或“语法头”。
多头的价值在于提供多个可学习的视角。以“它”所在的句子为例,一个头可能更关注“苹果”,另一个头可能更关注“高端市场”,还有一个头可能关注句子边界。最终表示由这些视角组合而成,而不是由某个头单独决定答案。
注意力的代价
对于长度为 n 的序列,标准全注意力需要计算位置之间的两两关系,单层注意力分数矩阵的大小约为 n × n。因此,Prefill 阶段的计算量通常会按序列长度的平方增长(O(n²));显存和内存访问也会成为瓶颈。FlashAttention 通过分块和减少显存读写来提高效率,但它没有改变全注意力在数学上仍然是两两交互这一事实。
注意力之后,还有前馈网络和残差连接
例子:在“法国的首都是”这句话里,最后一个位置需要同时保留“前面出现过法国”“当前在回答首都”“输出应该是一个城市名”等信息。注意力把这些信息汇集到当前表示,前馈网络再把它们组合成对下一个 Token 的判断。
这句话描述的是信息流,不是说某个神经元或某个维度单独存储了“法国”。Transformer 的表示是分布式的,一个概念会分布在许多维度上,也会和上下文共同变化。
每个 Transformer block 大致包含两部分:
| |
用 pre-norm 结构表示,可以写成:
$$ x' = x + \operatorname{Attention}(\operatorname{Norm}(x)) $$$$ x'' = x' + \operatorname{MLP}(\operatorname{Norm}(x')) $$残差连接让原始表示可以沿层直接传下去,降低深层网络训练难度;归一化让不同层的数值尺度更稳定。不同模型可能使用 LayerNorm、RMSNorm 或不同的放置顺序,但目标都是让深层堆叠可训练。
MLP 对每个位置独立作用,通常先把向量投影到更高维的中间空间,经过非线性激活,再投影回来。它不是一个可读的知识库,而是对上下文向量做非线性特征组合。注意力和 MLP 交替堆叠几十层之后,模型才能把低层的子词片段、词形和局部搭配,逐层组合成更抽象的关系。
从隐藏向量到词表概率
最后一层输出的是一个隐藏向量,不是直接的文字。输出头把它投影到词表大小,得到每个 Token 的 logit:
$$ z = h_{\text{last}} W_{\text{vocab}} $$logit 可以理解为未归一化的分数。softmax 把分数变成概率:
$$ p_i = \frac{\exp(z_i)}{\sum_j \exp(z_j)} $$这里有两个经常被混淆的点。第一,logit 不是概率;第二,模型给出高概率的 Token 不一定事实上正确,只表示在当前参数和上下文下,它更符合训练中学到的分布。
以开头的“法国的首都是”为例,如果训练语料里“法国”和“巴黎”经常一起出现,模型会给“巴黎”较高的 logit。但模型也可能在别的上下文中给“里昂”或“马赛”较高分数,因为概率始终以完整上下文为条件。改变系统提示、前面的对话或问题措辞,都会改变最后一层隐藏向量,进而改变整个词表上的分布。
预训练:把预测下一个 Token 变成学习目标
例子:把
今天很适合散步。用o200k_base切开后,得到:
今天 | 很 | 适 | 合 | 散 | 步 | 。预训练会在同一段文本上构造多个“前缀 -> 下一个 Token”的预测任务。
| 输入前缀 | 预测目标 |
|---|---|
| 今天 | 很 |
| 今天 很 | 适 |
| 今天 很 适 | 合 |
| 今天 很 适 合 | 散 |
| 今天 很 适 合 散 | 步 |
| 今天 很 适 合 散 步 | 。 |
这张表是概念上的拆解。实际训练不会为每一行单独跑一次模型。训练时把整段 Token 序列一次性送入 Transformer,利用 causal mask 让每个位置只能看到自己之前的 Token,然后同时计算所有位置的预测损失。这种做法叫 teacher forcing:训练数据中正确的下一个 Token 是已知的,模型不需要先生成一遍再学习。
预训练目标可以写成:
$$ L(\theta) = -\frac{1}{N-1}\sum_{t=2}^{N} \log p_\theta(x_t \mid x_{\lt t}) $$其中 N 是序列长度,θ 是模型参数,x_<t 是位置 t 之前的 Token。模型提高正确 Token 的概率,就会降低交叉熵损失。
例子:如果正确 Token 的预测概率是
0.8,损失约为0.223;如果只有0.2,损失约为1.609;如果只有0.01,损失约为4.605。
这组数字来自 -ln(p)。概率越低,损失越大。语言模型训练通常还会报告 perplexity,即 exp(平均交叉熵),但它和具体分词器绑定,不能脱离 Token 词表直接比较两个模型“谁更聪明”。
训练时,反向传播计算损失对每个参数的梯度,优化器再更新参数。可以把一次更新粗略理解为:
$$ \theta_{\text{new}} = \theta - \eta \nabla_\theta L $$η 是学习率。真实训练会使用 AdamW、学习率调度、梯度累积、混合精度、分布式并行和检查点等技术;这些技术改变的是优化效率和规模,不改变“用下一 Token 预测训练参数”的核心目标。
预训练数据与规模
预训练数据通常来自网页、代码、书籍、论文和其他文本集合,但原始数据不能直接拿来训练。团队会做去重、质量过滤、语言识别、隐私和安全处理,并调整不同来源的比例。数据质量、覆盖范围和重复度会直接影响模型能力。
规模可以用一个具体模型作参照。Meta 在 Llama 3 论文 中报告,Llama 3 使用了超过 15 万亿 Token 的预训练数据。这个数字说明现代语言模型的训练目标虽然简单,但数据量和计算量很大;它不意味着 15 万亿 Token 中的每一段都同样有价值,也不意味着所有模型都必须使用相同规模。
Scaling law 研究描述了在一定范围内,模型损失如何随参数量、数据量和计算量变化。Chinchilla 论文 进一步说明,在固定计算预算下,参数量和训练 Token 数需要一起考虑,不能只增大模型而忽略数据。论文中的计算最优比例是研究设定下的结果,实际产品还会把推理成本、延迟、显存和部署规模纳入选择。
稠密模型与稀疏模型
例子:DeepSeek-V3 技术报告 给出的是一个总参数量约
671B、每个 Token 激活约37B参数的 MoE 模型。
稠密模型处理每个 Token 时,通常都会经过同一套前馈网络参数。MoE(Mixture of Experts,混合专家)模型则在部分层中准备多个专家网络,由一个路由器为每个 Token 选择少数几个专家。总参数可以很大,但单个 Token 实际参与计算的参数较少。
这带来一个很重要的区分:总参数量不等于每个 Token 的激活参数量,也不等于模型部署时占用的显存。未激活的专家仍然需要被保存,训练还要处理负载均衡和专家利用率问题。MoE 也不是一个额外的“推理模块”,它仍然服务于同一个下一 Token 预测目标。
另一个常见变化是 GQA(Grouped-Query Attention)。它让多个 Query 头共享较少的 Key/Value 头,从而减少推理时 KV Cache 的规模。假设一个模型有 32 个 Query 头、8 个 KV 头,那么 KV 相关的缓存需求会显著小于每个 Query 头都配一套 Key/Value 的设计。这个数字只是结构示意,具体模型配置要以模型卡或配置为准;GQA 的原始工作见 GQA 论文。
后训练:从会续写,到会按指令回答
预训练完成后,模型已经能根据上下文续写文本,但未必会稳定地遵循用户要求。后训练(post-training)会把这种基础模型调整成更可用的助手。
指令微调
例子:
用户:把“你错了”改得更礼貌。
理想回答:这个说法可能不够准确,我们可以再核对一下。
基础模型可能把这句话续写成一段关于沟通技巧的文章,也可能直接重复原文。指令微调(Supervised Fine-Tuning,SFT)用大量“指令 + 期望回答”的样本训练模型,让它学会识别角色、遵循格式、保持语气和处理常见任务。
SFT 仍然使用下一 Token 预测损失,只是训练数据从普通文本变成了对话或指令数据。常见实现会把系统、用户和助手的消息按聊天模板编码,并对回答部分计算损失;具体哪些 Token 参与损失由训练框架和数据结构决定,不能假设所有实现完全相同。
偏好优化
例子:
用户:我明天要考试,很焦虑。
回答 A:别焦虑。
回答 B:先列出明天要复习的三件事,再把手机放远一点。焦虑通常来自任务不清楚,先缩小下一步会更容易开始。
人类通常更偏好 B。偏好优化收集这种成对比较,让模型提高更受欢迎回答的相对概率,降低不被偏好回答的概率。
经典 RLHF(Reinforcement Learning from Human Feedback)会先训练一个奖励模型,给回答打分,再用强化学习算法优化语言模型,同时用 KL 惩罚限制新模型不要偏离参考模型太远。DPO(Direct Preference Optimization)则直接用偏好对构造训练目标,不需要在常见流程中单独训练奖励模型。两者的共同点是:优化目标来自人类偏好或偏好数据,而不是单纯复制标准答案。
偏好优化改变的是模型的行为分布。它可以让回答更有帮助、更符合格式或更安全,但不能自动把模型变成一个可靠的事实数据库。一个表达流畅、语气合适的回答仍然可能包含错误。
推理训练与工具使用
例子:甲单独完成一项工作需要 6 小时,乙单独完成需要 3 小时,两人合作需要多久?基础模型可能直接给出错误答案;经过推理训练的模型可能先生成“总效率 = 1/6 + 1/3 = 1/2,所以需要 2 小时”这样的中间步骤,再给出最终结果。
一些现代模型会用强化学习训练更长的推理轨迹。训练系统可以用数学答案、代码测试或规则验证器判断最终结果,再把成功轨迹的生成概率提高。这样,模型学会在需要时生成中间步骤,把更多计算放到输出 Token 上。这个过程仍然属于自回归生成,只是模型被训练成更倾向于先展开问题再回答。DeepSeek-R1 技术报告 展示了这一类推理强化学习路线,但具体训练配方和可见推理内容会因产品而异。
工具调用则是另一条路径。模型本身不执行 HTTP 请求,也不天然拥有实时数据。运行时把可用工具描述放进上下文,模型生成一个结构化的工具调用;外部程序执行工具,把结果作为新的上下文返回,模型再生成最终回答:
| |
这个例子里的天气值只是为了展示消息流,不是实时数据。工具调用把“生成语言”和“访问外部系统”分开,权限、参数校验和执行结果的可信度由运行时负责。检索增强生成(RAG)也是类似思路:先检索文档,再把相关片段放进上下文,让模型基于可见材料回答。
推理阶段:为什么需要 Prefill 和 KV Cache
sequenceDiagram
autonumber
participant U as 用户输入
participant P as Prefill 阶段
participant KV as KV Cache 显存
participant D as Decode 阶段 (逐字生成)
U->>P: 输入完整 Prompt (12 Tokens)
Note over P: 并行计算全部 12 个位置的 Q, K, V
P->>KV: 写入全部 12 个历史 Tokens 的 K 与 V
P->>D: 采样生成首个输出 Token: '巴黎'
loop 逐 Token 自回归生成
D->>KV: 仅计算新 Token 的 Q, K, V,并追加写入 K, V
KV-->>D: 读取所有已缓存的历史 K 与 V 参与注意力计算
D-->>D: 采样产出下一个 Token,直到遇到 EOS 结束
end
开头的问题正文有 12 个 Token(不含“用户:”前缀)。模型可以先并行处理这 12 个位置,建立它们的中间结果;之后每生成一个新 Token,只需要计算新位置,并复用前面已经算过的 Key 和 Value。
推理通常分成两个阶段。Prefill 处理完整输入,吞吐较高,因为输入位置可以并行处理。Decode 逐 Token 生成输出,必须按顺序推进,因为下一个 Token 依赖前一个 Token。对话模型的首 Token 延迟主要受排队、输入长度和 Prefill 影响,后续 Token 的间隔则更多受 Decode 影响。
KV Cache 保存每一层历史 Token 的 Key 和 Value。对于因果注意力,历史 Token 的 Key/Value 不会因为后面新增 Token 而改变,所以后续位置可以复用它们,避免每一步都重新计算整个前缀。忽略分片和额外开销时,KV Cache 的容量可以粗略写成:
| |
公式里的 2 表示 Key 和 Value 两份数据;当前 Token 数按单条序列计算,再乘以并发序列数。GQA 会减少 KV 头数;量化会减少每个元素的字节数;分页、前缀复用和缓存淘汰会影响实际占用。上下文越长、并发越高,KV Cache 越可能成为显存瓶颈。
Prefill 阶段的标准全注意力计算会按输入长度的平方增长(O(n²));Decode 阶段每生成一个 Token,仍要让当前位置关注全部历史位置。FlashAttention 通过更高效的内存访问减少中间矩阵的读写,PagedAttention 通过分页管理 KV Cache 来降低碎片和浪费。这些优化改善的是执行效率,不会让模型凭空获得更长的有效记忆。
部署时还常把模型权重从 BF16 或 FP16 量化成 INT8、INT4 等精度。量化降低权重存储和显存带宽压力,但可能改变输出分布,因此需要用任务评测确认质量损失是否可以接受。它改变的是数值表示和运行成本,不会给模型增加新的知识。
上下文窗口不是永久记忆
例子:用户在第一轮说“我叫小明”,第二轮只问“我叫什么”。如果运行时把第一轮消息一起放回上下文,模型可以看到“小明”;如果没有放回,模型没有跨请求保存这段对话的机制。
语言模型的一次前向计算本身是无状态的。聊天产品所谓的“记住上一轮”,通常是应用把历史消息、摘要或检索到的记忆重新拼进当前上下文。模型权重不会因为一次普通对话就自动更新。
上下文窗口是模型一次可以接收的 Token 上限,通常包括系统消息、历史对话、检索材料、当前问题和即将生成的输出。窗口更大,不代表每个位置都能被同样可靠地利用。长上下文研究 观察到,相关信息出现在中间位置时,模型的表现可能低于信息出现在开头或结尾的情况;不同模型和任务的结果并不相同。因此,检索、摘要、分段处理和关键信息重排仍然是工程上常见的手段。
采样策略决定“同样的概率”如何变成回答
例子:假设模型在“法国的首都是”之后给出下面这组示意概率:
巴黎 0.86、里昂 0.04、马赛 0.03、其他0.07。
如果每一步都选择概率最高的 Token,这叫 greedy decoding。它容易得到稳定、保守的结果,但不一定总是最自然,也可能陷入重复。聊天模型通常使用采样,让输出具有多样性。
温度 T 会在 softmax 前缩放 logit:
T < 1 会让分布更尖锐,高概率 Token 更容易被选中;T > 1 会让分布更平坦,低概率 Token 获得更多机会。T = 0 在数学上不能直接代入这个公式,工程实现通常把它解释为 greedy。Top-k 只保留分数最高的 k 个候选;Top-p 从高到低保留累计概率达到阈值的最小集合,再在集合内重新归一化并采样。
所以“模型知道巴黎是首都”和“模型每次都回答巴黎”不是同一件事。前者是概率分布中的相对分数,后者还取决于温度、Top-p、随机种子、停止条件和运行时版本。即使温度设为零,不同批处理、硬件和推理实现也可能带来细微差异,不能把某一次输出当成严格的确定性证明。
生成循环还需要停止条件:模型输出结束 Token、命中停止字符串,或者达到最大输出 Token 数。缺少停止条件时,模型可能继续生成新的句子,甚至重复前面的内容。
幻觉:为什么流畅不等于正确
例子:用户要求给出一篇虚构论文《Quantum Gardening with Entangled Tomatoes》的作者和 DOI。模型可能生成一个看起来很像真实引用的作者名、年份和 DOI。
这是一个故意构造的虚构输入。模型的训练目标是提高合理 Token 的概率,不是先查询一个事实数据库再决定是否回答。当训练语料中存在大量“论文标题 -> 作者、年份、DOI”的格式时,模型很容易沿着这个格式继续生成,即使目标论文根本不存在。
幻觉不只发生在虚构引用。日期、人物关系、数字、代码 API 和多步推理都可能出现错误。降低风险的办法包括提供可核验资料、使用检索和工具、要求引用、做结构化约束、运行测试以及建立评测集。这些办法能降低错误率,但不能把语言模型变成永不犯错的数据库。
同样,模型参数中的知识有训练截止时间。对于训练之后发生的事件、私有文档和实时状态,模型要么不知道,要么只能根据上下文猜测。把最新资料放进上下文或交给工具查询,才是解决信息时效性的直接办法。
训练和推理不是同一件事
把前面几个阶段放在一起,可以区分得很清楚:
| 阶段 | 使用什么数据 | 是否更新权重 | 主要目标 |
|---|---|---|---|
| 预训练 | 大规模文本、代码等 | 是 | 学会下一 Token 的分布 |
| 指令微调 | 指令和期望回答 | 是 | 学会按指令组织回答 |
| 偏好优化 | 成对偏好或奖励信号 | 是 | 更符合人类偏好和安全要求 |
| 推理 | 当前上下文、工具结果 | 否 | 根据已有权重生成回答 |
训练改变的是 θ,也就是模型参数。推理改变的是当前输入和 KV Cache,不会因为一次对话就改写模型权重。理解这条边界,很多现象就更容易解释:模型为什么会忘记上一轮、为什么会受到系统提示影响、为什么同一个问题换一种问法会得到不同答案,以及为什么工具调用需要由外部运行时控制。
回到开头的“巴黎”
现在把开头的过程完整走一遍:
- “请只回答城市名:法国的首都是哪里?”被切成 12 个 Token。
- 每个 Token ID 查嵌入矩阵,得到向量,并加入位置信息。
- 多层 Transformer 通过注意力和 MLP 把上下文混合,最后一个位置形成“回答首都问题”的表示。
- 输出头把表示映射到词表 logits,softmax 得到概率。
- 解码策略从候选中选出“巴黎”,把它追加到输入后面。
- 模型再次计算,判断是否输出结束 Token。
- 文本接口把 Token 解码成字符串,流式返回给用户。
这条链路可以用一句简化公式概括:
| |
其中 P 不是一张人工写入的规则表,而是由大量参数组成的条件概率函数。预训练让它学会语言和世界知识中的统计结构,后训练让它更会遵循指令和偏好,推理系统再通过采样、KV Cache、工具和上下文管理把它变成可用的产品。
模型看起来像是在“理解”问题,是因为它能在大量上下文中形成有用的内部表示,并据此预测接下来的 Token。这个解释足以说明生成过程,但不等于模型拥有和人类相同的意识、意图或事实核查机制。把 LLM 看成“被训练出来的条件概率模型 + 一套运行时系统”,比把它看成一个会查资料的人,更接近实际发生的事情。
参考资料
- Attention Is All You Need,Transformer 的原始论文。
- Language Models are Few-Shot Learners,GPT-3 与自回归语言模型规模化的代表性工作。
- Training language models to follow instructions with human feedback,InstructGPT 与 RLHF 流程。
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model,DPO。
- Training Compute-Optimal Large Language Models,Chinchilla 与计算最优训练。
- RoFormer: Enhanced Transformer with Rotary Position Embedding,RoPE。
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints,GQA。
- The Llama 3 Herd of Models,Llama 3 的模型与训练规模。
- DeepSeek-V3 Technical Report,MoE、总参数量与激活参数量。
- DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning,推理强化学习。
- Lost in the Middle: How Language Models Use Long Contexts,长上下文中的信息位置问题。
- Efficient Memory Management for Large Language Model Serving with PagedAttention,PagedAttention 与 KV Cache 管理。
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness,IO-aware 注意力优化。
- tiktoken,本文用于核对 Token 切分的编码器实现。