jimyag's Blog

加速 LLM 模型启动:权重加载、编译缓存与状态恢复

最后更新:

在 GPU 集群推理调度平台中,加了一个实验版 vLLM 镜像。选这个镜像时,容器先跑平台注入的 runner.py:有匹配的引擎快照就恢复,没有就照常执行 vllm serve。默认后端不变,也没改 vLLM 的模型代码或编译器。

在 4 张 4090 上,27B 模型即使命中编译缓存,重启还是要两分半。快照要省的是这段引擎就绪前的等待。本地用 ARM64 CPU 跑 Qwen3.5-0.8B,就绪时间从约 46.5 秒降到 7.5 秒;就绪后再发请求,首 Token 没有变快。4090 上的小模型也做出了快照,但新 Pod 恢复失败,没有 GPU 加速数据。

在 vLLM 前面加一个 runner

  flowchart TD
    START["Pod 启动: 执行 runner.py"] --> CHECK{"检查快照目录<br/>比对指纹 (模型/参数/GPU)"}
    CHECK -->|"快照命中"| RESTORE["warmctl up 恢复进程树"]
    RESTORE --> VERIFY{"重放 Canary 校验请求<br/>核对 Token ID 与 Logprob"}
    VERIFY -->|"Canary 校验通过"| SERVE["就绪上线,服务对外开放"]
    VERIFY -->|"Canary 失败"| CLEAN["清理残留 GPU 进程"]
    CLEAN --> FALLBACK["回退到常规冷启动: vllm serve"]
    CHECK -->|"无快照 / 参数不匹配"| FALLBACK

代码放在构建目录的 runner-images/vllm-startup-restore/,主要改了三处:

  • Dockerfile:以原有 vLLM 镜像为基础,加上 warmctl 和 DMTCP,把入口换成 runner.py。制作快照和恢复进程由 warmctl v2.0.0-beta.18(提交 984bc5f)执行。
  • runner.py:检查快照能不能用于这次启动,恢复后用真实请求验收;找不到快照,或恢复失败并清理完成,就回退到 vllm serve。
  • 0002-fdkeep-epoll-loopback.patch:改的是 DMTCP 插件。恢复时补回缺失的 epoll 和 IPv4 回环 TCP 监听,让进程还能收事件、接连接。

准备快照时显式设置 RESTORE_PREPARE=1。runner 先核对分到的 GPU、模型路径和引擎参数,再调用 warmctl build --in-place --backend dmtcp。文件写到跨 Pod 保留的目录,成功后才写完成标记。服务容器默认只找已有快照,找不到就冷启动,不在启动时临时做一份。

runner 用模型文件路径和元数据、引擎参数、运行时文件、GPU UUID 和驱动信息算快照指纹。TP、精度、上下文长度、KV Cache 预算或编译配置一改,旧快照就不再匹配。现在连参数顺序也会比对,交换两个等价参数也可能回到冷启动。冷启动时,vLLM 仍按自己的规则查编译缓存;旧快照用不了,不等于要重新编译。对外的 --host、--port 由 runner 自己处理;temperature、max_tokens 随推理请求传入,这些改动不用重做快照。

匹配上了才跑 warmctl up 并校验权重。引擎恢复后,runner 还要重放事先记录的推理请求:Token ID 要相同,logprob 的绝对误差不能超过 0.001。通过后,对外的 /health 才返回 200。恢复失败就先回收这次启动的进程,再冷启动;如果收不干净,runner 直接退出,免得两个引擎一起占 GPU。

4090:快照写出来了,新 Pod 卡在 epoll

Qwen3-0.6B 在 4090 上用 TP4 跑起来了,限容内存盘里也写出了约 16 GiB 的快照。删掉准备 Pod 后,新 Pod 读的是同一份快照,没有重新制作。日志里先出现报错并退出:

1
runtime: epollwait on fd 56 failed with 9

服务没能就绪,这次没有 GPU 恢复耗时可比。错误码 9 是 EBADF。Go 还拿着 fd 56,内核里却没有对应的 epoll 对象。Go 1.25.10 直接发系统调用创建 epoll,绕过了 DMTCP 的 libc 包装。原版 fdkeep 从 /proc/self/fdinfo 抄下了监听项,恢复时却没有补建 epoll。在本地用同一个 C 程序对照,只换创建 epoll 的方式:走 libc 的版本恢复后能收到事件,直接发系统调用的版本报了同样的 EBADF。

补丁在恢复阶段检查原描述符:

1
2
3
4
5
6
7
// fdkeep patch: 恢复阶段重建缺失的 epoll 对象
if (fcntl(saved_fd, F_GETFD) == -1 && errno == EBADF) {
    int new_fd = epoll_create1(EPOLL_CLOEXEC);
    dup2(new_fd, saved_fd);
    close(new_fd);
    // 重新挂载原监听项
}

空着才补建 epoll、放回原编号,然后挂回监听项;已经存在的 fd 不覆盖。修完以后,Go 的 TCP 探针又报连接被拒绝:监听 socket 也没恢复。这里仅补 IPv4 回环 TCP 监听,按原地址和端口重新绑定。端口已被占用就不抢,也不恢复旧连接。换一个 CPU 容器再试,Go 1.25.10 能重新接受连接、读回数据。

补丁编进实验镜像的 libdmtcp_fdkeep.so,插件的 SHA-256 也放进快照指纹。换了插件,就用新镜像再做快照。这一步只补齐恢复时缺失的内核对象,4090 上的 CUDA 恢复还没有用补丁重测。

本地 CPU:少等约 39 秒就绪

这组数据来自本地 Linux ARM64:vLLM 0.31 CPU 版、Qwen3.5-0.8B,用打过补丁的 DMTCP 直接保存和恢复进程树,没有走针对 GPU 的 runner、warmctl 的 GPU 权重池或 CUDA。两边用同一镜像和本地权重,参数都是 BF16、512 Token 上下文、最多 4 个序列、1 GiB KV Cache、eager 模式;容器都限制 4 核、6 GiB 内存。

用 fork 起 worker 的那轮,在引擎初始化时就退出了。正式对照两边都用 spawn,检查点用 DMTCP 的默认信号。准备容器用 dmtcp_launch 拉起 vLLM,先跑一条推理,再执行 dmtcp_command -bc。4 个进程的快照共约 8.4 GiB,写了 9.4 秒。第一次恢复时,dmtcp_restart 派生子进程后先退出,Docker 就把整个容器停了。后来让外层进程留在容器里,仍然用 HTTP 和真实推理判断恢复是否成功。

删掉准备容器,按冷启动、快照恢复的顺序跑了两轮,每次恢复读同一份快照。启动容器就开始计时,/health 返回 200 后发同一条流式请求,再量到第一个非空文本 Token。表中总时间是两段之和。权重和快照都在本地,没有清空 OS page cache;下载和做快照的时间不算在内。

指标冷启动第 1 次冷启动第 2 次快照恢复第 1 次快照恢复第 2 次
启动容器到就绪44.13 秒48.80 秒8.33 秒6.75 秒
发请求到首个文本 Token3.50 秒2.91 秒4.59 秒3.37 秒
启动容器到收到首个文本 Token47.63 秒51.71 秒12.92 秒10.12 秒

问的是 17 加 25,四次都答错了,返回的都是 52,各生成 3 个 Token。这只核对了这条请求的文本和用量,没做 Token ID 或 logprob 对照。

取两次的中位数,冷启动要等 46.5 秒才就绪,恢复要 7.5 秒。请求真正发出去之后,恢复这两次反而都多等了一点。从容器启动算到收到第一个 Token,还是从 49.7 秒降到了 11.5 秒。省下来的时间主要在引擎就绪前。这组数字只适用于本地 CPU,4090 的新 Pod 当时连就绪都没到。

从进程启动到第一个回答,中间有几段等待

从发起部署到模型能够回答请求,要等的不只是推理进程启动:

  flowchart LR
    PULL["制品准备<br/>镜像与权重拉取"] --> LOAD["权重反序列化<br/>从存储读入 GPU 显存"]
    LOAD --> INIT["引擎初始化<br/>CUDA 上下文与进程树"]
    INIT --> WARM["预热与编译<br/>Torch compile 与 CUDA Graph"]
    WARM --> READY["健康检查通过<br/>/health 返回 200"]
    READY --> FIRST["首 Token Prefill<br/>首个回答返回"]

    subgraph OPTS["常见优化切入点"]
        LOAD -.-> S1["Model Streamer / GDS<br/>优化存储到显存搬运"]
        WARM -.-> S2["编译缓存持久化<br/>复用 Inductor / AOT 制品"]
        INIT -.-> S3["warmctl / 进程快照恢复<br/>省去反复调优预热"]
    end

镜像和模型制品首先要到达目标机器。新节点没有容器镜像、本地没有权重时,网络传输会占掉一段时间。文件已经落盘后,进程还要读取文件、解析张量布局,把权重放到目标 GPU;CPU 内存、存储和 CPU 到 GPU 的传输路径都会影响这一步。

引擎还需要建立 CUDA 上下文、初始化并行通信、分配内存,并执行与配置有关的编译和预热。在 vLLM 中,torch.compile 生成的代码可以缓存,能否复用取决于配置和代码是否匹配。CUDA Graph 记录特定执行形态的 GPU 工作,也需要在接请求前准备好。这些准备与权重是否已经进入显存是两回事,详见 vLLM 的编译设计文档。

这些工作会交错或重叠,日志中的耗时不能直接相加。计时可以记录部署开始、容器进程启动、权重加载完成、服务 ready、首个真实请求返回首 Token 这几个时间点。服务 ready 后,真实请求还需要进行 prompt 的 prefill 和生成,所以健康检查通过的时间与用户看到第一个 Token 的时间也要分开记录。

权重加载器主要缩短读取与搬运权重的路径,编译缓存复用生成的代码,进程检查点则尝试复用已经准备好的运行状态。选择工具之前,先找出最长的那一段。

warmctl 保存的是已经准备好的引擎

模型、启动配置和硬件平台基本不变,每次拉起副本却都要重新编译、调优和预热,这正是 warmctl 要省掉的工作。它把一次成功启动的结果做成制品,供后续副本恢复。

制作快照时,权重与进程状态分开保存

按照官方快照流程,build 会启动 vLLM,按配置的 shape 网格发送预热请求,并记录用于恢复后校验的 canary 基线。这里的 shape 可以理解为引擎需要提前准备的执行形态;预热覆盖哪些形态,由制作快照时的 profile 决定。

随后,worker 扩展把 vLLM sleep allocator 中的权重内存池导出为分片,记录 GPU 分配指纹。权重导出使用 page-locked buffers,也就是固定在物理内存中、适合与 GPU 传输的 CPU 缓冲区。之后进入 sleep(level=2),为保存检查点准备引擎状态;CUDA 状态和进程树分别交给相关检查点机制处理。

保存下来的运行状态包含编译、调优和初始化的结果,权重则单独保存为数据文件。下次恢复时,仍要读取这些文件并把权重放回 GPU。

恢复时仍然要把权重读回 GPU

官方恢复流程包括恢复进程树、CUDA 状态和共享分配,执行 vLLM 的 checkpoint_restore,唤醒权重内存池,重新加载权重,并核对分配指纹。然后唤醒 KV Cache,执行 canary,满足放行条件后才开始接推理请求;此前网关返回 503。

分配指纹检查恢复后的内存分配是否符合预期,canary 检查推理结果。canary 有 bitwise、tolerance、warn 三种策略,分别涉及逐位一致、允许偏差和只告警。恢复后的检查有多严格,取决于选用了哪种策略。

warmctl 省下的是重复准备引擎的时间,权重重载、快照读取、进程恢复和校验仍然要做。这里恢复的是预热后的引擎,不包含对用户会话或请求 KV Cache 持久化的承诺。

CRIU 与实验性 DMTCP 的条件不同

warmctl 的主路径使用 CRIU(Checkpoint/Restore In Userspace)保存和恢复 Linux 进程树,并配合 NVIDIA 的 CUDA checkpoint 能力处理 GPU 状态。这条路径的主机权限和运行环境要求,见固定版本的要求说明。

从 beta.16 开始,项目还加入了实验性 DMTCP(Distributed MultiThreaded CheckPointing)后端。它在用户空间保存进程树,与 CUDA checkpoint 组合,面向无特权容器环境;官方文档记录了 RunPod 上的验证。两种后端要分别检查权限要求,RunPod 上的验证也只适用于文档记录的环境。DMTCP 文档还要求恢复端在相同路径映射字节一致的运行库,升级运行时后需要重新制作快照。

OCI 能分发快照,硬件兼容仍要单独解决

warmctl 把快照打包为 OCI 制品,通过 registry、镜像站和缓存分发。每个平台可以对应一份快照,由 index 选择匹配的制品;拉取过程还能优先获取恢复进程和 CUDA 所需的文件,把部分下载与恢复重叠起来。分发设计解释了这些安排。

快照打包成 OCI 制品后,仍然受硬件兼容条件限制:GPU 型号与数量、驱动分支、CPU 特性需要匹配,显存和拓扑条件也需要检查。当前支持 vLLM 的单节点引擎,README 列出 1–8 GPU 的张量并行或专家并行,不支持多节点引擎和其他推理引擎。

模型、运行时、并行配置或目标平台改变时,要重新确认快照的兼容性,必要时重建。快照也需要传输;文件很大、目标机器缓存为空时,下载时间可能抵消一部分恢复收益。

作者的测量中,GLM-5.3-Flash 运行在 8 张 H100 上,404 GiB 快照已经位于 page cache,从 warmctl up 到 serving 用了 37 秒;对照本地权重、空编译缓存的普通 vLLM 冷启动为 650 秒。恢复时仍要重载 320 GiB 权重,同模型从约 10 GB/s 的冷网络文件共享恢复用了 56.8 秒。

这组对比中,恢复用的是 page cache 中的快照,普通启动没有编译缓存。37 秒没有计入创建机器、下载全部制品和返回首 Token 的时间。若普通启动也复用了编译缓存,差距有多大还需要重新测量。

恢复失败后,架构文档描述的 agent 步骤不会自动重试,host 会移除容器。文档也没有描述自动回退到普通 vLLM 冷启动的机制。如果业务需要这条回退路径,应在部署系统中实现,并验证从恢复失败到重新可用需要多久。

权重加载慢时,可以看这四个项目

如果大部分时间花在把权重读入 GPU,通常可以先换加载器,暂时不用引入进程快照。下面四个项目都在优化加载路径,各自 README 的测速条件不同,加速倍数不能直接比较。

方案主要优化方式接入时需要接受的条件
Model Streamer并发读取 SafeTensors 到 CPU 缓冲区,在继续读取时把已经得到的张量复制到设备保留 SafeTensors;需要匹配框架集成、对象存储依赖和缓冲区配置
fastsafetensors并行读取 SafeTensors,处理 GPU 分片与类型转换,并提供 GPU Direct Storage 路径GDS 需要相应存储栈;使用该加载器不代表 GDS 一定生效
Tensorizer将张量预先序列化,从本地、HTTP 或 S3 流式加载要生成并管理转换后的制品;不能直接把 SafeTensors 当成 Tensorizer 文件
ServerlessLLM Store专用格式、多级存储与常驻 store 服务协同加载需要转换制品和部署服务;vLLM 集成有版本与补丁要求

保留 SafeTensors:Model Streamer 与 fastsafetensors

Model Streamer 原名 Run:ai Model Streamer,当前仓库已迁移到 dsx-ai-factory/model-streamer,包名仍是 runai-model-streamer。它一边读文件,一边把已读到的张量搬到设备,默认经过 CPU 缓冲区,并非从存储直接写入显存。

以 vLLM v0.21.0 的固定文档为例,集成入口包括 runai_streamer,可以配置读取并发和 CPU 缓冲区上限。runai_streamer_sharded 则要求事先按 rank 保存分片,避免每个 worker 都读取全部权重。增加并发会改变内存和 I/O 压力,不能只调大线程数而不看存储是否已经饱和。

fastsafetensors 的设计说明介绍了并行读取、张量构造以及 GPU 上的分片和转换。它提供 GDS 路径,也有经过缓冲区的非 GDS 路径,是否绕过 CPU 要看实际使用的后端。vLLM v0.21.0 的集成文档给出了相应 loader,其他版本的接入方式需要查对应文档。

转换制品:Tensorizer 与 ServerlessLLM Store

Tensorizer 把权重转换为自己的序列化文件,可以直接从远端流式加载,不必先把整个文件下载到容器文件系统。频繁创建副本、容器磁盘空间有限时,这种方式比较方便,代价是发布前要转换权重,并保存和分发转换后的文件。

vLLM 的官方示例先序列化模型,再使用 tensorizer 加载格式。张量并行场景中,各 rank 生成独立的 model-rank-%03d.tensors 文件,转换后的文件需要连同对应的并行布局一起管理。

ServerlessLLM Store 要部署常驻的 store server,把模型转换为加载优化格式,在 DRAM、SSD、HDD 之间组织数据,再加载到 GPU。stable 0.8.0 文档中的 vLLM 接入需要兼容补丁,只声明测试过 vLLM 0.9.0.1,而且提醒 Transformers 与 vLLM 保存格式不同。研究多模型切换和分层存储时可以参考它,接入新版 vLLM 则要先解决版本适配。

重复编译,先检查已有缓存

权重加载完成后仍长时间停在编译阶段,可以先检查 vLLM 自带的编译缓存。vLLM v0.21.0 的设计文档给出的缓存目录形如 ~/.cache/vllm/torch_compile_cache,缓存 key 会纳入相关配置、PyTorch 配置,以及模型 forward 和相关函数。

每次创建容器都丢弃缓存,就得重新编译,换权重加载器也省不掉这段时间。应先确认缓存目录是否持久化、下一次启动是否命中,以及模型和环境变化后是否失效。跨机器复用缓存还需要检查对应版本的匹配条件。

比较 warmctl 和普通启动时,应分别测空编译缓存和命中编译缓存的情况。复用缓存后,如果重复初始化、调优和预热仍占了大部分时间,再评估维护进程快照是否值得。

在 4090 上实测热启动耗时

测试使用 4 张 RTX 4090,运行 vLLM 0.32.0、PyTorch 2.13.0+cu130,驱动版本为 595.99.02。模型使用机器上已有的 Qwen 27B 本地权重,18 个 SafeTensors 文件,共约 51.75 GiB。缓存目录名与 config 的架构名称不同,这里只按 config 记录为 Qwen3_5ForConditionalGeneration,不根据目录名判断官方模型版本。

各组固定 TP=4、BF16、上下文长度 8,192、最大序列数 16、每批最多 2,048 Token、显存利用率 0.85,使用同一镜像 digest。保留编译和 CUDA Graph,没有通过降低精度或改成 eager 模式缩短启动。

计时从向调度平台提交 replicas=1 开始,到观察到 ready_replicas=1 为止,不包含前一次下线。镜像和权重已在本地;热启动保留编译缓存和 OS page cache,约每 4 秒轮询一次,另有 SSH 和 API 开销。每次启动后都发送普通和流式 chat completion,检查回答为 7,并确认流正常结束。这只能证明基本推理路径可用,没有验证吞吐和满载稳定性。

各组先准备缓存,再测三次热启动;后两轮交替运行不同方案。结果如下:

配置热启动中位数三次范围
默认加载器,持久化 vLLM 缓存157 秒156–161 秒
再指定 FlashInfer、Triton、扩展和 CUDA 缓存目录157 秒156–167 秒
上一组加 startup plan152 秒150–153 秒
startup plan 加 fastsafetensors251 秒245–253 秒

默认组第一次启动用了 495 秒,最慢 rank 的权重加载约 193 秒,编译约 60 秒。热启动时,权重加载缩短到约 14 秒,编译约 1 秒。这个差值同时包含 OS page cache 和编译缓存的作用,不能把 495 秒到 157 秒都算成 JIT 缓存的收益,也不能当作 warmctl 的加速效果。

编译缓存已经命中,额外挂目录没有继续变快

节点的 worker 已经为 vLLM 设置持久化的 VLLM_CACHE_ROOT。测试目录中既有 AOT 制品,也有 Inductor 和 Triton 缓存;重复启动的日志显示直接加载 AOT,编译约 1 秒。

额外指定几个缓存目录没有带来可测收益。更换 Triton 路径的组还出现了 .cubin 重载告警,尽管 AOT 命中、最终推理也正常。已有编译制品可能记录路径,缓存目录要从生成到复用保持一致,不能只看目录里是否有文件。

这轮测试更适合保留已有 vLLM 缓存布局。把更多目录挂出来,本身不构成优化;先确认当前版本实际在哪里生成制品,以及下一次启动是否复用。

startup plan 快了几秒,也改变了 KV 预算

设置 VLLM_ENABLE_STARTUP_PLAN=1 后,四个 rank 都能命中 startup plan,跳过内存 profiling。日志中引擎的 profile、KV Cache 创建与预热阶段,从约 32 秒降到约 26 秒。端到端中位数少了约 5 秒。

但实际 KV 容量也从 225,520 Token 降到 216,365 Token,少约 4%。因此,这组结果不能当作完全等容量的优化。启用前要核对 KV 预算,并按业务需要验证并发;只有几秒启动收益时,不适合直接改成全局默认值。

两个加载器都没有改善这次重复启动

fastsafetensors 能成功启动并回答请求,但权重加载约 113 秒,远长于默认组的约 14 秒。准备缓存的首次试验中,还出现过 7 条显存分配 OOM 告警,随后恢复。这说明该配置在这套环境下不合适,不能据此判断所有硬件或存储上的 fastsafetensors 都更慢。

Runai 最初设置每个 rank 2 GiB CPU 缓冲,因模型最大的单个张量约 2.37 GiB 而失败。改成每个 rank 4 GiB、读取并发 8 后,可以启动并通过普通和流式请求检查,但最慢 rank 的权重加载用了 431 秒。检查运行中的文件描述符,四个 worker 都以 O_DIRECT 打开权重,会绕过 page cache;默认组则受益于热 page cache。这里只报告这一轮的加载阶段耗时:端到端计时器在 ready 前中断,未把它加入上面的三次中位数比较,也没有继续重复这个配置。

还尝试了 VLLM_WORKER_MULTIPROC_METHOD=fork。当前运行时在创建 worker 前已初始化 CUDA,vLLM 自动回退到 spawn,因此没有得到有效的 fork 对照,也没有绕过保护。这次启动的耗时约 159 秒,不能写成 fork 的性能结果。

剩下的等待,已经超出了编译缓存的范围

在这组参数下,重复启动仍需约两分半。日志中,编译只剩约 1 秒,CUDA Graph 仍要每次重新捕获;API 进程、EngineCore 和 worker 的创建、初始化也占用时间。只换权重加载器或继续加缓存目录,没能把启动压到秒级。

vLLM 的 preload 可以把一部分准备工作留给守护进程,但守护进程在引擎重启期间仍占着 GPU 显存。前面的快照实验先删掉准备容器,再从留下来的文件启动一个新容器。

用同一组条件判断启动到底快了多少

评估时至少区分权重文件是否本地存在、OS page cache 是否已有数据、编译缓存是否命中、快照是否已经拉取。把普通启动放在冷盘,把恢复放在热 page cache,得到的差值同时包含存储条件和启动机制两种影响。

比较对象还要固定模型版本、权重精度、GPU 型号与数量、并行布局、上下文长度和引擎配置。计时分别覆盖进程到 ready,以及部署开始到首个真实请求首 Token;后一个指标才会把镜像拉取、快照下载、探针等待和首次请求计算一起算进去。多次运行时保留每次结果,并报告波动,避免把第二次自然命中缓存写成工具收益。

快照制作、预热和权重格式转换通常可以提前完成,但它们仍然消耗时间、存储和维护成本。一个持续复用的模型可以分摊这些成本,频繁变更模型或配置的场景则要重新计算。恢复后的验证也不能止于 /health:还要确认实际请求能完成、结果符合所选一致性标准、失败能够被监测,并记录回退路径的恢复时间。

最后还是看启动日志里哪一段最慢。下载慢,先处理制品分发;读权重和搬运慢,评估加载器;编译慢,先检查缓存。模型和平台固定、每次仍要重复准备引擎时,warmctl 才更值得尝试。若只是偶尔启动一个长期运行的副本,保留权重与编译缓存可能就够了,未必需要维护一组与平台绑定的快照。

#LLM #VLLM #GPU #性能优化 #开源