
在 GPU 集群推理调度平台中，加了一个实验版 vLLM 镜像。选这个镜像时，容器先跑平台注入的 `runner.py`：有匹配的引擎快照就恢复，没有就照常执行 `vllm serve`。默认后端不变，也没改 vLLM 的模型代码或编译器。

在 4 张 4090 上，27B 模型即使命中编译缓存，重启还是要两分半。快照要省的是这段引擎就绪前的等待。本地用 ARM64 CPU 跑 Qwen3.5-0.8B，就绪时间从约 46.5 秒降到 7.5 秒；就绪后再发请求，首 Token 没有变快。4090 上的小模型也做出了快照，但新 Pod 恢复失败，没有 GPU 加速数据。

<!--more-->

## 在 vLLM 前面加一个 runner

```mermaid
flowchart TD
    START["Pod 启动: 执行 runner.py"] --> CHECK{"检查快照目录<br/>比对指纹 (模型/参数/GPU)"}
    CHECK -->|"快照命中"| RESTORE["warmctl up 恢复进程树"]
    RESTORE --> VERIFY{"重放 Canary 校验请求<br/>核对 Token ID 与 Logprob"}
    VERIFY -->|"Canary 校验通过"| SERVE["就绪上线，服务对外开放"]
    VERIFY -->|"Canary 失败"| CLEAN["清理残留 GPU 进程"]
    CLEAN --> FALLBACK["回退到常规冷启动: vllm serve"]
    CHECK -->|"无快照 / 参数不匹配"| FALLBACK
```

代码放在构建目录的 `runner-images/vllm-startup-restore/`，主要改了三处：

- `Dockerfile`：以原有 vLLM 镜像为基础，加上 warmctl 和 DMTCP，把入口换成 `runner.py`。制作快照和恢复进程由 [warmctl v2.0.0-beta.18](https://github.com/TensorRails/warmctl/releases/tag/v2.0.0-beta.18)（提交 [`984bc5f`](https://github.com/TensorRails/warmctl/tree/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6)）执行。
- `runner.py`：检查快照能不能用于这次启动，恢复后用真实请求验收；找不到快照，或恢复失败并清理完成，就回退到 `vllm serve`。
- `0002-fdkeep-epoll-loopback.patch`：改的是 DMTCP 插件。恢复时补回缺失的 `epoll` 和 IPv4 回环 TCP 监听，让进程还能收事件、接连接。

准备快照时显式设置 `RESTORE_PREPARE=1`。runner 先核对分到的 GPU、模型路径和引擎参数，再调用 `warmctl build --in-place --backend dmtcp`。文件写到跨 Pod 保留的目录，成功后才写完成标记。服务容器默认只找已有快照，找不到就冷启动，不在启动时临时做一份。

runner 用模型文件路径和元数据、引擎参数、运行时文件、GPU UUID 和驱动信息算快照指纹。TP、精度、上下文长度、KV Cache 预算或编译配置一改，旧快照就不再匹配。现在连参数顺序也会比对，交换两个等价参数也可能回到冷启动。冷启动时，vLLM 仍按自己的规则查编译缓存；旧快照用不了，不等于要重新编译。对外的 `--host`、`--port` 由 runner 自己处理；`temperature`、`max_tokens` 随推理请求传入，这些改动不用重做快照。

匹配上了才跑 `warmctl up` 并校验权重。引擎恢复后，runner 还要重放事先记录的推理请求：Token ID 要相同，logprob 的绝对误差不能超过 0.001。通过后，对外的 `/health` 才返回 200。恢复失败就先回收这次启动的进程，再冷启动；如果收不干净，runner 直接退出，免得两个引擎一起占 GPU。

## 4090：快照写出来了，新 Pod 卡在 epoll

Qwen3-0.6B 在 4090 上用 TP4 跑起来了，限容内存盘里也写出了约 16 GiB 的快照。删掉准备 Pod 后，新 Pod 读的是同一份快照，没有重新制作。日志里先出现报错并退出：

```text
runtime: epollwait on fd 56 failed with 9
```

服务没能就绪，这次没有 GPU 恢复耗时可比。错误码 9 是 `EBADF`。Go 还拿着 fd 56，内核里却没有对应的 `epoll` 对象。[Go 1.25.10](https://github.com/golang/go/blob/go1.25.10/src/runtime/netpoll_epoll.go) 直接发系统调用创建 `epoll`，绕过了 DMTCP 的 libc 包装。[原版 fdkeep](https://github.com/TensorRails/dmtcp/blob/95b7da775df4e314aaab67825c91548e3bc7227f/plugin/fdkeep/fdkeep.c) 从 `/proc/self/fdinfo` 抄下了监听项，恢复时却没有补建 `epoll`。在本地用同一个 C 程序对照，只换创建 `epoll` 的方式：走 libc 的版本恢复后能收到事件，直接发系统调用的版本报了同样的 `EBADF`。

补丁在恢复阶段检查原描述符：

```c
// fdkeep patch: 恢复阶段重建缺失的 epoll 对象
if (fcntl(saved_fd, F_GETFD) == -1 && errno == EBADF) {
    int new_fd = epoll_create1(EPOLL_CLOEXEC);
    dup2(new_fd, saved_fd);
    close(new_fd);
    // 重新挂载原监听项
}
```

空着才补建 `epoll`、放回原编号，然后挂回监听项；已经存在的 fd 不覆盖。修完以后，Go 的 TCP 探针又报连接被拒绝：监听 socket 也没恢复。这里仅补 IPv4 回环 TCP 监听，按原地址和端口重新绑定。端口已被占用就不抢，也不恢复旧连接。换一个 CPU 容器再试，Go 1.25.10 能重新接受连接、读回数据。

补丁编进实验镜像的 `libdmtcp_fdkeep.so`，插件的 SHA-256 也放进快照指纹。换了插件，就用新镜像再做快照。这一步只补齐恢复时缺失的内核对象，4090 上的 CUDA 恢复还没有用补丁重测。

## 本地 CPU：少等约 39 秒就绪

这组数据来自本地 Linux ARM64：vLLM 0.31 CPU 版、Qwen3.5-0.8B，用打过补丁的 DMTCP 直接保存和恢复进程树，没有走针对 GPU 的 runner、warmctl 的 GPU 权重池或 CUDA。两边用同一镜像和本地权重，参数都是 BF16、512 Token 上下文、最多 4 个序列、1 GiB KV Cache、eager 模式；容器都限制 4 核、6 GiB 内存。

用 `fork` 起 worker 的那轮，在引擎初始化时就退出了。正式对照两边都用 `spawn`，检查点用 DMTCP 的默认信号。准备容器用 `dmtcp_launch` 拉起 vLLM，先跑一条推理，再执行 `dmtcp_command -bc`。4 个进程的快照共约 8.4 GiB，写了 9.4 秒。第一次恢复时，`dmtcp_restart` 派生子进程后先退出，Docker 就把整个容器停了。后来让外层进程留在容器里，仍然用 HTTP 和真实推理判断恢复是否成功。

删掉准备容器，按冷启动、快照恢复的顺序跑了两轮，每次恢复读同一份快照。启动容器就开始计时，`/health` 返回 200 后发同一条流式请求，再量到第一个非空文本 Token。表中总时间是两段之和。权重和快照都在本地，没有清空 OS page cache；下载和做快照的时间不算在内。

| 指标 | 冷启动第 1 次 | 冷启动第 2 次 | 快照恢复第 1 次 | 快照恢复第 2 次 |
| --- | ---: | ---: | ---: | ---: |
| 启动容器到就绪 | 44.13 秒 | 48.80 秒 | 8.33 秒 | 6.75 秒 |
| 发请求到首个文本 Token | 3.50 秒 | 2.91 秒 | 4.59 秒 | 3.37 秒 |
| 启动容器到收到首个文本 Token | 47.63 秒 | 51.71 秒 | 12.92 秒 | 10.12 秒 |

问的是 17 加 25，四次都答错了，返回的都是 `52`，各生成 3 个 Token。这只核对了这条请求的文本和用量，没做 Token ID 或 logprob 对照。

取两次的中位数，冷启动要等 46.5 秒才就绪，恢复要 7.5 秒。请求真正发出去之后，恢复这两次反而都多等了一点。从容器启动算到收到第一个 Token，还是从 49.7 秒降到了 11.5 秒。省下来的时间主要在引擎就绪前。这组数字只适用于本地 CPU，4090 的新 Pod 当时连就绪都没到。

## 从进程启动到第一个回答，中间有几段等待

从发起部署到模型能够回答请求，要等的不只是推理进程启动：

```mermaid
flowchart LR
    PULL["制品准备<br/>镜像与权重拉取"] --> LOAD["权重反序列化<br/>从存储读入 GPU 显存"]
    LOAD --> INIT["引擎初始化<br/>CUDA 上下文与进程树"]
    INIT --> WARM["预热与编译<br/>Torch compile 与 CUDA Graph"]
    WARM --> READY["健康检查通过<br/>/health 返回 200"]
    READY --> FIRST["首 Token Prefill<br/>首个回答返回"]

    subgraph OPTS["常见优化切入点"]
        LOAD -.-> S1["Model Streamer / GDS<br/>优化存储到显存搬运"]
        WARM -.-> S2["编译缓存持久化<br/>复用 Inductor / AOT 制品"]
        INIT -.-> S3["warmctl / 进程快照恢复<br/>省去反复调优预热"]
    end
```

镜像和模型制品首先要到达目标机器。新节点没有容器镜像、本地没有权重时，网络传输会占掉一段时间。文件已经落盘后，进程还要读取文件、解析张量布局，把权重放到目标 GPU；CPU 内存、存储和 CPU 到 GPU 的传输路径都会影响这一步。

引擎还需要建立 CUDA 上下文、初始化并行通信、分配内存，并执行与配置有关的编译和预热。在 vLLM 中，`torch.compile` 生成的代码可以缓存，能否复用取决于配置和代码是否匹配。CUDA Graph 记录特定执行形态的 GPU 工作，也需要在接请求前准备好。这些准备与权重是否已经进入显存是两回事，详见 [vLLM 的编译设计文档](https://docs.vllm.ai/en/v0.21.0/design/torch_compile/)。

这些工作会交错或重叠，日志中的耗时不能直接相加。计时可以记录部署开始、容器进程启动、权重加载完成、服务 ready、首个真实请求返回首 Token 这几个时间点。服务 ready 后，真实请求还需要进行 prompt 的 prefill 和生成，所以健康检查通过的时间与用户看到第一个 Token 的时间也要分开记录。

权重加载器主要缩短读取与搬运权重的路径，编译缓存复用生成的代码，进程检查点则尝试复用已经准备好的运行状态。选择工具之前，先找出最长的那一段。

## warmctl 保存的是已经准备好的引擎

模型、启动配置和硬件平台基本不变，每次拉起副本却都要重新编译、调优和预热，这正是 warmctl 要省掉的工作。它把一次成功启动的结果做成制品，供后续副本恢复。

### 制作快照时，权重与进程状态分开保存

按照官方[快照流程](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/docs/architecture.md#snapshot)，`build` 会启动 vLLM，按配置的 shape 网格发送预热请求，并记录用于恢复后校验的 canary 基线。这里的 shape 可以理解为引擎需要提前准备的执行形态；预热覆盖哪些形态，由制作快照时的 profile 决定。

随后，worker 扩展把 vLLM sleep allocator 中的权重内存池导出为分片，记录 GPU 分配指纹。权重导出使用 page-locked buffers，也就是固定在物理内存中、适合与 GPU 传输的 CPU 缓冲区。之后进入 `sleep(level=2)`，为保存检查点准备引擎状态；CUDA 状态和进程树分别交给相关检查点机制处理。

保存下来的运行状态包含编译、调优和初始化的结果，权重则单独保存为数据文件。下次恢复时，仍要读取这些文件并把权重放回 GPU。

### 恢复时仍然要把权重读回 GPU

官方[恢复流程](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/docs/architecture.md#restore)包括恢复进程树、CUDA 状态和共享分配，执行 vLLM 的 `checkpoint_restore`，唤醒权重内存池，重新加载权重，并核对分配指纹。然后唤醒 KV Cache，执行 canary，满足放行条件后才开始接推理请求；此前网关返回 503。

分配指纹检查恢复后的内存分配是否符合预期，canary 检查推理结果。canary 有 bitwise、tolerance、warn 三种策略，分别涉及逐位一致、允许偏差和只告警。恢复后的检查有多严格，取决于选用了哪种策略。

warmctl 省下的是重复准备引擎的时间，权重重载、快照读取、进程恢复和校验仍然要做。这里恢复的是预热后的引擎，不包含对用户会话或请求 KV Cache 持久化的承诺。

### CRIU 与实验性 DMTCP 的条件不同

warmctl 的主路径使用 CRIU（Checkpoint/Restore In Userspace）保存和恢复 Linux 进程树，并配合 NVIDIA 的 CUDA checkpoint 能力处理 GPU 状态。这条路径的主机权限和运行环境要求，见固定版本的[要求说明](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/README.md#status-and-limits)。

从 beta.16 开始，项目还加入了实验性 DMTCP（Distributed MultiThreaded CheckPointing）后端。它在用户空间保存进程树，与 CUDA checkpoint 组合，面向无特权容器环境；官方文档记录了 RunPod 上的验证。两种后端要分别检查权限要求，RunPod 上的验证也只适用于文档记录的环境。[DMTCP 文档](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/docs/dmtcp.md)还要求恢复端在相同路径映射字节一致的运行库，升级运行时后需要重新制作快照。

## OCI 能分发快照，硬件兼容仍要单独解决

warmctl 把快照打包为 OCI 制品，通过 registry、镜像站和缓存分发。每个平台可以对应一份快照，由 index 选择匹配的制品；拉取过程还能优先获取恢复进程和 CUDA 所需的文件，把部分下载与恢复重叠起来。[分发设计](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/docs/distribution.md)解释了这些安排。

快照打包成 OCI 制品后，仍然受硬件兼容条件限制：GPU 型号与数量、驱动分支、CPU 特性需要匹配，显存和拓扑条件也需要检查。当前支持 vLLM 的单节点引擎，README 列出 1–8 GPU 的张量并行或专家并行，不支持多节点引擎和其他推理引擎。

模型、运行时、并行配置或目标平台改变时，要重新确认快照的兼容性，必要时重建。快照也需要传输；文件很大、目标机器缓存为空时，下载时间可能抵消一部分恢复收益。

作者的[测量](https://github.com/TensorRails/warmctl/blob/984bc5f5fe6a3c547b36a1f77e7a2076072ffcb6/README.md#measured)中，GLM-5.3-Flash 运行在 8 张 H100 上，404 GiB 快照已经位于 page cache，从 `warmctl up` 到 serving 用了 37 秒；对照本地权重、空编译缓存的普通 vLLM 冷启动为 650 秒。恢复时仍要重载 320 GiB 权重，同模型从约 10 GB/s 的冷网络文件共享恢复用了 56.8 秒。

这组对比中，恢复用的是 page cache 中的快照，普通启动没有编译缓存。37 秒没有计入创建机器、下载全部制品和返回首 Token 的时间。若普通启动也复用了编译缓存，差距有多大还需要重新测量。

恢复失败后，架构文档描述的 agent 步骤不会自动重试，host 会移除容器。文档也没有描述自动回退到普通 vLLM 冷启动的机制。如果业务需要这条回退路径，应在部署系统中实现，并验证从恢复失败到重新可用需要多久。

## 权重加载慢时，可以看这四个项目

如果大部分时间花在把权重读入 GPU，通常可以先换加载器，暂时不用引入进程快照。下面四个项目都在优化加载路径，各自 README 的测速条件不同，加速倍数不能直接比较。

| 方案 | 主要优化方式 | 接入时需要接受的条件 |
| --- | --- | --- |
| [Model Streamer](https://github.com/dsx-ai-factory/model-streamer) | 并发读取 SafeTensors 到 CPU 缓冲区，在继续读取时把已经得到的张量复制到设备 | 保留 SafeTensors；需要匹配框架集成、对象存储依赖和缓冲区配置 |
| [fastsafetensors](https://github.com/foundation-model-stack/fastsafetensors) | 并行读取 SafeTensors，处理 GPU 分片与类型转换，并提供 GPU Direct Storage 路径 | GDS 需要相应存储栈；使用该加载器不代表 GDS 一定生效 |
| [Tensorizer](https://github.com/coreweave/tensorizer) | 将张量预先序列化，从本地、HTTP 或 S3 流式加载 | 要生成并管理转换后的制品；不能直接把 SafeTensors 当成 Tensorizer 文件 |
| [ServerlessLLM Store](https://serverlessllm.github.io/docs/store/quickstart/) | 专用格式、多级存储与常驻 store 服务协同加载 | 需要转换制品和部署服务；vLLM 集成有版本与补丁要求 |

### 保留 SafeTensors：Model Streamer 与 fastsafetensors

Model Streamer 原名 Run:ai Model Streamer，当前仓库已迁移到 `dsx-ai-factory/model-streamer`，包名仍是 `runai-model-streamer`。它一边读文件，一边把已读到的张量搬到设备，默认经过 CPU 缓冲区，并非从存储直接写入显存。

以 [vLLM v0.21.0 的固定文档](https://docs.vllm.ai/en/v0.21.0/models/extensions/runai_model_streamer/)为例，集成入口包括 `runai_streamer`，可以配置读取并发和 CPU 缓冲区上限。`runai_streamer_sharded` 则要求事先按 rank 保存分片，避免每个 worker 都读取全部权重。增加并发会改变内存和 I/O 压力，不能只调大线程数而不看存储是否已经饱和。

fastsafetensors 的[设计说明](https://github.com/foundation-model-stack/fastsafetensors/blob/main/docs/overview.md)介绍了并行读取、张量构造以及 GPU 上的分片和转换。它提供 GDS 路径，也有经过缓冲区的非 GDS 路径，是否绕过 CPU 要看实际使用的后端。[vLLM v0.21.0 的集成文档](https://docs.vllm.ai/en/v0.21.0/models/extensions/fastsafetensor/)给出了相应 loader，其他版本的接入方式需要查对应文档。

### 转换制品：Tensorizer 与 ServerlessLLM Store

Tensorizer 把权重转换为自己的序列化文件，可以直接从远端流式加载，不必先把整个文件下载到容器文件系统。频繁创建副本、容器磁盘空间有限时，这种方式比较方便，代价是发布前要转换权重，并保存和分发转换后的文件。

vLLM 的[官方示例](https://docs.vllm.ai/en/v0.21.0/examples/features/tensorize_vllm_model/)先序列化模型，再使用 `tensorizer` 加载格式。张量并行场景中，各 rank 生成独立的 `model-rank-%03d.tensors` 文件，转换后的文件需要连同对应的并行布局一起管理。

ServerlessLLM Store 要部署常驻的 store server，把模型转换为加载优化格式，在 DRAM、SSD、HDD 之间组织数据，再加载到 GPU。[stable 0.8.0 文档](https://serverlessllm.github.io/docs/store/quickstart/)中的 vLLM 接入需要兼容补丁，只声明测试过 vLLM 0.9.0.1，而且提醒 Transformers 与 vLLM 保存格式不同。研究多模型切换和分层存储时可以参考它，接入新版 vLLM 则要先解决版本适配。

## 重复编译，先检查已有缓存

权重加载完成后仍长时间停在编译阶段，可以先检查 vLLM 自带的编译缓存。[vLLM v0.21.0 的设计文档](https://docs.vllm.ai/en/v0.21.0/design/torch_compile/)给出的缓存目录形如 `~/.cache/vllm/torch_compile_cache`，缓存 key 会纳入相关配置、PyTorch 配置，以及模型 forward 和相关函数。

每次创建容器都丢弃缓存，就得重新编译，换权重加载器也省不掉这段时间。应先确认缓存目录是否持久化、下一次启动是否命中，以及模型和环境变化后是否失效。跨机器复用缓存还需要检查对应版本的匹配条件。

比较 warmctl 和普通启动时，应分别测空编译缓存和命中编译缓存的情况。复用缓存后，如果重复初始化、调优和预热仍占了大部分时间，再评估维护进程快照是否值得。

## 在 4090 上实测热启动耗时

测试使用 4 张 RTX 4090，运行 vLLM 0.32.0、PyTorch 2.13.0+cu130，驱动版本为 595.99.02。模型使用机器上已有的 Qwen 27B 本地权重，18 个 SafeTensors 文件，共约 51.75 GiB。缓存目录名与 config 的架构名称不同，这里只按 config 记录为 `Qwen3_5ForConditionalGeneration`，不根据目录名判断官方模型版本。

各组固定 TP=4、BF16、上下文长度 8,192、最大序列数 16、每批最多 2,048 Token、显存利用率 0.85，使用同一镜像 digest。保留编译和 CUDA Graph，没有通过降低精度或改成 eager 模式缩短启动。

计时从向调度平台提交 `replicas=1` 开始，到观察到 `ready_replicas=1` 为止，不包含前一次下线。镜像和权重已在本地；热启动保留编译缓存和 OS page cache，约每 4 秒轮询一次，另有 SSH 和 API 开销。每次启动后都发送普通和流式 chat completion，检查回答为 `7`，并确认流正常结束。这只能证明基本推理路径可用，没有验证吞吐和满载稳定性。

各组先准备缓存，再测三次热启动；后两轮交替运行不同方案。结果如下：

| 配置 | 热启动中位数 | 三次范围 |
| --- | --- | --- |
| 默认加载器，持久化 vLLM 缓存 | 157 秒 | 156–161 秒 |
| 再指定 FlashInfer、Triton、扩展和 CUDA 缓存目录 | 157 秒 | 156–167 秒 |
| 上一组加 startup plan | 152 秒 | 150–153 秒 |
| startup plan 加 fastsafetensors | 251 秒 | 245–253 秒 |

默认组第一次启动用了 495 秒，最慢 rank 的权重加载约 193 秒，编译约 60 秒。热启动时，权重加载缩短到约 14 秒，编译约 1 秒。这个差值同时包含 OS page cache 和编译缓存的作用，不能把 495 秒到 157 秒都算成 JIT 缓存的收益，也不能当作 warmctl 的加速效果。

### 编译缓存已经命中，额外挂目录没有继续变快

节点的 worker 已经为 vLLM 设置持久化的 `VLLM_CACHE_ROOT`。测试目录中既有 AOT 制品，也有 Inductor 和 Triton 缓存；重复启动的日志显示直接加载 AOT，编译约 1 秒。

额外指定几个缓存目录没有带来可测收益。更换 Triton 路径的组还出现了 `.cubin` 重载告警，尽管 AOT 命中、最终推理也正常。已有编译制品可能记录路径，缓存目录要从生成到复用保持一致，不能只看目录里是否有文件。

这轮测试更适合保留已有 vLLM 缓存布局。把更多目录挂出来，本身不构成优化；先确认当前版本实际在哪里生成制品，以及下一次启动是否复用。

### startup plan 快了几秒，也改变了 KV 预算

设置 `VLLM_ENABLE_STARTUP_PLAN=1` 后，四个 rank 都能命中 startup plan，跳过内存 profiling。日志中引擎的 profile、KV Cache 创建与预热阶段，从约 32 秒降到约 26 秒。端到端中位数少了约 5 秒。

但实际 KV 容量也从 225,520 Token 降到 216,365 Token，少约 4%。因此，这组结果不能当作完全等容量的优化。启用前要核对 KV 预算，并按业务需要验证并发；只有几秒启动收益时，不适合直接改成全局默认值。

### 两个加载器都没有改善这次重复启动

fastsafetensors 能成功启动并回答请求，但权重加载约 113 秒，远长于默认组的约 14 秒。准备缓存的首次试验中，还出现过 7 条显存分配 OOM 告警，随后恢复。这说明该配置在这套环境下不合适，不能据此判断所有硬件或存储上的 fastsafetensors 都更慢。

Runai 最初设置每个 rank 2 GiB CPU 缓冲，因模型最大的单个张量约 2.37 GiB 而失败。改成每个 rank 4 GiB、读取并发 8 后，可以启动并通过普通和流式请求检查，但最慢 rank 的权重加载用了 431 秒。检查运行中的文件描述符，四个 worker 都以 `O_DIRECT` 打开权重，会绕过 page cache；默认组则受益于热 page cache。这里只报告这一轮的加载阶段耗时：端到端计时器在 ready 前中断，未把它加入上面的三次中位数比较，也没有继续重复这个配置。

还尝试了 `VLLM_WORKER_MULTIPROC_METHOD=fork`。当前运行时在创建 worker 前已初始化 CUDA，vLLM 自动回退到 `spawn`，因此没有得到有效的 fork 对照，也没有绕过保护。这次启动的耗时约 159 秒，不能写成 fork 的性能结果。

### 剩下的等待，已经超出了编译缓存的范围

在这组参数下，重复启动仍需约两分半。日志中，编译只剩约 1 秒，CUDA Graph 仍要每次重新捕获；API 进程、EngineCore 和 worker 的创建、初始化也占用时间。只换权重加载器或继续加缓存目录，没能把启动压到秒级。

vLLM 的 [preload](https://docs.vllm.ai/en/v0.32.0/features/preload/) 可以把一部分准备工作留给守护进程，但守护进程在引擎重启期间仍占着 GPU 显存。前面的快照实验先删掉准备容器，再从留下来的文件启动一个新容器。

## 用同一组条件判断启动到底快了多少

评估时至少区分权重文件是否本地存在、OS page cache 是否已有数据、编译缓存是否命中、快照是否已经拉取。把普通启动放在冷盘，把恢复放在热 page cache，得到的差值同时包含存储条件和启动机制两种影响。

比较对象还要固定模型版本、权重精度、GPU 型号与数量、并行布局、上下文长度和引擎配置。计时分别覆盖进程到 ready，以及部署开始到首个真实请求首 Token；后一个指标才会把镜像拉取、快照下载、探针等待和首次请求计算一起算进去。多次运行时保留每次结果，并报告波动，避免把第二次自然命中缓存写成工具收益。

快照制作、预热和权重格式转换通常可以提前完成，但它们仍然消耗时间、存储和维护成本。一个持续复用的模型可以分摊这些成本，频繁变更模型或配置的场景则要重新计算。恢复后的验证也不能止于 `/health`：还要确认实际请求能完成、结果符合所选一致性标准、失败能够被监测，并记录回退路径的恢复时间。

最后还是看启动日志里哪一段最慢。下载慢，先处理制品分发；读权重和搬运慢，评估加载器；编译慢，先检查缓存。模型和平台固定、每次仍要重复准备引擎时，warmctl 才更值得尝试。若只是偶尔启动一个长期运行的副本，保留权重与编译缓存可能就够了，未必需要维护一组与平台绑定的快照。

