https://jimyag.com/blog/%E6%8E%A8%E7%90%86/jimyag 的个人博客，记录 Kubernetes、KubeVirt、Kube-OVN、Firecracker、Go 与云原生工程实践。Hugozh-CNCopyright © 2019, jimyag.Tue, 10 Nov 2026 16:22:00 +0800https://jimyag.com/posts/vllm-per-user-output-rate-limit/Tue, 03 Nov 2026 13:44:11 +0800https://jimyag.com/posts/vllm-per-user-output-rate-limit/以一个基于 vLLM v0.32.0 的实验补丁为例，讲清在 V1 调度器里按用户限制输出 Token 速度要怎么实现：派发时扣费、用 GCRA 让输出匀速、被限速请求怎样让出 batch 位置、不阻塞引擎的等待，以及这套实现的性能瓶颈。