vLLM 推出基于 push 的 KV 传输，提升分离式推理的 TTFT 与 TPOT

vLLM 新增 push 模式的 NIXL connector，把 prefill 后的传输协调与准备工作移出关键路径，从而降低 TTFT 并提升 TPOT。在 AWS EC2 P5en 实例、EFA 互联的 1P1D 部署上，Qwen3-32B 的 TTFT 最高提升 3 倍，TPOT 最高提升 30%。该功能先在 AWS Trainium 集群上验证，再作为与加速器无关的特性贡献给 vLLM。