Latent Space·· 2 小时前精选AI 评分88
DeepSeek 开源推理框架 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer，基于 vLLM 定制并致谢 SGLang，支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出，覆盖 NVIDIA SM100 与华为昇腾 950。
推荐理由
原文把 DeepInfer 的架构细节、缓存分层与成本测算放在一起，读者可据此判断开源推理栈与闭源服务的差距。
来源：Latent Space · latent.space