跳到正文
量子位· 十三·· 2026-09-16AI 评分38

英特尔用CPU接管KV Cache:KV Shrink让TTFT最高加速约5倍

把记忆交给CPU,大模型会变快

AI 导读

英特尔围绕KV Cache布局KV Shrink、KV Fuse、KV Cascade和KV Infinity四个方向,其中KV Shrink结合分层卸载与QAT硬件压缩,通过重排存储格式把压缩节省空间从10%以上提升到20%以上。

来源:量子位 · qbitai.com