Meta 新研究：字节级蒸馏让 Llama 3-8B 学生模型预测上限反超 Token 蒸馏 4 个百分点

Meta FAIR 与华盛顿大学提出字节级蒸馏方法，把 Llama 3-8B 教师的 Token 概率分布转换到字节空间，让学生模型直接学习字节级分布。其中 End-Of-Token 方案的预测平均准确率上限达 52.4%，比传统 Token 蒸馏的 48.4% 高出 4 个百分点，且实际处理文本量约为 Token 方案的六分之一。