严骏驰团队提出JTok与xHC两种Transformer扩展方法

上海交通大学严骏驰团队在CNCC 2026报告《大模型新架构探索：JTok & xHC》中提出两种Transformer扩展方案。JTok为每个token配置可学习参数表，通过查表和逐元素运算调制前馈网络更新；据该团队介绍，在MoE实验中达到同等损失所需训练算力约为底座的65%，节省约35%。 但严骏驰称，其工程实现中推理延迟仍增加约7%；完成算子融合等优化后，相比mHC吞吐性能的额外开销约为1.3%。xHC则扩展残差流，以稠密读取、稀疏写回提高模型容量，但十六路xHC的访存量仍高于四路mHC。 该团队还称，相关规模定律目前主要是经验公式，尚不能理解为已有完整理论解释。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。