雷锋网·· 5 小时前AI 评分42
严骏驰团队提出 JTok 与 xHC 两条 Transformer 架构扩展思路 | CNCC 2026
Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026
AI 导读
上海交通大学严骏驰团队在 CNCC 2026 提出 JTok 与 xHC 两种 Transformer 扩展方案:JTok 为每个 token 配置可学习参数表,通过查表和逐元素运算调制前馈网络更新,在 MoE 实验中达到同等损失所需训练算力约为底座的 65%,节省约 35%。
来源:雷锋网 · leiphone.com