跳到正文
雷锋网·· 5 小时前AI 评分42

严骏驰团队提出 JTok 与 xHC 两条 Transformer 架构扩展思路 | CNCC 2026

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026

AI 导读

上海交通大学严骏驰团队在 CNCC 2026 提出 JTok 与 xHC 两种 Transformer 扩展方案:JTok 为每个 token 配置可学习参数表,通过查表和逐元素运算调制前馈网络更新,在 MoE 实验中达到同等损失所需训练算力约为底座的 65%,节省约 35%。

来源:雷锋网 · leiphone.com