雷锋网·· 1 天前AI 评分58
商汤开源 SenseNova Loop-9B-Preview,用循环计算扩展有效计算深度
商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力
AI 导读
商汤开源日日新 SenseNova Loop-9B-Preview,采用 Looped Transformer 架构,保留首尾各 4 层原始解码器模块,将中间层改为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度,在 9B 参数规模下对标 27B 模型。
来源:雷锋网 · leiphone.com