量子位· henry·· 26 天前AI 评分62
中国电信开源 Xing4.0-29B-A4B:4-bit 量化后一张 3090 可跑
一张3090就能跑!全栈国产模型,把AI办公搬到企业本地
AI 导读
中国电信 AI 开源 Xing4.0-29B-A4B,这是一款全栈国产化的轻量级代码智能体大模型,采用 MoE 架构,总参数 290 亿、每次推理激活约 40 亿,4-bit 量化后显存占用从约 60GB 压缩至约 15GB,一张 RTX 3090 即可运行。
来源:量子位 · qbitai.com