量子位· 量子位的朋友们·· 10 小时前AI 评分40
高通进博会展示端侧MoE智能体:终端侧AI从单点应用走向智能体体验
终端侧AI:从单点应用走向智能体体验
AI 导读
高通在第九届进博会联合阶跃星辰、Infris AI、江波龙展出端侧MoE智能体演示,围绕专家模块预测预取、UFS到内存加载和芯片平台软件栈协同优化,提升MoE模型在终端的运行效率。当前端侧主流只能运行20亿至30亿参数模型,MoE通过按任务只调用部分专家模块降低实际计算量,为手机、PC、汽车等终端承载意图理解、任务编排等系统级能力提供路径。
来源:量子位 · qbitai.com