国产 GPU 越来越多,为什么反而更难用?基流科技谈算力集群的系统工程挑战
国产算力竞争正从单颗芯片转向整个计算系统,集群从几十张卡扩至万卡后,通信、调度与故障定位成为有效算力的关键瓶颈。基流科技推出的 VenusCL 通信组件在客户已完成千卡集群基础调优的前提下,可再带来约 2%—6% 的 MFU 提升;其 VenusNOC 的 Megatrace 特性曾在约 3800 张卡的训练集群中定位到单张 GPU 故障。
国产算力竞争正从单颗芯片转向整个计算系统,集群从几十张卡扩至万卡后,通信、调度与故障定位成为有效算力的关键瓶颈。基流科技推出的 VenusCL 通信组件在客户已完成千卡集群基础调优的前提下,可再带来约 2%—6% 的 MFU 提升;其 VenusNOC 的 Megatrace 特性曾在约 3800 张卡的训练集群中定位到单张 GPU 故障。
QCon 全球软件开发大会将于 10 月 22-24 日在上海举办《AI Infra:算力效率决定规模化落地》专场,探讨算力效率如何决定 AI 规模化落地。文章指出,随着成本重心向推理端倾斜,单任务 Token 消耗量以更高倍率激增,竞争核心已从单 Token 标价转向端到端任务的有效交付成本。算力损耗、显存浪费与数据失配构成三类代表性系统瓶颈,需通过模型与系统协同设计破解。
Jake Boggan 在 Hacker News 评论 openai/math 相关讨论时表示,自己曾为 Barnette 猜想投入 24 年、数千小时,去年夏天还一度以为解出了它,如今该猜想据称已在问题 180 处被证明。他说听到它被解决让自己有种遥远的悲伤,像听说前女友突然死于车祸,并认为今晚很多人都会有类似的奇怪情绪。
TypeSafe AI 联合创始人兼 CEO Diogo Almeida 在 Latent Space 访谈中表示,Jev 日处理量已突破一万亿 token,夜间流量持续走高,说明大量调用来自机器自动化。
前 Google DeepMind 研究员指出,LLM 靠逐个预测 token 生成答案,其链式思维仍由同一套下一 token 预测过程产生,并非独立推理机制。他列举三大缺陷:缺乏可检查的持久认知状态、知识与推理在权重中纠缠不清、思维链常在得出答案后事后编造。他主张借鉴 AlphaGo 的游戏树搜索架构,为 AI 建立真正的推理机制。
OpenAI 研究员 Noam Brown 在 Dwarkesh Patel 播客中表示,用 10000 个 Agent、88 小时、1300 亿 token 解出千禧年数学难题,多智能体最多只占 10% 功劳,核心仍是模型本身足够强。
Google DeepMind 新成立的 Deepmind Institute 发布首批文章,研究员 Rohin Shah 和 Anca Dragan 认为可见思维链(CoT)是 AI 的关键安全优势,因为模型用自然语言写出中间步骤,研究者可以据此发现欺骗行为或问题计划。
文章以米其林餐厅「潮 1/2」把餐桌搬到厨房旁为比喻,解释高通提出的高带宽计算技术 HBC 这一近内存计算思路,用于缓解大语言模型推理中数据搬运带来的内存墙问题。
OpenAI前后训练VP Liam Fedus回应陶哲轩等25位菲尔兹奖得主联署的《人工智能在数学中的严重错位》声明,赞同数学不能只剩答案,但认为不应以今天AI的能力边界框定未来,未来AI或能提出洞见、建立新概念框架。
MIT Technology Review 汇总了多类曾让 AI 模型翻车的谜题,涵盖空间推理、记忆与适应性、抽象与视觉推理、直觉陷阱和复杂度递增五类。
伯克利 AI 研究团队梳理了并行推理领域进展,指出当前多数方法(如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!