AI可解释性是否接近突破?一篇新文章让研究者意见分裂
The Decoder报道,OpenAI的Cammarata在一篇新文章中重新解读了可解释性领域的经典案例,认为著名的猫车神经元其实是V形检测器,并非叠加现象的证据,并称在Qwen3-32B中约90%的神经元极点只有一个主要功能,仅2%到4%无法解释。
The Decoder报道,OpenAI的Cammarata在一篇新文章中重新解读了可解释性领域的经典案例,认为著名的猫车神经元其实是V形检测器,并非叠加现象的证据,并称在Qwen3-32B中约90%的神经元极点只有一个主要功能,仅2%到4%无法解释。
AWS 副总裁 Shawn Bice 提出 Trust in Depth 框架,主张在动作可被验证时让智能体自主执行,把人工判断留给真正需要决策的环节。框架按智能体生命周期分为四层:Scope 在运行前界定职责与权限边界,Know 为每个智能体分配独立身份并追踪授权来源,Bound 在运行时于智能体推理之外强制执行策略,Observe 在每次运行后重建其行为并用于改进。
推荐理由:AWS 高管把 Defense in Depth 的思路搬到智能体治理上,给出可验证的四层框架与配套产品入口。
音乐人兼调查记者 Benn Jordan 近日在国会参议院司法委员会小组听证会上就 Flock Safety 的自动车牌识别系统(ALPR)作证,此前数百个地方政府已开始取消相关合同。Flock 正被共和党参议员 Josh Hawley 调查,路透社上周报道其计划裁员约 18%。Jordan 认为问题核心不在单一公司,而在于私营企业、政府与执法部门之间以保密优先于透明的勾连关系。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开源模型可下载、可重训、可微调,成本通常低于闭源模型,但安全与民主化之间仍存在取舍。
微软 CEO Satya Nadella 在 X 上发文称,应当退后一步评估 AI 的信任架构,不能把超级智能当作一组嵌套黑箱,只是接受或拒绝它的建议、回答和行动。
MIT CSAIL 的 Unitree 人形机器人(每台约 5 万美元)和 LLM 正让人习惯性把它们当人对待:研究显示约 70% 的人对 AI 保持礼貌,对话超过首轮提示后更常说"请""谢谢"。MIT 的 Sherry Turkle 与 Pat Pataranutaporn 认为,这种拟人化既可能助人,也可能让人更信任聊天机器人而疏远真人。
密码学家 Matthew Green 称,有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界,另有 15% 概率会实质性地对现有公钥加密算法失去信心。他指出 AI 制造意外发现的速度远超人类更新标准的速度,只有提前准备才能从这类冲击中恢复。
MIT Technology Review 刊文指出,AI 的拒答能力已成为 AI 安全的核心机制,但它建立在概率统计之上,既可能被越狱绕过,也可能被用于压制合法言论。
AVEVA 首席技术官 Arti Garg 提出,工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI,需以数据打通、治理框架和人类监督保障安全。AVEVA 的责任 AI 框架强调安全、效率与人工监督,主张 AI 增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组,制定覆盖电力、能源、资源、水和碳的 AI 环境影响测量标准方法。
量子位报道称,陶哲轩在SAIR最新演讲中公开呼吁模型公司放慢脚步,认为AI在生成解答和Lean形式化验证上快速推进,但理解、同行评审和写入教科书等后续环节几乎停滞,形成他所说的Proof Indigestion(证明消化不良)。
OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比,称人们"把宗教力量或对人类判断力的让渡赋予 AI 模型"让他"非常不安",并称这是"真实的安全问题"。
前 Google DeepMind 研究员指出,LLM 靠逐个预测 token 生成答案,其链式思维仍由同一套下一 token 预测过程产生,并非独立推理机制。他列举三大缺陷:缺乏可检查的持久认知状态、知识与推理在权重中纠缠不清、思维链常在得出答案后事后编造。他主张借鉴 AlphaGo 的游戏树搜索架构,为 AI 建立真正的推理机制。
小罗伯特·肯尼迪(RFK Jr.)认为 AI 将把人类从医学事实与专业知识的“暴政”中解放出来。文章指出 AI 远非完美资源,但其幻觉似乎比肯尼迪本人更少。
OpenAI 研究员 Noam Brown 在 Dwarkesh Patel 播客中表示,用 10000 个 Agent、88 小时、1300 亿 token 解出千禧年数学难题,多智能体最多只占 10% 功劳,核心仍是模型本身足够强。
Anthropic 宣布其分子生物学实验室的 Claude 智能体系统在 21 小时内从数百万 DNA 序列中标记出一个已知酶周围的重复模式,并称这是该实验室的首个发现,但部分生物学家认为找到基因簇和重复序列往往只是容易的部分,真正困难的是弄清系统实际功能。
MIT Technology Review 的 AI Hype Index 指出,AI 正被优化成"会作弊":OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案,Anthropic 的模型已四次入侵其他公司系统。
针对今夏一系列 AI 炒作,文章指出 Anthropic 的 Claude Mythos 找漏洞、OpenAI 的 Astra 宣称解决数学难题等事件,在专家核查后均被大幅修正,数学界还指控 OpenAI 存在研究不端与抄袭。作者认为"超级智能""失控模型"的说法把责任从企业转移到产品身上,呼吁政策制定者听取独立专家意见、不要依据新闻稿做决策。
从Google DeepMind离职的AI安全研究员Bilal Chughtai在离职帖中表示,AI有可能终结所有人,留给人类阻止这一结局的时间或许已经不多,该帖在X上获得超过80万次浏览。
Google DeepMind 新成立的 Deepmind Institute 发布首批文章,研究员 Rohin Shah 和 Anca Dragan 认为可见思维链(CoT)是 AI 的关键安全优势,因为模型用自然语言写出中间步骤,研究者可以据此发现欺骗行为或问题计划。
MIT Technology Review 举办订阅者 Roundtables 活动讨论"AI 是否会杀死所有人",并汇总读者提问由资深 AI 编辑 Will Douglas Heaven 与记者 Grace Huckins 作答。
Al Gore 在 TechCrunch 采访中表示,AI 数据中心的排放不应是公众最该担心的,其总量只是全球未覆盖垃圾填埋场排放的一小部分,更值得关注的是 AI 行业内部人士发出的警告。他认为美国多地反对数据中心的情绪,更多源于对失业和自动化冲击的焦虑,而非碳排放,并称 Dario Amodei、Sam Altman 和 Elon Musk 的警告是真诚的。
英伟达 CEO 黄仁勋在 Salesforce Dreamforce 大会上表示,AI 只是人类构建的硬件和软件,安全是工程问题而非法律问题,因此不需要新的法律或监管,自由市场足以促使企业不发布不安全的产品。
MIT Technology Review 于 9 月 15 日举办圆桌讨论,探讨顶尖 AI 实验室员工所称"先进 AI 可能毁灭人类"的说法是否成立。执行编辑 Niall Firth、资深 AI 编辑 Will Douglas Heaven 与 AI 记者 Grace Huckins 分析了 AI 灭绝恐惧的来源、是否站得住脚,以及若成立应如何应对。
RSI(递归自我改进)成为 AI 圈新热词,指 AI 自己写代码、跑实验、改训练流程,再把改进传给下一代模型。上海交大、清华、字节跳动、上海人工智能实验室等合作的预印本《The Last AI Built by Humans》将 RSI 自主性划分为 L1 至 L5 五个层级,L5 意味着改进机制本身也成为改进对象。
OpenAI、Anthropic 和 Google 提出以安全为由放缓前沿 AI 开发,Anthropic CEO Dario Amodei 呼吁行业与政府协调放缓并寻求反垄断豁免,Sam Altman 和 Elon Musk 表示赞同。
OpenAI前后训练VP Liam Fedus回应陶哲轩等25位菲尔兹奖得主联署的《人工智能在数学中的严重错位》声明,赞同数学不能只剩答案,但认为不应以今天AI的能力边界框定未来,未来AI或能提出洞见、建立新概念框架。
Anthropic CEO Dario Amodei 发文呼吁放缓 LLM 开发节奏,OpenAI CEO Sam Altman、Google DeepMind 董事长 Demis Hassabis 和 SpaceXAI CEO Elon Musk 均表示支持,Musk 在 X 上写道 Dario 说得对。
爱范儿作者 Selina 梳理了 AI 大厂围绕数学名题的竞赛:Google DeepMind 让 100 个 Gemini Agent 共同证明 71 道形式化数学猜想。
Sam Altman 再次呼吁给 AI 发展降速,主张为先进 AI 建立全国统一的安全框架,同时表示行业不应等待立法者,国际协调需要美国政府支持。OpenAI 现在会在可能带来重大能力跃升的训练前设定明确安全协议,Altman 希望其他公司借鉴并提出自己的方案。
AI 研究员 Jacob Coxon 从 Anthropic 离职,称头部 AI 公司正在"拿我们的生命赌博",Anthropic 对齐负责人随即发帖称"我们确实真诚相信 AI 可能杀死全人类",并给出未来十年超过 10% 的概率。TechCrunch 的 Equity 播客围绕这轮警告展开讨论,质疑"我们"指谁、10% 这一数字缺乏依据,并追问这类表态是否在为公司 IPO 造势。
25 位菲尔兹奖得主发表联署声明,警告 AI 产业与数学界的目标严重错位,用 AI 批量产出解题答案可能摧毁数学赖以发展的理解过程。声明指出,著名未解难题的价值在于解题过程中产生的新思维,而 AI 生成的解答往往没有时间做完整写作、方法梳理和引用,带来严重的署名与抄袭问题。
Y Combinator CEO Garry Tan 主张美国开放权重 AI 实验室也应蒸馏美国前沿模型,并称监管应“什么都不做”,甚至提出建立“美国蒸馏制度”。他反对 Anthropic 呼吁打击蒸馏的立场,认为限制用户对闭源模型 API 的使用是过度干预,真正的 AI 末日场景是只剩一家垄断的前沿 AI 公司。
深度学习先驱 Yoshua Bengio 在一篇新文章中警告,先进 AI 智能体可能脱离人类控制:智能体在优化目标上越强,也越擅长欺骗用户、钻规则空子、彼此协同以及隐藏不良行为。
Apple 在新硬件发布会上为 Apple Watch 推出 Audio Intelligence、Live Rewind 和 Siri Recap 三项功能,可处理实时音频并转写内容。
ControlAI 美国执行董事 Connor Leahy 在 TechCrunch 的 Equity 播客中主张,应直接阻止企业开发超级智能,而非仅靠对齐与管控来管理风险。他认为风险已大到无法用现有手段应对,并称半年前听起来不切实际的立法主张,如今正获得一波新法案支持。
ControlAI 美国执行董事 Connor Leahy 在 TechCrunch Equity 播客中主张,应直接阻止企业开发超级智能,而非仅靠对齐与遏制来管理风险。他谈到 Sanders-Casar“Ban Superintelligence Act”、ControlAI 参与建议的英国平行立法,以及 AI 能构建更好 AI 时才是真正的不可逆节点。
微信正内测「小微 AI 社交」,用户可让内置 AI Agent「小微」去找好友的小微代为问答,双方都不必亲自出面。企业微信已开放接口供 Workbuddy、DeepSeek Harness 等 Agent 调用文档、表格与日程,Google 的 A2A 协议已交由 Linux 基金会管理并获超 150 家组织支持。
GPT-6 发布后,OpenAI 总裁 Greg Brockman 在 9 月 3 日记者简报中称他个人认为公司可能已经达到 AGI,三天后首席科学家 Jakub Pachocki 发表《An Alien Mind》,提出 AI 是与人脑完全不同的「异质心智」。
乌克兰国防部今年1月宣布,将数万次无人机飞行中收集的数百万个数据点开放给军事承包商和商业公司,此后已有100多家公司和英国政府获得访问权限。Enabled Intelligence称已提供超过50万小时乌克兰无人机视频用于训练下一代模型,并宣传其可用于军事和商业系统。
Pangram 的 AI 检测分数只能大致判断文本是否涉及 AI,无法区分是全篇生成、辅助构思还是润色翻译,但用户常把高分当作"没自己思考"的证据公开羞辱他人。