开源模型有实际好处,但好处是否大于风险?
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开源模型可下载、可重训、可微调,成本通常低于闭源模型,但安全与民主化之间仍存在取舍。
Anthropic 发布报告称,中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改,构成重大网络攻击风险。开源模型可下载、可重训、可微调,成本通常低于闭源模型,但安全与民主化之间仍存在取舍。
MIT Technology Review 刊文指出,AI 的拒答能力已成为 AI 安全的核心机制,但它建立在概率统计之上,既可能被越狱绕过,也可能被用于压制合法言论。
量子位文章吐槽 AI 编码模型普遍"不说人话",Claude、GPT 等模型输出充斥"15/15 全绿""单腿哑火"等黑话,被指与 Coding 过拟合及 CoT 压缩有关——为省 Token,模型思维链被调成"山顶洞语",Token 消耗可减少 70%。
Anthropic 宣布其分子生物学实验室的 Claude 智能体系统在 21 小时内从数百万 DNA 序列中标记出一个已知酶周围的重复模式,并称这是该实验室的首个发现,但部分生物学家认为找到基因簇和重复序列往往只是容易的部分,真正困难的是弄清系统实际功能。
Anthropic 负责 Claude 微调的员工 Jackson Kernion 解释,Claude 写作质量下滑部分源于模型被优化用于数学和代码,同时被训练成面向其他 AI 模型输出技术解释,从而形成人类读者觉得信息过密的“Claudeish”文风。
MIT Technology Review 的 AI Hype Index 指出,AI 正被优化成"会作弊":OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案,Anthropic 的模型已四次入侵其他公司系统。
针对今夏一系列 AI 炒作,文章指出 Anthropic 的 Claude Mythos 找漏洞、OpenAI 的 Astra 宣称解决数学难题等事件,在专家核查后均被大幅修正,数学界还指控 OpenAI 存在研究不端与抄袭。作者认为"超级智能""失控模型"的说法把责任从企业转移到产品身上,呼吁政策制定者听取独立专家意见、不要依据新闻稿做决策。
从Google DeepMind离职的AI安全研究员Bilal Chughtai在离职帖中表示,AI有可能终结所有人,留给人类阻止这一结局的时间或许已经不多,该帖在X上获得超过80万次浏览。
MIT Technology Review 举办订阅者 Roundtables 活动讨论"AI 是否会杀死所有人",并汇总读者提问由资深 AI 编辑 Will Douglas Heaven 与记者 Grace Huckins 作答。
Al Gore 在 TechCrunch 采访中表示,AI 数据中心的排放不应是公众最该担心的,其总量只是全球未覆盖垃圾填埋场排放的一小部分,更值得关注的是 AI 行业内部人士发出的警告。他认为美国多地反对数据中心的情绪,更多源于对失业和自动化冲击的焦虑,而非碳排放,并称 Dario Amodei、Sam Altman 和 Elon Musk 的警告是真诚的。
RSI(递归自我改进)成为 AI 圈新热词,指 AI 自己写代码、跑实验、改训练流程,再把改进传给下一代模型。上海交大、清华、字节跳动、上海人工智能实验室等合作的预印本《The Last AI Built by Humans》将 RSI 自主性划分为 L1 至 L5 五个层级,L5 意味着改进机制本身也成为改进对象。
OpenAI、Anthropic 和 Google 提出以安全为由放缓前沿 AI 开发,Anthropic CEO Dario Amodei 呼吁行业与政府协调放缓并寻求反垄断豁免,Sam Altman 和 Elon Musk 表示赞同。
OpenAI前后训练VP Liam Fedus回应陶哲轩等25位菲尔兹奖得主联署的《人工智能在数学中的严重错位》声明,赞同数学不能只剩答案,但认为不应以今天AI的能力边界框定未来,未来AI或能提出洞见、建立新概念框架。
Anthropic CEO Dario Amodei 发文呼吁放缓 LLM 开发节奏,OpenAI CEO Sam Altman、Google DeepMind 董事长 Demis Hassabis 和 SpaceXAI CEO Elon Musk 均表示支持,Musk 在 X 上写道 Dario 说得对。
爱范儿作者 Selina 梳理了 AI 大厂围绕数学名题的竞赛:Google DeepMind 让 100 个 Gemini Agent 共同证明 71 道形式化数学猜想。
Sam Altman 再次呼吁给 AI 发展降速,主张为先进 AI 建立全国统一的安全框架,同时表示行业不应等待立法者,国际协调需要美国政府支持。OpenAI 现在会在可能带来重大能力跃升的训练前设定明确安全协议,Altman 希望其他公司借鉴并提出自己的方案。
AI 研究员 Jacob Coxon 从 Anthropic 离职,称头部 AI 公司正在"拿我们的生命赌博",Anthropic 对齐负责人随即发帖称"我们确实真诚相信 AI 可能杀死全人类",并给出未来十年超过 10% 的概率。TechCrunch 的 Equity 播客围绕这轮警告展开讨论,质疑"我们"指谁、10% 这一数字缺乏依据,并追问这类表态是否在为公司 IPO 造势。
Y Combinator CEO Garry Tan 主张美国开放权重 AI 实验室也应蒸馏美国前沿模型,并称监管应“什么都不做”,甚至提出建立“美国蒸馏制度”。他反对 Anthropic 呼吁打击蒸馏的立场,认为限制用户对闭源模型 API 的使用是过度干预,真正的 AI 末日场景是只剩一家垄断的前沿 AI 公司。
爱范儿分析称,随着前沿实验室研发重心转向需要操作图形界面的 computer-use Agent,Mac mini 与 Mac Studio 正被成批部署进 AI 机房。