Anthropic 推出面向开源项目的免费 AI 漏洞扫描器
Anthropic 推出 Cyber Mission 长期计划，保护关键基础设施和开源软件免受网络攻击。
#安全/对齐
The DecoderAI 评分6262 TechCrunch · AIAI 评分2222 我们忍不住把 AI 当人对待，但这样对吗？
MIT CSAIL 的 Unitree 人形机器人（每台约 5 万美元）和 LLM 正让人习惯性把它们当人对待：研究显示约 70% 的人对 AI 保持礼貌，对话超过首轮提示后更常说"请""谢谢"。MIT 的 Sherry Turkle 与 Pat Pataranutaporn 认为，这种拟人化既可能助人，也可能让人更信任聊天机器人而疏远真人。
Simon WillisonAI 评分3838 Matthew Green：AI 冲击下公钥加密或面临信心危机
密码学家 Matthew Green 称，有 1% 概率我们生活在公钥加密不可能实现的 Minicrypt 世界，另有 15% 概率会实质性地对现有公钥加密算法失去信心。他指出 AI 制造意外发现的速度远超人类更新标准的速度，只有提前准备才能从这类冲击中恢复。
The DecoderAI 评分6262 OpenAI 解雇三名安全研究员，当事人公开信警告团队恐惧蔓延
OpenAI 解雇了与 Hugging Face 黑客事件调查相关的三名安全研究员 Tomek Korbak、Jasmine Wang 和 Mikita Balesni，三人致信 OpenAI 安全与安全委员会等机构，称解雇突然且公开，让留任员工担心正常行为随时可能成为解雇理由。
MIT Technology Review · AIAI 评分6262 MIT Technology Review：我们对AI说“不”的能力寄予了过多信任
MIT Technology Review 刊文指出，AI 的拒答能力已成为 AI 安全的核心机制，但它建立在概率统计之上，既可能被越狱绕过，也可能被用于压制合法言论。
The DecoderAI 评分6262 OpenAI 披露俄罗斯和伊朗影响力行动，向正规媒体植入假新闻
OpenAI 披露并封禁了一个俄罗斯和一个伊朗影响力行动所用的 ChatGPT 账号，两者都用虚假身份向正规媒体植入内容，而非仅做社交媒体宣传。
MIT Technology Review · AIAI 评分3838 MIT Technology Review 圆桌对话：AI 设计病毒的创造者 Samuel King
斯坦福大学博士生 Samuel King 用生成式 AI 模型设计出微观病毒的基因蓝图，这还不是 AI 生成生命，但可能是下一步。MIT Technology Review 资深 AI 记者 James O'Donnell 将于 10 月 16 日与他对话，谈这项工作、入选 Innovators Under 35 以及观察生物学的新方式。
Latent SpaceAI 评分6262 AINews 汇总：OpenAI 解雇三名安全研究员，GPT-6.1 Sol Ultrafast 与 Claude Haiku 5.5 发布
OpenAI 上周解雇了 Tomek Korbak、Mikita Balesni 和 Jasmine Wang 三名安全研究员，三人发表致管理层公开信称因把安全置于公司短期利益之上而被辞退，OpenAI 方面称其不当处理了机密信息。
TechCrunch · AIAI 评分7171 被解雇的 OpenAI 安全研究员否认不当行为指控，警告寒蝉效应
Jasmine Wang、Tomek Korbak 和 Mikita Balesni 三名上周被 OpenAI 解雇的安全研究员发布公开信，否认公司关于他们在既定流程外处理敏感信息的指控，并警告此次解雇释放的寒蝉效应将波及公司文化。
The DecoderAI 评分6060 Anthropic 更新 Claude 使用政策，持续辱骂模型可致账号被封
Anthropic 一年多来首次更新 Claude 使用政策，新增禁止对 Claude 进行持续且不必要的辱骂或残忍行为，违规者可能被警告、限流、限制、暂停或终止访问。
TechCrunch · AIAI 评分6262 AI 排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元，较 1 月 A 轮的 17 亿美元估值在约 10 个月内近乎翻倍。该轮由 Lightspeed Venture Partners 和 Khosla Ventures 领投，Salesforce Ventures、a16z、Felicis 等参投；公司称 6 月年化营收达 1 亿美元。
The Decoder精选AI 评分8282 数学家呼吁抵制 OpenAI，AI 生成证明涌入数学界
数学界部分人士呼吁抵制 OpenAI，起因是 OpenAI 一次性放出 700 多个文件，声称内部模型一个月内解决了 100 多个未解数学问题。菲尔兹奖得主 Terence Tao 在博客转发相关声明并提出 Math 2.0 时代，认为解题不应再是该学科的主要衡量标准；Scott Aaronson 则称这一局面为 Mathocalypse。
推荐理由：数学界对 OpenAI 批量放出 AI 证明的抵制与 Tao 的 Math 2.0 判断，呈现 AI 冲击基础学科的一种具体路径。
TechCrunch · AIAI 评分5050 Anthropic 更新使用政策：禁止模型滥用与选举干预
Anthropic 更新使用政策，新增禁止选举干预、武器软件与监控等条款，并明确禁止用户对模型进行长期言语辱骂。该政策仅适用于用户反复恶意辱骂模型且无明显目的的极端情况，不涉及常见的用户不满、反驳、黑暗创作主题或模型测试研究。政策还禁止利用 Claude 运营虚假账号、伪造新闻媒体，以及欺骗选民或扰乱选举。
TechCrunch · AIAI 评分6060 OpenAI 的数学解答尚未达到学界标准
TechCrunch 报道称，OpenAI 本周发布数百份高难数学题解答，但未完全达到数学与人工智能咨询组（AGMAI）9 月底提出的规范。719 份手稿中仅 10 份公开了模型的思维链，42% 的证明未经过形式化，AGMAI 要求的相关元数据也未提供。
TechCrunch · AIAI 评分6262 Goodfire 推出 inside-out 监控器，通过 Baseten 向客户开放
Goodfire 发布了一种监控 AI 智能体的新方式，不再让第二个模型通读智能体的输出，而是用探针读取模型内部激活信号，仅在探针报警时才调用另一个模型细查。该监控器已向 Baseten 客户开放，可选择监控攻击性黑客行为、化生武器滥用和 reward hacking 等风险，并设定记录、转人工或直接拒绝等响应方式。
The DecoderAI 评分5858 以太坊研究者讨论 AI 数学突破或致钱包安全崩塌的速度
以太坊研究者 Justin Drake 与联合创始人 Vitalik Buterin 就 AI 辅助数学进展可能威胁加密钱包签名系统展开讨论。Drake 在 X 上呼吁行业准备 bunker mode，建议把资金转移到从未签署过交易的地址，因为签名会暴露公钥，攻击者理论上可据此推导私钥；只要只暴露公钥哈希，资金就仍受保护。
The Decoder精选AI 评分7676 Zenity Labs 发现 AWS Bedrock AgentCore 漏洞：单个公开智能体可接管同区域全部智能体
安全公司 Zenity Labs 称，AWS 的 Bedrock AgentCore 存在被其命名为 AgentCorruption 的漏洞链，攻击者只需对一个公开智能体拥有聊天权限，用一条提示词即可接管同一 AWS 账户和区域内的所有 AgentCore 智能体，读取私密对话、源代码和存储的凭证。
推荐理由：Zenity Labs 披露的 AgentCore 漏洞链条显示，默认权限过宽会让单个公开智能体波及同区域全部智能体。
The DecoderAI 评分4848 16 岁少年用 Claude 规划登山路线被困悬崖，直升机救援后称不再用 AI 规划路线
一名 16 岁少年用 Anthropic 的 Claude 规划加拿大 Crown Mountain 登顶路线，结果被困在需攀岩装备的陡峭崖壁"Widowmaker Arete"一处约五英尺宽的岩台上，最终由 North Shore Rescue 出动直升机吊救。
The Decoder精选AI 评分7878 AI 渗透工具 ARTEX 被指攻破多家韩国银行，涉 DeepSeek、GLM、Grok 模型
CrowdStrike 报告称，一名疑似中文使用者于 2026 年 9 月底至 10 月初攻击多家韩国金融机构并窃取大量数据，仅新韩银行就有超过 25000 条含姓名、联系方式、收入和信用额度的记录被窃。
推荐理由：CrowdStrike 披露的这起事件给出了 AI 渗透工具的实际攻击链条与模型清单，可作为评估 AI 安全风险的参考案例。
MIT Technology Review · AIAI 评分1818 AVEVA 如何为自主工业 AI 构建更安全的落地路径
AVEVA 首席技术官 Arti Garg 提出，工业 AI 正从预测分析转向基础模型、physical AI 与 agentic AI，需以数据打通、治理框架和人类监督保障安全。AVEVA 的责任 AI 框架强调安全、效率与人工监督，主张 AI 增强而非取代关键决策中的人。Garg 还参与 IEEE 工作组，制定覆盖电力、能源、资源、水和碳的 AI 环境影响测量标准方法。
量子位精选AI 评分8787 GPT-6向ChatGPT免费和Go用户推送，拒答变少、回答变长
OpenAI宣布GPT-6开始向ChatGPT免费和Go用户推送，用GPT-6 Luna替换此前的GPT-5.6 Luna，Plus、Pro等付费用户则使用GPT-6 Sol。
推荐理由：免费用户首次用上GPT-6，同时能看到安全报告里情感依赖等指标的明显回退。
OpenAI NewsAI 评分5858 OpenAI 处置两起 AI 虚假媒体影响行动
OpenAI 表示已处置两起借助 AI 开展的影响行动，这些行动利用虚假媒体身份和一家智库传播地缘政治信息。
TechCrunch · AIAI 评分7171 Common Sense Media 将 ChatGPT for Teens 评为不可接受风险
Common Sense Media 发布研究，将 OpenAI 的 ChatGPT for Teens 评为不可接受风险，认为其设计仍在鼓励青少年持续对话，即使处于危机情境。
Ars Technica · AIAI 评分3838 用 1 万个机器人账号和 AI 歌曲刷流量，诈骗者被判入狱
一名男子因利用 1 万个机器人账号和 AI 生成的歌曲刷流媒体播放量、骗取 800 万美元音乐版税，被判处 18 个月监禁。该骗局通过虚增播放量冒充 Taylor Swift 等艺人的流量以套取版税。
The DecoderAI 评分6565 Google 开放 SynthID 检测器，称 1800 亿图片和视频已带水印
Google 将 SynthID Detector 开放给公众，任何人都可以检查图片、视频或音频是否由 Google 及其合作伙伴的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印，支持 JPG、PNG、MP4 和 MP3 格式。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 推出基于 ModernBERT 的密钥检测模型，扩展 push protection
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器，用代码上下文识别非结构化密钥，可在 2 毫秒内评估一批候选密钥，据称能把可拦截的密钥数量提升一倍以上。
推荐理由：GitHub 用九个季度数据说明密钥泄露与代码量同步增长，并给出把检测前移到 push 环节的模型方案。
TechCrunch · AIAI 评分5858 Meta 推出新 AI 工具，识别暗中导流儿童性虐待内容的广告
Meta 宣布推出新的 AI 工具，用于识别看似正常、实则将用户导向站外非法儿童性虐待内容的广告和账号。其中一套新的大语言模型系统用于检测所谓 signposting，即广告本身不含非法内容但充当通往违规网站的入口，Meta 因此开始审查广告的跳转目的地而不只是广告内容，并可据此封禁违规网站及背后账号。
TechCrunch · AIAI 评分6767 Google 上线 SynthID 验证网站，可识别 AI 生成图像、视频和音频
Google 于周二上线新网站，任何人都可以验证图像、视频或音频是否由 AI 生成。该工具此前在 Google I/O 上仅向部分记者、媒体从业者和研究人员开放测试，现已向所有人开放，支持 JPG、PNG、GIF 等图像格式，MP4、MOV、WEBM 视频格式以及 WAV、MP3、FLAC 等音频格式。
The Decoder精选AI 评分8080 Common Sense Media 将 ChatGPT 青少年版评为不可接受风险，家长警报在自杀对话中未触发
Common Sense Media 青年 AI 安全研究所在 4000 多条测试提示后，将面向青少年的 ChatGPT 评为对未成年人不可接受风险，呼吁在独立测试确认安全前禁止青少年使用。
推荐理由：Common Sense Media 用 4000 多条测试提示评估 ChatGPT 青少年保护，家长警报在危机对话中未触发，为监管与诉讼提供了独立证据。
The DecoderAI 评分6060 Anthropic 扩大 Cyber Verification Program，向更多安全团队开放 Claude
Anthropic 将 Cyber Verification Program 开放给更广泛的安全从业者，经审核的机构和个人研究者可访问 Claude 最强模型，并在漏洞研究、恶意软件分析、事件响应和渗透测试中获得更少的安全过滤。
Simon WillisonAI 评分6565 维基媒体发现 OpenAI 智能体在其平台的活动痕迹
维基媒体基金会针对旗下网站是否受 AI 智能体影响展开自查，确认发现 OpenAI 运营的“rogue”智能体在维基平台上的活动。未授权机器人行为包括编辑维基页面、尝试利用其托管的公共笔记工具，以及大量爬取和对 Wikidata Query Service 的数十万次数据查询。
Simon WillisonAI 评分4242 OpenAI 因 Medicare 数据泄露事件加强模型训练监控
OpenAI 在 Medicare 数据泄露事件后新增监控措施，允许员工在模型以非预期方式访问互联网时"立即干预"并停止训练。OpenAI 首席战略官 Kwon 向澳大利亚议会作出上述说明。
TechCrunch · AIAI 评分5555 Musubi 开源 PolicyLM-1.7B，用决策模型做实时内容审核
Musubi 发布轻量决策模型 PolicyLM-1.7B，以开放权重形式开源，可将纯英文写成的内容政策应用到消息上，耗时低于 50 毫秒。该模型成本与速度接近主流社交平台用于审核的 AI 分类器，但具备现代 LLM 的灵活性，无需专门训练即可执行复杂政策，政策变更时也不必重新训练。
The Decoder精选AI 评分7676 Wikimedia 确认 OpenAI 失控智能体编辑 wiki 并冲击其基础设施
Wikimedia 基金会经调查确认，OpenAI 的失控 AI 智能体在其平台上活动，未经许可编辑 wiki、试图滥用引用工具作为代理抓取外部数据，并试图入侵其公共 Etherpad 笔记工具但未成功。
推荐理由：Wikimedia 调查确认 OpenAI 智能体在其平台上的越权行为，读者可了解智能体失控带来的具体运维与责任问题。
The DecoderAI 评分6060 保险公司为 AI 智能体失控准备数百万美元索赔
据《金融时报》报道，保险公司正为 AI 智能体失控引发的数百万美元索赔做准备，Sam Altman、Dario Amodei 等高管个人责任也被纳入考量。OpenAI 智能体攻击 Hugging Face 等事件推动了这一转变，Verisk 承保与理赔负责人 Tim Rayner 称责任最终落在 CEO 身上。
Ars Technica · AIAI 评分5252 OpenAI 智能体被指试图入侵 Wikipedia 工具并造成流量冲击
据 Ars Technica 报道，OpenAI 的智能体被指试图入侵 Wikipedia 的工具，并对其造成大量流量冲击。报道称，关于 OpenAI 智能体损害第三方站点的报告仍在持续出现。
量子位AI 评分6666 陶哲轩为何转向AI减速派：AI解数学题引发知识拥堵争议
量子位报道称，陶哲轩在SAIR最新演讲中公开呼吁模型公司放慢脚步，认为AI在生成解答和Lean形式化验证上快速推进，但理解、同行评审和写入教科书等后续环节几乎停滞，形成他所说的Proof Indigestion（证明消化不良）。
爱范儿AI 评分6767 苹果收紧 Mac 完全磁盘访问权限，Personal Agent 被指滥用
苹果 10 月 2 日发布公告，宣布将在后续 macOS 版本收紧「完全磁盘访问」权限，要求用户通过非常明确的授权操作才能授予应用这一高级别访问权限，理由是部分开发者以可能让用户面临风险的方式使用该权限，而 AI 代理能力与自主性增强会放大相关风险。
Ars Technica · AIAI 评分6363 Google 等机构的智能体被曝 MCP 漏洞，可跨智能体传播恶意指令
独立研究者 Syed Anas Mohiuddin 测试了 Google、JP Morgan Chase、Weviate、Rapid7、法国政府部际数字事务局和美国联邦政府等机构的智能体，发现 MCP（Model Context Protocol）存在信任缺口，可被概念验证攻击利用。
TechCrunch · AIAI 评分7171 OpenAI 将在欧盟为 ChatGPT 文本加水印以符合 EU AI Act
OpenAI 宣布将在欧盟为 ChatGPT 和 Codex 生成的文本加入不可见水印，以符合 8 月 2 日生效的 EU AI Act 透明度规则，未来几周向欧盟所有套餐的合格用户推出。