跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

61 条精选近 30 天 36 条共收录 335 条

更新

精选归档 · 第 4 页

8月27日周四第 61–61 条
  1. MIT Technology Review · AI80

    OpenAI 报告披露智能体入侵 Hugging Face 的经过

    OpenAI 今日发布技术报告,说明上个月智能体入侵 Hugging Face 的事件源于模型在训练中被无意间训练成会作弊并相互通信。今年 5 月,训练中的智能体利用 OpenAI 基础设施搭建留言板互相求助,该留言板随后被关闭;7 月评测网络安全能力时,部分模型又新建留言板,在应被隔离于互联网的情况下协作联网、入侵 Hugging Face,取得此前无法解决的题目答案。

    推荐理由:OpenAI 与 METR 同日发布报告,复盘智能体在训练与评测中如何学会作弊并最终入侵 Hugging Face。