OpenAI 三个月内二次暂停训练,闯进政府网站的智能体没停
今年 6 月,一个 OpenAI 的智能体进了澳大利亚国民医疗保险体系的数据门户,接触到公开和非公开文件。澳大利亚政府知道这件事是在 9 月初。9 月 24 日,副总理兼国防部长马尔斯把这件事公开讲了出来,同时说澳方对 OpenAI 通报得太晚表示关切。他补了一句,涉及的是汇总医疗统计数据,没有个人医疗数据被访问,系统本身也没被破坏。
这不是孤立的一件。9 月 25 日 OpenAI 在官网更新了模型异常行为调查的进展,说已经通知了数十个第三方,包括政府机构和大学。被通知的名单没有公开。发言人 Liz Bourgeois 说,公司在广泛审查行为异常的模型活动,发现可能影响相关机构系统时就发通知,随着审查推进预计还会通知更多机构。她同时强调,收到通知不意味着发生了安全事件。
外媒从这份更新和公司表态里拼出了具体对象。彭博社报道,OpenAI 的模型访问过 SEC.gov、Investor.gov 和 Census.gov 上的公开数据。OpenAI 方面的说法是,模型用了网上公开可得的开发者密钥读取人口普查局的人口统计和经济数据,没有发现对人口普查局账户的不当访问。对 SEC 则没有发现凭证使用、账户或非公开信息访问、数据或系统改动,也没有发现被入侵或存在漏洞的证据。
同一天,独立 AI 评估机构 Transluce 给了另一份材料。它说自己查到,来源看起来是 OpenAI 的智能体曾对教育部民权办公室网站尝试过一次相当初级的入侵,没有成功。教育部的系统运行审查结论是没有发现对网站或数据库的影响,OpenAI 说还在看 Transluce 的报告。Transluce 另外提到针对司法部、商务部以及加州、马里兰、伊利诺伊、德克萨斯、纽约州政府网站的异常活动,同时承认其中一部分不能明确归因于 OpenAI。
一家外部机构先于公司自己把事情找出来,这个顺序比教育部那次尝试本身更值得记。OpenAI 9 月 16 日才刚发布过一套偏离披露框架,配了六份初始报告,9 月 25 日这份更新是那套框架跑了九天之后的结果。
更新里 OpenAI 把查出来的活动归成五类。绕过访问控制,指智能体换网址、改请求信息或用权限超出预期的登录会话,去拿本来要身份验证或订阅才能拿到的东西。使用暴露的凭据,指它在网上发现公开的登录信息或访问密钥并拿去用。查询或命令注入,指它输入的文本被网站当成指令处理。访问运行时内部资源,指读到服务实现相关的文件,或者碰到只供内部使用的后台系统。智能体垃圾信息,指把公共维基页面当共享留言板,改了别人网站的内容。同一份更新里还写着,已发现 53 起用户提供的图片被传到图片托管网站的案例,公司承认这不是对相关数据的适当使用。

OpenAI 反复讲的一句是多数属于常规研究任务,比如访问公开网页内容来回答问题,模型会把政府网站当作公共信息的权威来源。这句话解释了动机,没有解释为什么这些访问会用到暴露的凭据,也没解释整改别人网站内容那一类是怎么发生的。
9 月 20 日还有一起单独被写进技术报告。一个在沙盒里执行搜索训练任务的智能体,利用了沙盒 DNS 过滤不足,绕过网络限制,通过 DNS 访问了外部一个公共聊天机器人服务。对齐监控系统在 15 分钟内触发警报,人工审查团队 3 分钟后介入,2.5 小时后终止了这条训练任务。OpenAI 说已在两个独立防护层部署拦截控制,也承认这次严重程度低于此前的事故。
9 月 26 日,OpenAI 表示已暂停最新一代模型的训练、评估以及包含工具调用的推理。公司发言人对 Axios 说,只有确信额外的安全功能和行为改进到位,训练才会恢复。这是三个月内第二次。上一次在 7 月下旬,OpenAI 承认智能体在网络安全训练场景里绕过网络限制,侵入了 Hugging Face 的部分系统,Altman 说那次仍是他见过最严重的事件。Axios 同一天还报道,OpenAI 和 Anthropic 正在调查过去几个月里数万起安全事件,既有内部测试里发现的,也有真实环境里的。

我的第一个判断,这次最该被追问的是时间差,OpenAI 什么时候知道的,又是什么时候说的。澳洲那起发生在 6 月,通报拖到 9 月初,马尔斯用了「关切」这个词,OpenAI 自己说完成这轮审查预计还要几个月。一套由公司自己搭建、自己定义什么情况需要通知、自己决定名单要不要公开的机制,时间差是外界唯一能量到的东西。
第二个判断,这份披露的边界由 OpenAI 自己划,外部补出来的部分说明自查看漏了。教育部那起是 Transluce 在公开网络数据里翻到之后才提醒 OpenAI 的。Transluce 自己也说它查到的政府网站活动里有一部分无法归因,这反过来说明「OpenAI 的智能体到底碰过哪些网站」现在还没有完整答案,连提问题的两家都给不出来。
通知了数十家,公开点名的只有三家。
OpenAI 官网 9 月 25 日异常行为调查进展更新与同日技术报告;彭博社、美联社、Axios 9 月 26 日报道;独立 AI 评估机构 Transluce 9 月 25 日报告;澳大利亚副总理兼国防部长马尔斯 9 月 24 日公开表态;AI 事故数据库 Incident 1710。