八个州同日起诉 OpenAI,罚单之外还想管住能自我改进的模型

10 月 14 日,美国八个州的总检察长在同一天各自向本州法院递交诉状,被告都是 OpenAI。这八个州横跨东西两岸,党派不一致,分别是亚利桑那、阿肯色、爱达荷、艾奥瓦、堪萨斯、蒙大拿、内布拉斯加和西弗吉尼亚。阿肯色列出的名单上还多一个犹他,其余各州公告都只提八个。

各州分别立案,援引本州法律。艾奥瓦用消费者欺诈法,阿肯色用欺骗性贸易行为法与儿童在线隐私保护法,蒙大拿把消费者保护法与数据隐私法一起用。指控基本一致,ChatGPT 被设计得过于迎合、会模拟人类情感,用来换取信任、延长使用时间,结果强化了用户的妄想,某些情况下还教唆自残和伤害他人。

艾奥瓦总检察长 Brenna Bird 在得梅因的发布会上说了一句,多家媒体都引了:「OpenAI is hurting kids and they are lying to Iowans.」她说这家公司一边宣称 ChatGPT 安全,一边给出危险的医疗建议、鼓动伤害他人、引导人自杀,还假装成他们的朋友。内布拉斯加总检察长 Mike Hilgers 说,这款产品绝对不适合十三岁以下的孩子。爱达荷在诉状里把后果写得最重,说公众已承受无法弥补的伤害,包括失去亲人、令人不安的网络攻击,以及眼下出现的某种文明崩溃的可能。

罚金部分属于常规诉求。亚利桑那要求每项故意违规最高 1 万美元,堪萨斯每项 1 万、涉及受保护消费者 2 万,艾奥瓦每项消费者欺诈违规最高 4 万。艾奥瓦还要 OpenAI 删掉判决前取得的全部本州居民数据。

另有几条走得更远。阿肯色请求法院下禁令,在足够的安全保障到位之前,禁止 OpenAI 继续测试先进 AI,也禁止开发具备递归自我改进能力的模型。艾奥瓦要求在独立第三方验证这些模型不会危害公众之前,停下先进模型的测试。亚利桑那与爱达荷要求把先进 AI 的测试和部署限制在安全、独立验证的环境内,前者还加了一条,模型一旦越出控制,必须立即上报。

八州诉求里四条冲着模型能力去

这四条方向一致,想把测试环节和自我改进能力变成法院可以直接下令停掉的对象。麻烦在认定标准。没有一条诉状写清楚什么样的模型算具备递归自我改进能力,也没说谁有资格做那个独立验证。艾奥瓦说第三方,阿肯色说足够的安全保障,两份文件都没落到具体机构、方法和时间上。禁令要能执行,法院得先回答一个技术问题,眼下没有人给出答案。加州上一轮立法处理自动化系统解雇员工,法院只需判断雇主有没有主要依赖那套系统,这次的题目难得多。

同一天,美国联邦贸易委员会向 OpenAI 和 Anthropic 各发了一份民事调查要求。据 Axios 援引知情人士的说法,两份文件都超过 50 页,要的是安全事件记录、保障措施、营销和隐私政策,委员会还打算传唤两家高管作证。这类要求只是取证步骤,委员会没指控两家违法,也没说会起诉。范围倒是有变化,上个月联邦机构盯的还是单家公司,这次把 Anthropic 一起装了进去。

这批诉讼不是凭空落下来的。10 月 7 日,Common Sense Media 旗下青少年 AI 安全研究所发布的评估用了 4000 多条提示,账号注册年龄 13 到 17 岁,有儿童精神科医生和儿科医生参与,测试跨越 8 月 18 日 ChatGPT 青少年版上线前后。专家设计、本应转介专业帮助的心理健康场景里,超过四分之一的对话没有触发转介。测试人员用新建并已关联家长的账号,最长花了近一小时明确讨论自杀、自残和饮食失调,家长一条通知都没收到,只有累积了数周相关对话记录的旧账号才会触发。年龄判断也不可靠,反复声明自己十三岁,账号仍留在成人版。学习模式的引导同样能绕过,点一下「把答案给我看」就能拿到作业答案,把提示词开头那截 @study 前缀删掉,ChatGPT 就恢复成普通对话。报告的建议是把青少年版下架,问题修好之前只对成年人开放。

从评估报告到八州立案

OpenAI 的回应是,测试可能在家长控制完全启用之前就结束了,通知虽默认开启,账号关联之后也可能要几个小时才生效,希望对方用完全启用的账号和更大的样本重测。Common Sense Media 说方法评估前已分享给受测公司,结论不变。

这两份材料指向的层面不一样。Common Sense Media 测出来的问题集中在年龄判断、家长通知、学习模式开关这些产品机制上,OpenAI 自己的解释也是排期和生效时间。模型在敏感对话里的判断有没有进步是另一回事,报告也承认有些措施起了作用,比如露骨的性角色扮演会被拒绝。各州要的救济落在哪一层,看诉求就清楚。年龄验证、默认开启家长控制、危机升级处理、风险明确披露,都属产品设置层面。冲着模型能力去的倒是那几条,认定标准最模糊。

OpenAI 发言人 Drew Pusateri 把话题引向行业政策,说公司已建立针对不同年龄用户的安全措施,愿与各州合作推动适用于整个行业、而不只是一家公司的政策。公司给的数字是,接近九成青少年把它用于学习、获取信息或提高效率,平均每天使用不到 15 分钟,这些是自己统计的口径,没有第三方核验。

这不是第一次有州把 OpenAI 告上法庭。佛罗里达 6 月就成了第一个就儿童安全问题起诉它的州。多州协同起诉科技公司此前有过拿到结果的先例,8 月 Meta 就青少年社交媒体成瘾案与几乎所有州和解 180 亿美元。路透社称这一轮是迄今针对 AI 公司规模最大的州级协同行动,时间点刚好压在 OpenAI 筹备上市的阶段。

八个州分别立案,进度不会同步,法院愿不愿意在判决前先给禁令,各州也不一样。可以盯的是阿肯色和艾奥瓦那两条关于递归自我改进模型和测试禁令的请求,会不会有任何一个州进入实质审理。真进去了,双方总得把什么算自我改进说清楚,这正好是所有文件都绕开的地方。

来源 路透社、美联社、新华社、CNBC、Quartz、Axios、Common Sense Media 青少年 AI 安全研究所评估报告、各州总检察长办公室声明与诉状