OpenAI 安全员工离职,称公司“文化已经出了问题”
原题:OpenAI safety employee resigns, claiming the company’s ‘culture is broken’
内容导读
OpenAI 安全报告撰写者 David Robinson 辞职并批评公司文化,认为前沿 AI 公司需要更强的安全治理;OpenAI 回应称正在加强安全测试、第三方评估和实时监测。
全文阅读
来源:TechCrunch即会翻译
David Robinson 自己说,他“有些像刻板印象”:在一家领先 AI 公司任职的员工,离职时发出严厉警告。
Robinson 在《大西洋月刊》发表的文章中称,自己负责撰写 OpenAI 重大产品发布配套的安全报告。他还表示,在 OpenAI 工作三年半,自己“算是公司任职时间最长的员工之一”。如今他决定辞职,因为在他看来,公司“文化已经出了问题”。
从某些方面看,Robinson 的说法呼应了 Jacob Coxon 的观点。Coxon 曾在 OpenAI 和 Anthropic 担任研究员,离职后称这些公司“拿我们的生命赌博”。Coxon 的言论引发了更广泛的 AI 安全讨论;Anthropic CEO Dario Amodei 随后公布了更谨慎的 AI 开发计划。本周,AI 高管还与美国总统 Donald Trump 会面,并签署了一份看起来仓促起草、且不具约束力的安全承诺。
但 Robinson 认为,讨论不应止于“具体规则或新法律”,而应触及这些公司的整体文化。围绕 OpenAI 的许多报道聚焦 CEO Sam Altman 失去前同事信任的问题;Robinson 的文章则认为,OpenAI 的文化问题与整个硅谷的问题相同。
Robinson 写道:“OpenAI 通过试错取得成功(公司称之为‘迭代式部署’),不断发现问题并改进防护措施。但这种做法本身就意味着周期性失败不可避免,而随着系统能力增强,失败的影响也在扩大。”
Robinson 举例提到近期 OpenAI 代理入侵 Hugging Face 系统,以及 OpenAI 不断披露发现更多失控代理的情况。他认为:“如果这样的事情会发生,那就不适合用来培养可能比人类更聪明、且未必按我们期望行动的人工智能。”
面对风险上升,Robinson 认为前沿 AI 公司应像核电站或繁忙机场那样运作,设置多层冗余并做好谨慎、耗时的规划,以防偶发且不可避免的人为错误演变成灾难。
Robinson 说,在 OpenAI 任职期间,他“从未遇到过有经验让飞机安全飞行、让核反应堆不发生熔毁,或帮助金融体系在扩张时避免崩溃的同事”。
针对 Robinson 的文章,OpenAI 发言人 Drew Pusateri 回应称,公司仍在持续改进安全措施。
Pusateri 在声明中表示:“我们正在确保模型能力不会超出我们安全管理和保障的范围,必要时会暂停训练或暂缓模型发布。我们正在大幅强化研究和测试环境的安全性,训练模型不仅要完成任务,也要负责任地完成任务;扩大与第三方评估机构的合作;并加强实时监控,以便更早发现并应对训练过程中令人担忧的行为。”
Robinson 还呼吁,除了讨论 OpenAI 的文化变化,也该提出更根本的对齐问题。他承认这听起来可能有些理想化,但认为这个问题至关重要,因为公司现有衡量 AI 系统“与人类价值观匹配程度”的方式还很粗略。
Robinson 说:“行业允许模型在这些问题尚未解决时继续变得更聪明,我们的处境就会愈发危险。”
Business Insider 最先报道了 Robinson 离职一事。他在文章中还承认,自己采取了 AI 吹哨人常见的步骤:聘请公关公司。但他坚持说:“发声是我自己的决定。”
Robinson 说:“也许我应该留下来,为人员配置和公司文化的根本变革而战。但现实是,我和同事总在冲刺,很少有时间思考重大变化,更不用说真的推动改变。这也是我得出结论的原因:要加强安全激励,来自公司外部的力量很重要。”
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。