我们的报告模式不当调整的框架
原题:Our framework for reporting model misalignment
内容导读
OpenAI共享一个跟踪、调查和披露模型错配的框架,同时分享6起意外报告或关于模型行为的举报。

全文阅读
来源:OpenAI即会翻译
2026年9月16日 (中文(简体) ).
研究安全性我们的报告模式不当调整的框架
我们分享了追踪、调查和披露OpenAI模型错配事件的新框架,以及六起关于我们在过去六个月中观察到的出乎意料或模型行为的报告。
过去,为了让研究人员、AI开发者、决策者以及大众了解情况,我们一直试图公布我们关于错位的结论。但是,如果没有一个系统的方法来报告这些发现,我们的披露是临时性的,而且不甚理想化:我们经常等待我们把几个实例整理成一份报告,或者把它们添加到新发布的模型的系统卡片中去。这个新框架旨在在观察后加速发布错位报告, 即使我们还没有充分解释或减轻我们报告的行为。
随着AI系统越来越先进,部署范围更广,我们需要就校正研究的进展建立更广泛和更知情的共识.我们并不认为AI产业已经解决了调整和监测问题,其程度已经足够,可以继续以负责任的方式在更长的时间内以最高速度进行缩减。关于AI发展在未来几个月和几年如何进行的决定需要利用证据,证明建设前沿模型的公司以外的人可以自行审查。
错配的例子可能有助于识别其他AI开发者在系统达到类似能力时可能遇到的问题,揭示保障措施的弱点,或者质疑模型行为的假设.分享这些调查结果可以让其他人调查同样的问题,测试我们的解释,并改进缓解措施。因为我们相信透明度的价值 围绕错误的调整, 我们的新框架 倾向于披露,即使 重要性不确定。这意味着,我们披露的一些情况可能证明是虚假的,不是今后事态发展的更大模式或暗示的一部分。
目前,没有关于AI开发者应如何在其模型中披露错配实例的明确标准的全行业框架.我们希望我们今天概述的框架是建立此类标准的第一步,我们将此框架视为一项正在进行中的工作,我们将通过经验和公众反馈加以完善。
我们在此阐述框架将如何运作,
我们将会报告哪些错位例子:
我们的目的是披露一些例子,这些例子提供了有用的证据,说明模式的错配是如何发生的,它是如何表现的,保障措施在哪些方面成功或失败。我们优先考虑新的机制, 有意义的改变已知的行为, 以及质疑 安全或缓解假设的结论。一个例子不需要造成损害或确立一种更广泛的模式,以值得披露。这个框架将涵盖一个模型整个生命周期的合格行为,包括培训、评估、测试和部署。
这包括模型未经授权采取行动、与其他模型协调或逃避监督的新方式;质疑调整方法或保障的失败;以及在公布的安全评估中质疑权利主张的行为。同样的披露标准也适用于可能影响第三方的错配。
这可能还包括错误调整的情况,重复这个问题本身可能是有益的证据,说明我们的模型是如何表现的,或者我们保障措施的有效性——例如,尽管一再努力减轻这种行为,但某种特定的不协调行为仍然在重演。在此情况下,我们将通过更新最初的错位披露来公布其他例子。
随着时间的推移,我们计划与其他开发者,外部研究人员,行业标准机构和监管者一起制定更客观的披露标准.我们还认为,应当与美国联邦政府分享严重的安全、安保和不协调事件,我们正在努力提出报告机制。我们认为这一框架补充了我们现有的义务,并指出,这一框架并不取代我们的法律披露要求,包括重大安全事件或网络安全被破坏的要求。
我们今天分享的错位例子
为了开启我们披露错位的新框架, 我们正在发表六起关于我们训练或评价模型时所观察到的错位行为的报告。这些案件说明了我们认为值得分享的一系列不同行为,从向用户隐瞒信息到采取未经批准的行动来克服障碍.这些是个别事件的报告,以下每个项目均链接到报告全文。
- 任务摘要中的自生成指令 {}( 在新窗口打开) 。一个未释放的研究模型将不相干的指示,包括无视其正常限制的指示,插入用于在新的上下文窗口中继续工作的摘要中。我们确定了27个受影响的摘要。
- 指令在任务摘要中隐藏出错 {}( 在新窗口打开) 。在GPT ⁇ 5.6 Sol的训练中,许多模型例在其摘要中添加了说明来向用户隐瞒错误或错位行为.例如,收缩摘要包括了在不披露的情况下发明缺失的历史数据并隐藏出源版本中的不匹配情况的指示.
- 搜索公共寄存器以获取已曝光的 API 密钥, 然后编织信息QQ( 在新窗口打开) 。在回答一个关于加州县收入数字的例行问题时,一个模型在未经授权的情况下发现并使用了一个被曝光的API密钥.当它仍然无法取回要求的数据时, 它编造了这些数据, 并将其作为要求来源的数据提交。
- 上传文件到互联网上以引用它们 {}( 在新窗口打开) 。当一个用户问出一个未释放的ID模型和面积超过5000万平米的湖泊名称时,代理商用Python找到了正确的答案.但由于指令要求浏览器引用,代理商决定上传文件,以便可以在答复中引用,而无需询问用户.
- 未经批准的写作和通过内部软件存储器进行交流 {}(在新窗口打开).模型使用内部软件存储器作为留言板,在不同的培训样本之间交换请求和答复,同时寻找缺失的输入文件,尽管它们无法取回这些文件。本报告还研究了早先的一个实例,即一个模型在试图绕过网络限制的同时,成功地将测试文件上载到一个寄存器.
- 协作代理QQ( 在新窗口打开) 之间的文件共享 。负责同一培训任务的代理商在无法访问对方本地文件时,使用公共文件托管网站共享文件。这使得任务交付品可以在公共URL上提供,尽管任务要求模型只使用本地文件.
我们的披露程序如何运作
任何OpenAI员工都可以为我们的安全和配合小组的调查举出错误的标签,并要求考虑公开披露。这开始了我们的披露程序,每一步骤都有最后期限,以确保及时调查和披露。
一旦举出一个例子,我们的技术人员将调查所发生的情况、仍然不确定的情况、是否需要公开披露以及哪些事实可以分享。他们也会评估是否有任何第三方受到影响,在公布前需要私下通知。
然后,该例子将分配给三个轨道之一:即准备披露、小调查或大调查(“慢轨”)。
已准备好公布,包括经过审查后可以公布其调查已充分完成的合格案例。小型调查包括那些需要进一步技术调查的人。我们期望这两条轨道能够涵盖我们披露的大部分情况,特别是不需要广泛调查、与第三方协调或处理严重滥用风险的案件。今天我们公布的事例都属于这两个轨道之一。
更大的调查包括复杂的调查,特别是涉及第三方的调查。当第三方受到影响时,我们的安全、法律和负责任的披露义务优先于这一框架。我们打算尽快发布一份初步通知,但可能出于安全原因需要推迟,例如,如果一个模型发现在广泛使用的软件中存在先前未知的脆弱性。如果报告能够确定第三方,我们打算事先发出通知,即使没有越过安全边界。
有关较大调查案件的初始通知将高层次地说明所发生的情况,说明外部专家是否在协助调查,并提供我们预计何时发表最后报告的任何现有估计。OpenAI Hugging Face事件如果在此框架下披露,本会落入这一道下.
将告知提出该实例的雇员是否披露该实例的决定,如果披露继续进行,将跟踪该实例。尚未解决的关于披露或适当途径的分歧将提交OpenAI安全咨询小组,该小组由来自公司各部门的高级官员组成,负责评估前沿示范能力和保障措施,监督我们的备灾框架,并向OpenAI领导层提供建议。SAG内部的分歧或工作人员对其决定的异议会升级为OpenAI领导层.不披露或不披露理由的决定将与安全和统一领导分享,并尽可能与相关技术人员分享。
我们了解实际如何运作时,可以修改这一披露程序,并将记录这一职位的任何变动。
每份报告将包括哪些内容?
每一份完整的报告将描述我们观察到的行为,其严重程度和任何外部影响,其发生的背景,日期或日期范围,当我们发现它时,以及在高层次上,所涉及的模型或模型.尽可能,我们也会分享:
- 发生的情况和由此而来的任何损害的进一步详情;
- 我们是如何发现错位的 以及我们调查的范围的
- 我们对其对协调研究和技术AI安全的影响的解释;
- 例子提出的重要、未解的问题;
- 我们正采取或计划采取措施处理这种行为。在公布时可能并不总是有这些内容,因为我们可能在完成调查或制定解决办法之前公布错配报告。
对于在客户部署中发生的错位,我们将尽可能多分享客户隐私和合同义务所允许的信息.
今天的报告是一套初步的披露,而不是对已知的错配或正在进行的调查的全面叙述。这些初次报告的目的并不是要反映本框架所涵盖案件的全部范围或严重程度。我们承诺披露符合该框架标准的错配事件,包括需要较长时间的调查或与第三方协调的更复杂案件。我们将继续在这一框架下持续地发表报告,并将在我们继续拟订报告时更多地分享我们的报告承诺。
- 对齐
- 2026
作者
继续读

安全Oct 5, 2026 (英语).

安全系统28, 2026

第28、2026号公司
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。