试点全球首个双盲 AI 评估
原题:DeepMind试点双盲AI评测:用机密计算减少基准污染
内容导读
Google 与新加坡 AI 安全研究机构及合作方试点双盲评测,通过 Google Cloud 机密计算将模型权重与外部测试题分别隔离,降低基准污染风险。

全文阅读
来源:deepmind.google即会翻译
William Isaac、Sol Messing 和 Kristian Lum|以加密安全环境提升专有模型基准测试的可信度|2026 年 8 月 27 日
设想一名学生参加重要考试。如果他提前不小心看到了试题,那么即使拿到满分,也可能是因为提前知道了内容,成绩便失去意义。要准确衡量学生真正掌握的知识,必须确保他在考试开始前看不到试题。先进 AI 模型评估也面临同样挑战:如果模型提前见过测试题,也就是发生了所谓“基准污染”,评估结果的可信度就会受到影响。
今天,我们推出针对专有前沿级 AI 模型的全球首个双盲评估试点。外部评估会被限制在加密“盒子”中,避免测试数据被模型用于之后的性能优化。Google 将与新加坡 AI 安全研究院、OpenMined、AVERI 和 MLCommons 合作,在保护隐私的环境中,使用保密基准测试 Gemini Flash Lite 模型,以提升评估完整性。
在模型开发和部署过程中,Google 会通过多种评估方式测试 AI 系统,但不会只依赖内部测试。为了发现潜在盲点,Google 与专业研究实验室、民间组织、国家 AI 安全与安保研究院等外部伙伴合作,运用他们的专业知识对模型进行压力测试。
随着 AI 模型能力增强,确保模型事先没有见过测试问题或提示至关重要,否则结果可能被扭曲。政策制定者、研究人员和企业需要相信 AI 基准准确反映模型的真实能力与安全性;若模型提前“偷看”测试题,分数就可能被人为抬高,损害信任。
长期以来,零日志协议和严格合同保障可以保护外部测试提示的机密性;现在加入技术和加密保障,是安全模型评估向前迈出的重要一步。
双盲评估如何运作
过去,高风险外部评估往往需要在两种风险之间取舍:评估方交出测试提示,可能导致模型提供方提前看到试题;或者模型提供方交出模型权重,可能泄露知识产权。
双盲评估消除了这种取舍。通过使用 Google Cloud 机密计算组合中的 Confidential Space,可以通过密码学手段验证:外部评估数据和专有模型分别由各自所有者保密。评估方看不到 Gemini 模型权重,Google 也看不到评估方的测试提示。
以新方法建立模型评估信任
加密证据有助于防止基准污染并保护敏感数据。随着模型能力增强,这对网络安全或政府机构使用的高度敏感评估尤其重要。双盲评估让独立组织能够严格测试先进模型,同时不损害数据主权和安全。
Google 希望这一试点能为模型监督建立新标准,帮助整个行业打造更安全、可靠、值得广泛信任的 AI 系统。有关方法和结果的详情可参阅技术报告。
即会整理稿
平台内容 · 非发布方原文如果考生提前偷看了试卷,满分还有什么意义?AI 评测正面临同样的尴尬——模型可能在训练时就"见过"考题,这个被称为"基准污染"的问题,让许多排行榜分数变得可疑。8 月 27 日,Google DeepMind 宣布试点所谓"全球首个"针对专有前沿级 AI 模型的双盲评测,试图用密码学手段把出题方和答题方隔开[1][3]。
双方都"看不见"
据 DeepMind 官方博客介绍,这套机制把外部评测方的测试提示词封存在一个密码学"盒子"里,模型无法提前获取这些题目来优化性能[1]。具体而言,外部评测者拿不到模型权重,DeepMind 也看不到对方的私有测试提示词,双方在同一个经过密码学验证的环境中运行[3][4]。博客将这一设计类比为高风险考试:考生在开考前不应看到题目,否则成绩就失去意义[1]。

*图1:Google DeepMind logo(DeepMind Technologies Limited (Alphabet, Inc.). / Public domain,Wikimedia Commons)*
"双盲"概念直接借自临床试验和科研设计——在双盲药物试验中,患者和给药医生都不知道谁用了真药、谁用了安慰剂,从而排除预期偏差[3]。DeepMind 把这套逻辑搬到了模型测试上,只不过对立的不是两个组,而是两方主体[3]。
合作方与测试对象
DeepMind 表示,此次试点与新加坡 AI 安全研究所、OpenMined、AVERI 和 MLCommons 合作,用一个 Gemini Flash Lite 模型在隐私保护环境中对抗机密基准测试[1]。公告署名作者为 William Isaac、Sol Messing 和 Kristian Lum[1][3]。据 explainx.ai 报道,官方在 X 上的帖子获得了 26.5 万以上浏览量[3]。

*图2:ARS - Bee Traits and Genome Research (20211210-ARS-LSC-1389)(USDAgov / Public domain,Wikimedia Commons)*
信息缺口与未证实之处
不过,这套试点目前披露的细节相当有限。runtimewire 的报道指出,公告、技术报告及现有材料均未说明参与模型、外部评测方、评测领域、技术安全架构或评测结果,也没有足够信息判断谁控制评测环境、流程是否独立于模型所有者[4]。DeepMind 称其为"行业首创",但这一说法尚未获得独立验证[4]。该媒体还提到,闭源模型的审计往往迫使评测方公开私有测试,或让开发者交出宝贵的模型权重,一个可信的双盲流程本可同时保护双方,但目前披露不足,难以评估其安全性、结果或评测方独立性[4]。

*图3:AI research robots key to ‘democratizing and revolutionizing science’, world-class AFRL researcher says (8274977)(U.S. Air Force AFRL by David Dixon / Public domain,Wikimedia Commons)*
点评
从"基准污染"到"评测独立性",DeepMind 这次试点的价值或许不在于刷新某个分数,而在于提出了一种新协议:能否在不泄露任何一方敏感材料的前提下完成测试[3]。机密计算能否真正改变前沿模型评测的信任模型,取决于后续是否公开更多技术细节与可复现的结果——就目前而言,这仍是一个需要被独立审视的承诺。
参考来源
[1] Piloting the world's first double-blind AI evaluations
https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/
[2] Google DeepMind Pilots Double-Blind AI Evaluation
https://academy.evalcommunity.com/google-deepmind-pilots-double-blind-ai-evaluation/
[3] DeepMind Double-Blind AI Eval: No Peeking (2026) - explainx.ai
[4] Google DeepMind pilots double-blind AI evaluations without ...
https://runtimewire.com/article/google-deepmind-double-blind-gemini-ai-evaluations
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。