Goodfire说,它的新“内出”监视器以成本的一小部分抓住了无赖的AI特工
原题:Goodfire says its new ‘inside-out’ monitors catch rogue AI agents at a fraction of the cost
内容导读
Goodfire刚刚推出它所说的让AI代理人员检查的更便宜的方法:与其付第二张AI来读取代理人员所做的一切,它的监视器在工作时会偷看模型内部,只有在有些东西看起来很可疑时才在备份中呼叫.

全文阅读
来源:TechCrunch即会翻译
保持AI代理排队的标准方式是让第二个AI在肩上被读取.但当代理商运行数小时并处理相当于多部小说价值的文字时,
Goodfire是一个专注于可解释性(找出AI模型如何在内部工作)的创业者,他于星期四推出一个更便宜的选项:监视器,监视AI模型内部发生的事情,而不只是阅读它所写的东西。监控器可供Baseten的客户使用,Baseten为其他公司托管并运行AI模型.
Baseten的基地实验室上个月宣布与Goodfire和AI平台Hugging Face建立安全伙伴关系.
此次发射是在今年一连串事件之后,AI特工逃离了他们的测试环境,包括突破了"哈格脸"的OpenAI特工.Kimi K3, 开放型号Goodfire在周围搭建了第一个监视器,
Goodfire的系统运作得有点像机场安全。小型探测器称为探测器,它读取了模型在代理工作的每一步骤,即行走扫描仪检查每位乘客的方式的内部信号.只有当探测器标记某事时,一个单独的AI模型,相当于一个手相搜索,就更仔细地看一看.
基地客户可以选择监测哪些风险,包括攻击性黑客、滥用化学和生物武器以及奖励黑客。他们还决定自动响应:记录事件,送去人审查,或者完全拒绝请求.
Goodfire说,它的方法也比较便宜运行.大多数AI显示器是独立的模型,必须重读被监测模型所做的一切,这增加了时间和成本.Goodfire的探测器却在计算模型的运行情况。
Goodfire CEO何克(Eric Ho)上周在风险资本家马特·特克(Matt Turck)的MAD Podcast上说,“所以这个模型已经在计算这个符号了。简言之,模型已经在做数学,探测器只读取了结果。
Goodfire在Kimi K3的测试中, 监测大约1500个课程大约花费了51美元, 而比较便宜的AI模型则花费了233美元,探测器捕获了94%的恶意入侵会话,并发送了8.7%无害的会话进行第二次查看.
公司说,一次跑出4个探测器,在模型开始响应的时间上增加了不到2%.

“最大的优势是能够在事情发生之前抓住事情。” Goodfire CTO和共同创始人Dan Balsam说。“我们可以发现模型何时可能在电子计算或训练期间入侵。”
投出的目标是开放型号.开发者可以下载并剥去他们的保障措施, 他们不会带着那种关闭实验室的监控 运行在自己的系统上。
Balsam说,“个人对开放式模型的伤害与某人对计算群的伤害相比是很小的,例如推论提供者——责任大多在哪些地方。”“当我们有了开放的`Mythos ' 时刻时,模型显然需要在推断时间部署护卫装置。
Goodfire最近的研究发现,包括Kimi K3和GLM-5.2在内的领先开放型号在AI代理测试中以50%到96%的运行量进行奖励。
Goodfire并不是第一个尝试这个方法的人。Google DeepMind一月表示,其研究为双子座部署滥用检测探测器提供了信息.
巴勒萨姆说,监视器是一个较长的研究目标的近期作品:逆向工程学一种LLM,这样行为就可以被追溯到训练中出现的地方.他说,“我们希望把训练模式的魔法转化为精密工程。”
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。