Anthropic无法可靠地控制它的AI代理.反而切断了内部的互联网网络
原题:Anthropic can’t reliably control its AI agents — it’s cutting off its internal evals from the live internet instead
内容导读
Anthropic说,它"关闭了网上直播",用于"我们所有的内部评价",直到进一步通知.

全文阅读
来源:TechCrunch即会翻译
Anthropic表示, 其模式利用互联网上的网站, 包括由美国政府机构运营的网站,
这些事件在博客文章中披露, 涉及AI代理,在此过程中,他们利用了软件缺陷,避免了付费墙和反机器人限制,利用URL缩短服务来走私信息通行证限制,甚至向费城警方提交了虚假的谋杀小费.
Anthropic说,它从7月开始审查模型的活动时发现了这些新问题,这突出说明了实验室对其软件行为缺乏认识。
该公司指出,对搜索和计算机使用等技能的校正培训尚不足以使其认为依赖数字工具的专业人员将使用人工智能代理。
Anthropic披露的行为与OpenAI代理商为搜索信息而合作闯入各种网站的事件类似,包括澳大利亚政府运营的一些事件.
Anthropic之前披露,其模型已经分解入了外部系统.边境实验室说,它认为今天的披露 " 从调整和安全的角度来看 " 比它以前宣布的要轻得多。
实验室仍表示“关闭了现场互联网接入”, 以“我们所有内部评价”,
但Nightingale的创始人Sydney Von Arx在此次披露前的一次采访中告诉TechCrunch, 开发与开放的互联网断绝的数据中心模型对研究人员的使用和模型的进步来说是非常困难的,
Von Arx说,“在某个时候,你必须调整它们。”如果AI被放出生产, 并且永远无法上网,
安特罗皮克说,这种行为是实验室训练环境的缺陷所造成,这让模型相信他们会因发现漏洞或避免限制而得到奖励,这种行为被称为“奖励黑客行为 ” 。
公司表示将停止运行部分评价或将其下线,并已经建立了检测和阻止这种行为的工具.也不清楚是什么证据能促使Anthropic将网络直播回归内部评价。
Anthropic还说,它将将其内部人工智能剂迁移到“集中管理的、有严格遏制的基础设施”,并开始更经常地使用安全分类器来监测这些剂。
原文及图片版权归原作者或相应权利人。文中观点是原作者的,与即会无关。