AI
周五晚间,Anthropic的两款全新旗舰模型Fable 5与Mythos 5突然被强制下线。起因是美国政府发现了一种针对Fable 5的特定越狱方式,并对其发出出口管制令。由于该管制令适用于所有外国人,包括身处美国境内的外籍人士,Anthropic别无选择,只能对所有用户全面关闭这两款模型。
目前,外界尚不清楚此次越狱的具体内容。Anthropic方面坚持认为,政府所指出的不过是"轻微漏洞","看起来都相对简单",其危害程度并未超出其他公开可用模型的能力范围。
在发布Fable 5时,Anthropic曾强调该模型经过了大量红队安全测试,测试工作有英国AI安全研究所及其他外部机构参与。Anthropic内部测试结果显示,该模型完成对抗性网络攻击任务的比例约为5%。Fable 5的模型说明文件中也明确指出:"一旦发现公开的通用越狱方式,我们将迅速更新防护措施,以确保模型对所有已知攻击保持稳健防御。"但据目前的信息来看,此次问题并非通用越狱,而是一个非常具体的特定漏洞。
截至周六上午,Anthropic尚未更新此前发布的声明,该声明将整件事定性为"一场误解"。
随着事态发展,整个事件变得愈发复杂。总统科学技术顾问委员会联合主席、白宫前AI与加密货币事务负责人大卫·萨克斯(David Sacks)于周六在社交媒体上发文,公布了美国政府的说法。
萨克斯表示,"一位同时获得Anthropic与美国政府高度信任的合作方"举报了该越狱漏洞,政府随后要求Anthropic首席执行官达里奥·阿莫迪(Dario Amodei)加强安全防护以修复漏洞,或主动下架模型,"但达里奥拒绝了"。
据《华尔街日报》与The Information的独立报道,最终向政府举报越狱漏洞的,正是亚马逊首席执行官安迪·贾西(Andy Jassy)。亚马逊研究人员发现了相关漏洞,贾西随后将此事报告给了包括财政部长斯科特·贝森特(Scott Bessent)在内的美国官员。
这些亚马逊研究人员发现,Fable 5——即带有安全防护机制的Mythos 5版本——可被诱导协助实施网络攻击。Anthropic在发布Fable 5时曾明确表示,已设置安全护栏,防止模型协助用户发动网络攻击或制造生物武器等。
然而,许多用户很快反映,这套防护机制过于敏感,导致模型拒绝回答一些无害的问题。当系统检测到潜在不安全的提示词时,Claude有时甚至会悄悄切换回上一代旗舰模型Opus 4.8来作答。
由于此次漏洞由亚马逊方面举报,外界普遍推测,相关研究人员是在亚马逊Bedrock平台上测试Fable 5时发现了问题。亚马逊表示,Bedrock平台上部署的安全机制与通过Anthropic官方渠道直接使用Claude时完全相同。
萨克斯认为,Anthropic以"漏洞不严重"为由拒绝下架模型,此举在修辞上将Anthropic逼入了自己造就的困境。他写道:"这与受信任合作方和美国政府的判断相悖,这种轻描淡写的说法也与Anthropic作为AI安全公司的品牌形象格格不入。很难理解,他们怎么能声称一个可让网络武器正常运作的越狱漏洞'不严重'。"
正如许多评论人士所指出的那样,正是Anthropic自己曾表示Mythos 5过于危险而不宜公开发布,也正是Anthropic一手打造了"前沿实验室中最重视AI安全"的品牌形象。
萨克斯由此将矛头指向Anthropic,写道:"过去,Anthropic始终强调安全是重中之重,必须认真对待。然而在这件事上,Anthropic却将维持消费者产品的持续运营置于安全之上。"
就目前来看,最直接的解决方案是Anthropic部署新的安全防护措施,从根本上堵住这一特定越狱漏洞——尽管考虑到这类非确定性模型的特性,新的越狱方式随时可能再次出现。
不过,外界普遍预计修复方案将在相对较短的时间内落地,出口管制令届时也有望解除,相关模型将重新向用户开放。
然而,此次事件已为美国政府干预AI安全问题树立了新的先例,其他美国本土前沿实验室无疑正在密切关注事态走向。AI领域的发展本就是各大实验室之间持续博弈、轮流领先的过程,Fable 5与Mythos 5也不太可能是AI模型发展的终点。
这对OpenAI和谷歌下一批即将发布的模型意味着什么,目前尚无定论。美国政府此前已提出,新模型发布前应进行自愿性安全测试,此次事件很可能将重新把这一议题推至讨论前沿。
值得一提的是,在AI监管问题上,Anthropic一直是倡导力度最大的公司。
当然,Anthropic与特朗普政府之间本就存在微妙的紧张关系,这也使整件事更加复杂。萨克斯在发文中否认政治因素介入,并表示:"政府重视Anthropic的技术能力,认为这一问题虽然严重,但应当不难解决。现在,球在Anthropic那边。"
Q&A
Q1:Fable 5和Mythos 5是什么模型?为什么会被下架?
A:Fable 5和Mythos 5是Anthropic推出的全新旗舰AI模型。下架原因是美国政府发现了一种针对Fable 5的特定越狱方式,并对其发出出口管制令。由于管制令适用范围包括所有外籍人士,Anthropic被迫对所有用户全面关闭这两款模型。
Q2:亚马逊在Fable 5越狱事件中扮演了什么角色?
A:据《华尔街日报》和The Information报道,亚马逊研究人员在亚马逊Bedrock平台上测试Fable 5时,发现其可被诱导协助实施网络攻击。亚马逊CEO安迪·贾西随后将这一漏洞报告给了包括财政部长斯科特·贝森特在内的美国政府官员,最终触发了政府的管制行动。
Q3:Fable 5何时能恢复使用?
A:目前官方尚未给出明确时间表。外界普遍预计,Anthropic将在较短时间内部署针对该特定越狱漏洞的新防护措施,出口管制令随后有望解除,模型将重新向用户开放。
好文章,需要你的鼓励
OpenAI在与多家新闻机构的版权诉讼中陷入困境。以《纽约时报》为首的原告指控OpenAI在长达两年时间里向法庭撒谎,刻意隐瞒其已对ChatGPT日志进行大规模搜索的事实。据悉,OpenAI实际上已拥有包含1000万和7800万条记录的日志样本,并曾用于研究版权内容过滤器,却对外声称无法进行此类搜索。原告据此提出制裁动议,要求法院追责。OpenAI则否认相关指控,坚称其立场基于合理使用原则。
斯坦福与UC伯克利提出LLM-as-a-Verifier框架,通过提取AI模型内部概率分布生成连续评分,在代码、机器人、医疗领域均达到最优性能,且无需额外训练。
美国加州大学圣地亚哥分校研究团队在《自然》期刊发表研究成果:外科医生通过远程操控宇树G1仿人机器人,成功完成两例活体猪胆囊切除手术,创下全球首例。与造价数十至数百万美元的达芬奇手术机器人相比,仿人机器人成本更低、体积更小,未来有望部署于农村、战地乃至太空等资源匮乏的医疗场景。但目前仍存在需频繁重新校准、机械臂活动范围受限等挑战。
字节跳动Seed团队发现AI智能体在真实环境中学习的进步曲线精确遵循对数S形规律,R?达0.998,且前沿模型的学习速度每三个月翻倍。