新兴技术与安全中心(CETaS)年度展示活动以一场围绕Claude Mythos的讨论拉开帷幕。
艾伦·图灵研究所CETaS主任亚历山大(萨沙)·巴布塔在开幕致辞中表示,Anthropic最新的前沿模型Claude Mythos Preview在数学、网络安全、软件工程及自动化漏洞检测等方面均取得了重大突破。
尽管该模型能够自主识别并利用真实系统中尚未被发现的安全漏洞,巴布塔对其在企业IT安全防护方面的应用前景持积极态度。他说:"企业可以借助Anthropic Mythos等模型,快速发现自身系统中的漏洞并加以修复,从而为所有人筑牢数字安全防线。"
一项针对2022年ChatGPT发布至2025年底期间网络犯罪社区的研究显示,多个网络犯罪论坛上出现了多款所谓的"暗黑AI"产品。这些产品的所有者声称,它们是专为网络犯罪定制、经过深度训练或破解的大语言模型。然而,爱丁堡大学高级讲师本·科利尔在分享研究结果时指出,尽管这些产品在论坛上一度引发热议,但迄今为止实际影响甚微。
研究人员在对企业级合法产品——即那些旨在帮助新手开发者快速成长为熟练程序员的工具——进行研究时发现,许多有网络犯罪倾向的人正在尝试使用ChatGPT和Claude等工具,并"兴奋地在论坛上分享自己的发现"。不过,科利尔指出,对这些讨论的深入分析表明,大多数论坛成员缺乏有效利用AI工具实施网络犯罪所需的基本技术能力。
"他们用这些氛围感编程工具做个人项目,尤其是处理网络犯罪运营中一些基础的后勤事务,"他说,"网络犯罪中涉及的大部分编程工作并非黑客攻击本身,而是任何小型初创公司都会面临的日常管理和基础工程工作。这意味着他们中的很多人其实根本不需要破解Claude,就能从中获得实际价值。"
当然,也存在更为悲观的声音:随着这些工具持续演进,它们终将被用于发动复杂的网络攻击。AI安全研究所(ASI)临时主任亚当·博蒙特对此进行了阐述。博蒙特曾担任英国政府通信总部(GCHQ)的首席AI官,他透露,ASI近期演示了一个前沿AI模型如何在模拟的企业环境中执行一次多达32步的网络攻击——从初始侦察直至完全控制目标网络。
"我们估计,完成同样的工作一名经验丰富的专业人员需要花费约20小时,而这是有史以来首次由AI模型完成这一任务。几周后,我们又对第二个模型进行了测试,"他说。
博蒙特强调,他所描述的攻击并非一个模型在回答有关黑客的问题,而是"一个真正实施了黑客攻击的系统"。他说:"我们至今仍不完全了解如何确保这些系统按照我们的意图运行,也不知道如何在它们能力不断增强的过程中保证其始终处于有效的人类监控之下。"
博蒙特将ASI的这次演示称为"诚实的起点",并表示:"这种不确定性是真实存在的,感到不安也是合理的。"在他看来,这次演示所积累的经验,可以逐步构建起一套以证据为基础的框架,帮助政府、产业界和研究机构根据AI系统的真实能力做出更明智的决策。
Q&A
Q1:Claude Mythos Preview在网络安全领域具体能做什么?
A:Claude Mythos Preview是Anthropic发布的前沿AI模型,在网络安全领域具备自主识别并利用真实系统中未知漏洞的能力。专家表示,企业可以利用该模型快速扫描自身系统中的安全漏洞并及时修复,从而提升整体数字安全防护水平。此外,该模型在数学、软件工程和自动化漏洞检测方面也取得了重大进展。
Q2:网络犯罪分子目前用AI工具能造成多大威胁?
A:根据对2022年至2025年底网络犯罪社区的研究,目前大多数网络犯罪论坛成员缺乏有效使用AI工具实施复杂攻击的基本技术能力。他们主要将AI用于个人项目或犯罪运营中的基础后勤工作,而非真正的黑客攻击。所谓专为犯罪定制的"暗黑AI"产品虽引发关注,但实际影响有限。
Q3:AI安全研究所演示的32步网络攻击说明了什么问题?
A:AI安全研究所(ASI)演示了一个前沿AI模型在模拟企业环境中自主完成32步网络攻击的全过程,从侦察到完全控制网络,而人类专业人员完成同样工作需约20小时。这一演示表明,AI已具备主动实施复杂攻击的能力,而非仅仅回答问题。ASI临时主任博蒙特指出,如何确保AI系统受到有效的人类监控,仍是亟待解决的核心问题。
好文章,需要你的鼓励
火箭实验室(Rocket Lab)宣布计划以现金加股票方式,斥资80亿美元收购主要卫星运营商铱星通信(Iridium Communications),交易预计于2027年中完成。铱星目前运营着由66颗活跃低轨卫星组成的星座网络,拥有约255万活跃用户,2024年营收达8.717亿美元。收购完成后,Rocket Lab计划借助其新型重型运载火箭Neutron及Lightning卫星平台,扩大铱星星座规模,开拓未被覆盖的市场并降低发射成本。
谷歌研究院开发的论文助手工具PAT,利用分阶段深度推理流水线自动审查学术论文,在真实错误检测任务上达到89.7%召回率,并已在STOC和ICML两大顶会完成超4700篇论文的真实部署。
音乐流媒体平台Tidal宣布,将于7月中旬启用自动化工具,对完全由AI生成的音乐添加"AI"标识,并移除具有欺诈性质的曲目。平台还将取消AI生成音乐的版税资格,仅向真人创作、演唱的原创音乐开放变现渠道。此外,Tidal明确将高频异常上传、干扰真实艺术家等行为列为欺诈活动。Deezer、Spotify等竞争对手此前已推出类似检测机制,流媒体行业正加速构建AI内容治理体系。
香港大学与武汉大学联合开发的EO-WM系统,将地球观测卫星图像预测重新定义为天气驱动的世界建模问题,通过把气象信号拆解为气候基线、天气异常和累积压力三层,显著提升了对极端干旱和热浪事件下植被退化的预测准确性。