新兴技术与安全中心(CETaS)年度展示活动以一场围绕Claude Mythos的讨论拉开帷幕。
艾伦·图灵研究所CETaS主任亚历山大(萨沙)·巴布塔在开幕致辞中表示,Anthropic最新的前沿模型Claude Mythos Preview在数学、网络安全、软件工程及自动化漏洞检测等方面均取得了重大突破。
尽管该模型能够自主识别并利用真实系统中尚未被发现的安全漏洞,巴布塔对其在企业IT安全防护方面的应用前景持积极态度。他说:"企业可以借助Anthropic Mythos等模型,快速发现自身系统中的漏洞并加以修复,从而为所有人筑牢数字安全防线。"
一项针对2022年ChatGPT发布至2025年底期间网络犯罪社区的研究显示,多个网络犯罪论坛上出现了多款所谓的"暗黑AI"产品。这些产品的所有者声称,它们是专为网络犯罪定制、经过深度训练或破解的大语言模型。然而,爱丁堡大学高级讲师本·科利尔在分享研究结果时指出,尽管这些产品在论坛上一度引发热议,但迄今为止实际影响甚微。
研究人员在对企业级合法产品——即那些旨在帮助新手开发者快速成长为熟练程序员的工具——进行研究时发现,许多有网络犯罪倾向的人正在尝试使用ChatGPT和Claude等工具,并"兴奋地在论坛上分享自己的发现"。不过,科利尔指出,对这些讨论的深入分析表明,大多数论坛成员缺乏有效利用AI工具实施网络犯罪所需的基本技术能力。
"他们用这些氛围感编程工具做个人项目,尤其是处理网络犯罪运营中一些基础的后勤事务,"他说,"网络犯罪中涉及的大部分编程工作并非黑客攻击本身,而是任何小型初创公司都会面临的日常管理和基础工程工作。这意味着他们中的很多人其实根本不需要破解Claude,就能从中获得实际价值。"
当然,也存在更为悲观的声音:随着这些工具持续演进,它们终将被用于发动复杂的网络攻击。AI安全研究所(ASI)临时主任亚当·博蒙特对此进行了阐述。博蒙特曾担任英国政府通信总部(GCHQ)的首席AI官,他透露,ASI近期演示了一个前沿AI模型如何在模拟的企业环境中执行一次多达32步的网络攻击——从初始侦察直至完全控制目标网络。
"我们估计,完成同样的工作一名经验丰富的专业人员需要花费约20小时,而这是有史以来首次由AI模型完成这一任务。几周后,我们又对第二个模型进行了测试,"他说。
博蒙特强调,他所描述的攻击并非一个模型在回答有关黑客的问题,而是"一个真正实施了黑客攻击的系统"。他说:"我们至今仍不完全了解如何确保这些系统按照我们的意图运行,也不知道如何在它们能力不断增强的过程中保证其始终处于有效的人类监控之下。"
博蒙特将ASI的这次演示称为"诚实的起点",并表示:"这种不确定性是真实存在的,感到不安也是合理的。"在他看来,这次演示所积累的经验,可以逐步构建起一套以证据为基础的框架,帮助政府、产业界和研究机构根据AI系统的真实能力做出更明智的决策。
Q&A
Q1:Claude Mythos Preview在网络安全领域具体能做什么?
A:Claude Mythos Preview是Anthropic发布的前沿AI模型,在网络安全领域具备自主识别并利用真实系统中未知漏洞的能力。专家表示,企业可以利用该模型快速扫描自身系统中的安全漏洞并及时修复,从而提升整体数字安全防护水平。此外,该模型在数学、软件工程和自动化漏洞检测方面也取得了重大进展。
Q2:网络犯罪分子目前用AI工具能造成多大威胁?
A:根据对2022年至2025年底网络犯罪社区的研究,目前大多数网络犯罪论坛成员缺乏有效使用AI工具实施复杂攻击的基本技术能力。他们主要将AI用于个人项目或犯罪运营中的基础后勤工作,而非真正的黑客攻击。所谓专为犯罪定制的"暗黑AI"产品虽引发关注,但实际影响有限。
Q3:AI安全研究所演示的32步网络攻击说明了什么问题?
A:AI安全研究所(ASI)演示了一个前沿AI模型在模拟企业环境中自主完成32步网络攻击的全过程,从侦察到完全控制网络,而人类专业人员完成同样工作需约20小时。这一演示表明,AI已具备主动实施复杂攻击的能力,而非仅仅回答问题。ASI临时主任博蒙特指出,如何确保AI系统受到有效的人类监控,仍是亟待解决的核心问题。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。