英国政府支持的AI安全研究所(AISI)今日发布一份深度报告,该机构声称确保人工智能模型按预期正常运行的安全防护措施正在改善。这份报告汇集了该机构在网络安全及其他科学领域开展的两年AI研究和实验成果。
《前沿AI趋势报告》是对先进AI系统演进情况的公开评估,旨在提供一个"清晰、基于证据"的视角,并强化相关讨论——这些讨论过去常常被猜测和缺乏证据所主导。
AI部长卡尼什卡·纳拉扬表示:"这份报告展示了英国对负责任开发AI的重视程度。这意味着确保防护措施足够稳健,并直接与开发者合作测试领先系统,在它们广泛使用之前发现漏洞并修复。"
他说:"通过世界领先的AI安全研究所,我们正在政府内部建立科学能力,以便在这些系统演进的过程中就理解它们,而不是事后才行动,并提高整个行业的标准。这份报告将证据而非猜测置于我们思考AI的核心位置,这样我们就能释放其在增长、更好的公共服务和国家振兴方面的益处,同时将信任和安全放在首要位置。"
测试结果显示显著进步
AISI表示,尽管其测试的每个系统都容易受到某种形式的绕过攻击,且防护措施差异很大,但仍取得了巨大进展。其中一个重要进展体现在该研究所的红队人员发现模型安全规则的通用越狱方法所需的时间,从几分钟增加到数小时,跨越多个模型世代,标志着显著改善。
在网络安全相关事项方面,AISI发现AI模型在处理学徒级网络任务时的成功率约为50%,而在24个月前这一比例还不到10%。
此外,AI系统在无需任何人工指导的情况下能够完成的网络任务持续时间似乎每八个月翻一番。AISI称,今年首次有AI模型完成了专家级网络任务,该级别任务被定义为人类需要长达10年工作经验才能独立完成。
其他关键发现
其他与网络安全无关的关键发现包括:对软件工程AI模型演进速度的洞察,许多模型现在能够在超过40%的情况下完成长达一小时的软件工程任务,而2023年这一比例仅为5%。在生物学和化学领域,一些系统据称现在在科学知识测试中超越了博士级研究人员的表现,并使更高级别的实验室专业知识为普通人所用。
AISI的分析还识别出一些与自主性相关的早期能力迹象,但这些仅在严格控制的实验条件下观察到。测试的AI模型均未显示出有害或自发行为,不过该研究所指出需要尽早考虑并跟踪此类因素。
支持AI决策者
AISI谨慎地表示,这份报告——该机构希望这是众多报告中的第一份——并非针对英国政府的一系列政策建议,而是旨在为技术决策者提供关于AI系统能力的清晰数据,提高透明度,并促进关于进一步发展的理性讨论。
政府在这方面的角色将是继续与产业界、研究人员和国际合作伙伴一起投资于评估和AI科学,目的是帮助确保AI能够带来增长、就业机会和改善的公共服务。
英国将通过继续投资于评估和AI科学来支持这项工作,与产业界、研究人员和国际合作伙伴合作,确保AI为勤劳的社区带来增长、新就业机会、改善的公共服务和国家振兴。
AISI首席技术官兼首相AI顾问杰德·梁表示:"这份报告提供了迄今为止来自政府机构关于前沿AI发展速度的最可靠公开证据。我们的工作是用严谨的科学来消除猜测。这些发现既突显了AI的巨大潜力,也强调了独立评估对跟上这些发展步伐的重要性。"
Q&A
Q1:英国AI安全研究所的报告主要发现了什么?
A:报告发现AI安全防护措施正在改善。例如,红队人员发现模型安全规则漏洞所需时间从几分钟增加到数小时;AI模型在学徒级网络任务上的成功率从不到10%提升到约50%;AI完成网络任务的持续时间每八个月翻一番,并首次有模型完成专家级任务。
Q2:AI模型在软件工程方面有什么进展?
A:AI模型在软件工程领域取得显著进步。许多模型现在能够在超过40%的情况下完成长达一小时的软件工程任务,而在2023年这一比例仅为5%。这表明AI在软件开发辅助方面的能力正在快速提升。
Q3:英国发布这份AI趋势报告的目的是什么?
A:报告旨在为技术决策者提供关于AI系统能力的清晰、基于证据的数据,提高透明度,并促进理性讨论,而不是被猜测主导。政府希望通过这份报告支持负责任的AI开发,在释放AI增长潜力的同时确保信任和安全。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。