根据未来生命研究所上周发布的最新AI安全指数报告,在保护我们免受AI风险方面,大型科技公司表现不佳,充其量只是C等水平。该指数从透明度、技术保障、治理实践以及减轻存在性风险的准备程度等方面,对世界主要前沿AI实验室进行评分。
该指数既是成绩单,也是公众反馈工具,在政府监管跟上步伐之前,通过独立审查施加压力。
"这样做的目的不是为了羞辱任何人,"麻省理工学院物理学家、未来生命研究所联合创始人Max Tegmark表示,"而是为公司提供改进的激励。"
Tegmark希望在监管能够放缓这场竞赛之前,该指数将创造公司无法忽视的公众压力,就像大学无法忽视《美国新闻与世界报道》的排名一样。
但他承认,在没有约束性标准的情况下,没有公司愿意放慢脚步。他认为,如果有严格的监管,竞争激励将会逆转:谁先通过安全标准,谁就能先部署。
关键时刻的评分卡
2024年指数评估了六家公司——Anthropic、谷歌DeepMind、Meta、OpenAI、xAI和中国的智谱AI——涵盖六个类别:风险评估、当前危害、安全框架、存在性安全策略、治理与问责、透明度与沟通。评分系统采用美国GPA量表。
在去年的指数中,Anthropic获得最高总分:C等。其他公司分布在下方:谷歌DeepMind、OpenAI、xAI和智谱AI聚集在D等范围。Meta获得F等。
最新的2025年冬季版本显示有所改善,Anthropic从C等上升到C+等。OpenAI和谷歌DeepMind也取得显著进步,主要凭借扩展的文档资料,从D等范围升至C+等和C等。
然而,其余公司——包括xAI、Meta和智谱AI——仍然聚集在D等范围,进步有限。
该指数现在包括阿里巴巴和深度求索等主要中国实验室,扩大了评估范围,超越了以美国为中心的前沿领域。新增的中国公司由于安全披露有限和存在性风险策略薄弱,也获得了D等评分。
最令人担忧的发现集中在"存在性安全"类别,这反映了人们日益担心无约束的AI——特别是一旦超越人类智能——可能对文明构成灾难性风险。
没有一家公司在存在性安全方面获得及格分数。
"即使是表现最好的公司也只获得C+等级,这意味着还有很大的改进空间,"未来生命研究所AI安全调查员Sabina Nong说。
调查询问每个实验室是否有经过验证的计划来控制超级智能系统。没有一家能够阐述可信的提案。
加州大学伯克利分校的Stuart Russell是独立审查员之一,他认为目前在大规模数据集上训练巨型"黑盒"模型的范式可能在结构上无法提供此类保证。该指数凸显了一个严峻现实:我们正在构建自己并不完全理解的系统,如果出错也没有安全刹车。
2025年指数最终强调,AI能力的改进速度远超安全水平的提升。
监管势在必行
Tegmark将此类比为临床试验或核安全,这些领域的监管机构在部署前要求定量证据、严格控制和透明测试。可以说AI更强大、更通用,却没有同等的监管标准。
与此同时,美国政策制定者正在努力解决有意义的监督应该是什么样子。在路透社NEXT会议上,美国AI安全研究所的Elizabeth Kelly表示,AI护栏的科学基础仍在变化。开发者自己也没有防止滥用的标准手册。
前沿实验室之外的问题
该指数考虑了最显眼的公司,而现实世界中的很多危害来源于其他地方。
即使顶级实验室有朝一日获得A等评分,仍然存在大量能够造成类似危害的小型模型和开源衍生产品。
一些研究人员认为,安全评估最终应该不仅包括模型开发者,还应包括放大和货币化AI生成内容的平台。如果没有追踪、审计或约束这些下游影响的机制,即使是"安全"的顶级模型也无法解决更大的问题。
目前,该指数揭示了AI承诺与其治理之间的差距。指数下一版本是否记录真正的改进,可能更少取决于实验室的承诺,更多取决于政府、标准机构和更广泛生态系统决定填补治理空白的速度。
Q&A
Q1:AI安全指数是什么?它如何评估AI公司?
A:AI安全指数是由未来生命研究所发布的评估报告,从风险评估、当前危害、安全框架、存在性安全策略、治理与问责、透明度与沟通六个类别对主要AI实验室进行评分,采用美国GPA量表。
Q2:哪些公司在AI安全方面表现最好?
A:根据2025年最新报告,Anthropic表现最好,获得C+等级。OpenAI和谷歌DeepMind也有显著进步,分别获得C+等和C等。但没有任何公司在存在性安全类别获得及格分数。
Q3:为什么AI安全监管如此重要?
A:因为AI能力提升速度远超安全水平,而且我们正在构建自己并不完全理解的系统。一旦AI超越人类智能,可能对文明构成灾难性风险,但目前没有公司能提供可信的超级智能系统控制方案。
好文章,需要你的鼓励
Replit与RevenueCat达成合作,将订阅变现工具直接集成至Replit平台。用户只需通过自然语言提示(如"添加订阅"),即可完成应用内购和订阅配置,无需离开平台。RevenueCat管理超8万款应用的订阅业务,每月处理约10亿美元交易。此次合作旨在让"氛围编程"用户在构建应用的同时即可实现商业变现,月收入未达2500美元前免费使用,超出后收取1%费用。
LiVER是由北京大学、北京邮电大学等机构联合提出的视频生成框架,核心创新是将物理渲染技术与AI视频生成结合,通过Blender引擎计算漫反射、粗糙GGX和光泽GGX三种光照图像构成"场景代理",引导视频扩散模型生成光影物理准确的视频。框架包含渲染器智能体、轻量化编码器适配器和三阶段训练策略,支持对光照、场景布局和摄像机轨迹的独立精确控制。配套构建的LiVERSet数据集含约11000段标注视频,实验显示该方法在视频质量和控制精度上均优于现有方法。
所有人都说AI需要护栏,但真正在构建它的人寥寥无几。SkipLabs创始人Julien Verlaguet深耕这一问题已逾一年,他发现市面上多数"护栏"不过是提示词包装。为此,他打造了专为后端服务设计的AI编程智能体Skipper,基于健全的TypeScript类型系统与响应式运行时,实现增量式代码生成与测试,内部基准测试通过率超90%。他认为,编程语言的"人类可读性时代"正走向终结,面向智能体的精确工具链才是未来。
这项由蒙特利尔学习算法研究所(Mila)与麦吉尔大学联合发布的研究(arXiv:2604.07776,2026年4月)提出了AGENT-AS-ANNOTATORS框架,通过模仿人类数据标注的三种角色分工,系统化生成高质量网页智能体训练轨迹。以Gemini 3 Pro为教师模型,仅用2322条精选轨迹对90亿参数的Qwen3.5-9B模型进行监督微调,在WebArena基准上达到41.5%成功率,超越GPT-4o和Claude 3.5 Sonnet,并在从未见过的企业平台WorkArena L1上提升18.2个百分点,验证了"数据质量远比数量重要"这一核心结论。