开源权重AI模型(OWMs)带来了一系列独特的风险因素,而现有的评估实践大多是针对闭源权重模型的部署场景设计的,难以有效应对这些风险。研究人员提出了一套针对开源权重AI模型的"相称性评估"(PE)方法,并对2025年至2026年4月间发布的开源权重AI模型进行了系统性梳理与审查。结果显示,在所审查的37个模型系列中,仅有一个满足PE1至PE4的全部要求,绝大多数模型甚至未能满足其中任何一项标准。
Q&A
Q1:开源权重AI模型和闭源权重模型在评估上有什么不同?
A:开源权重AI模型允许外部访问模型权重,这带来了闭源模型所没有的独特风险,例如被滥用或进行未经授权的修改。现有评估体系主要面向闭源模型设计,无法有效覆盖开源权重模型的潜在风险,因此需要专门的相称性评估方法来填补这一空白。
Q2:什么是相称性评估(PE)方法?
A:相称性评估是研究人员专门为开源权重AI模型提出的一套评估框架,旨在根据模型开放程度和潜在风险,制定与之匹配的评估标准和流程,确保评估力度与模型实际带来的风险相称,而非沿用针对闭源模型的通用方法。
Q3:目前开源权重AI模型的评估现状如何?
A:研究人员对2025年至2026年4月间发布的37个开源权重AI模型系列进行了系统审查,发现情况不容乐观。其中只有一个模型系列完整满足了PE1至PE4的全部相称性评估要求,而大多数模型系列甚至未能达到任何一项标准,整体评估实践严重滞后。
好文章,需要你的鼓励
无人机食品配送服务商Flytrex与全球知名披萨连锁品牌Little Caesars宣布合作,推出全新Sky2无人机,最大载重达4公斤,可一次配送两个大披萨及饮料,满足全家用餐需求。Sky2支持最远6.4公里的配送范围,平均从起飞到送达仅需4.5分钟。首个试点门店已在德克萨斯州怀利市上线,并实现与Little Caesars订单系统的直接集成。
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
法国社会住房项目ViliaSprint?已正式完工,成为欧洲最大的3D打印多户住宅建筑,共12套公寓,建筑面积800平方米。项目由PERI 3D Construction使用COBOD BOD2打印机完成,整体工期较传统建造缩短3个月,实际打印仅用34天(原计划50天),现场操作人员从6人减至3人,建筑废料率从10%降至5%。建筑采用可打印混凝土,集成光伏板及热泵系统,能源自给率约达60%。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。