AI领域先驱德米斯·哈萨比斯近日呼吁成立一个专注于监管前沿模型的标准机构。
谷歌DeepMind首席执行官哈萨比斯在一篇Substack文章中提出,美国应当牵头推动这一进程。据Axios报道,哈萨比斯已就此事与白宫、欧洲官员及其他竞争性AI实验室展开磋商,并表示希望在年内正式启动该机构。
根据计划,该机构将负责制定用于衡量AI风险的基准测试体系。哈萨比斯写道,这些基准将评估前沿模型在网络安全、生物学研究等敏感领域的能力,同时也应具备识别具有欺骗性AI模型的能力。
哈萨比斯表示:"针对智能体AI的专项测试,可用于检测其是否试图绕过安全防护机制或存在欺骗行为,同时确保业界遵循最佳实践,例如为AI生成的图像添加数字水印,以及生成人类可读的输出Token以理解模型的推理过程。"
风险评估基准会随时间推移而失效。对此,哈萨比斯建议,拟议中的AI监管机构应以每季度为周期刷新测试内容,并随着时间推移进一步缩短更新周期。
哈萨比斯主张,该AI监管机构可参照美国金融业监管局(FINRA)的模式来构建。FINRA是美国负责监管经纪商及其他金融市场参与者的行业组织,作为非营利机构,其运营资金来源于被监管企业,同时接受美国证券交易委员会的监督。
对先进AI模型进行风险测试需要消耗大量算力资源。哈萨比斯建议,相关基础设施与技术人才主要由私营部门提供,而该监管机构的核心工作则应由一个由"独立顶尖技术专家和开源领域代表"组成的委员会来主导。
哈萨比斯表示,该标准机构可以先以自愿参与的形式启动AI实验室风险评估计划。参与者可在模型正式发布前30天提交供审查,目的是为后续建立可能具有强制性的正式AI风险评估协议积累经验。
哈萨比斯写道:"一旦评估协议被证明行之有效且足够稳健,正式化将随之迅速推进,这意味着前沿模型若想在美国市场部署,必须通过该协议的审核。各AI实验室还将与标准机构协作,共同应对模型发布后出现的关键安全漏洞。"
这一倡议的提出,距Anthropic首席执行官达里奥·阿莫迪提出类似构想仅约一个月。阿莫迪此前撰文建议美国政府建立一套新的AI监管框架,并提议参照美国联邦航空管理局(FAA)监管航空业的方式,对AI行业实施类似的监督管理。
Q&A
Q1:哈萨比斯提议的AI标准监管机构具体会做什么?
A:该机构的核心职能是制定衡量AI风险的基准测试,重点评估前沿模型在网络安全、生物研究等敏感领域的能力,并检测具有欺骗性的AI模型。机构还将每季度刷新测试内容,以防止基准过时失效,同时协助各AI实验室应对模型发布后出现的安全漏洞。
Q2:哈萨比斯参照FINRA模式建立AI监管机构的理由是什么?
A:FINRA作为非营利性行业自律组织,资金来源于被监管企业,同时受美国证券交易委员会监督,兼具行业参与和政府监督的双重机制。哈萨比斯认为这种结构适合AI行业,既能让私营部门提供资金与技术资源,又能保持一定的独立性与权威性。
Q3:AI实验室参与哈萨比斯提议的风险评估计划是强制的吗?
A:初期为自愿参与,AI实验室可在模型正式发布前30天提交审查。但哈萨比斯表示,一旦评估协议被证明有效,将推进正式化,届时前沿模型若想进入美国市场部署,将被要求强制通过该协议审核。
好文章,需要你的鼓励
芝加哥大学等机构将强化学习引入大型强子对撞机触发系统,用GFPO方法实现阈值自适应调整,显著提升信号效率并保持背景率稳定,首次在真实CMS碰撞数据上完成验证。
AI评估初创公司Braintrust确认其AWS云账户遭未经授权访问,导致客户API密钥泄露风险。公司已通知所有客户立即更换存储在其平台上的API密钥,并表示已封锁受损账户、审计相关系统访问权限,同时对内部密钥进行了轮换。目前,Braintrust正对事件原因展开调查。安全专家指出,此次泄露可能对依赖该平台的AI公司产生连锁影响。该公司今年2月完成8000万美元B轮融资,估值达8亿美元。
英伟达发布Audex多模态大模型,在音频理解与生成达到最优水平的同时,保持文字推理能力几乎零退步,提供完整技术路径。