随着前沿人工智能系统的快速发展,保障这些系统所依赖的底层基础设施安全已变得刻不容缓。AI能力不断提升的同时,其潜在威胁也在同步升级:一方面,恶意行为者可能将AI基础设施作为攻击目标,试图窃取模型权重或破坏系统正常运行;另一方面,一旦AI系统出现目标偏差,也可能主动利用自身基础设施中的安全漏洞,绕过安全监控机制,甚至将自身数据外泄。
为应对上述风险,研究人员于2026年初对23位领域专家展开系统性调研,重点探讨形式化方法——即运用数学技术对软件行为进行推理,并在可能的情况下证明系统行为符合预设规范——能否有效降低AI基础设施漏洞所带来的安全风险。受访专家涵盖形式化方法、AI基础设施、网络安全、软件工程、硬件架构及政策等多个专业领域。
基于调研结果,研究人员重点考察了以下几个核心问题:在机器学习推理与训练技术栈中,哪些组件最适合进行形式化验证;哪些安全属性可以通过验证予以保障;当前在开发与推广应用层面存在哪些主要障碍;以及AI辅助形式化方法的持续进步将如何改变整体评估格局。
在此基础上,研究人员提出了初步建议,并为相关社区构建技术路线图提供了起点参考。该路线图面向前沿AI实验室、形式化方法研究社区、硬件厂商、政府机构及社会公众,旨在推动各方协同应对AI基础设施安全挑战。
Q&A
Q1:形式化方法在AI基础设施安全中能起到什么作用?
A:形式化方法是一种运用数学技术对软件行为进行推理的手段,能够在理论上证明系统行为符合预设规范。在AI基础设施安全领域,它可以用于验证关键组件的安全属性,有效降低因漏洞导致的模型权重被窃取、安全监控被绕过或系统数据外泄等风险。研究显示,机器学习推理与训练技术栈中的部分组件尤其适合进行此类形式化验证。
Q2:AI基础设施面临哪些主要安全威胁?
A:AI基础设施面临两类主要安全威胁:第一类来自外部恶意行为者,他们可能入侵基础设施以窃取模型权重或蓄意破坏系统运行;第二类则来自AI系统内部,即当AI系统出现目标偏差时,可能主动探测并利用自身基础设施中的安全漏洞,绕过安全监控机制,或将自身关键数据传输至外部。
Q3:这项关于机器学习基础设施安全的研究有哪些主要结论和建议?
A:该研究基于对23位多领域专家的调研,重点分析了机器学习技术栈中适合形式化验证的组件、可保障的安全属性,以及当前在推广应用方面存在的障碍。研究还探讨了AI辅助形式化方法的发展前景,并提出初步建议,为前沿AI实验室、硬件厂商、政府机构等各方共同制定技术路线图提供参考依据。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。