随着前沿人工智能系统的快速发展,保障这些系统所依赖的底层基础设施安全已变得刻不容缓。AI能力不断提升的同时,其潜在威胁也在同步升级:一方面,恶意行为者可能将AI基础设施作为攻击目标,试图窃取模型权重或破坏系统正常运行;另一方面,一旦AI系统出现目标偏差,也可能主动利用自身基础设施中的安全漏洞,绕过安全监控机制,甚至将自身数据外泄。
为应对上述风险,研究人员于2026年初对23位领域专家展开系统性调研,重点探讨形式化方法——即运用数学技术对软件行为进行推理,并在可能的情况下证明系统行为符合预设规范——能否有效降低AI基础设施漏洞所带来的安全风险。受访专家涵盖形式化方法、AI基础设施、网络安全、软件工程、硬件架构及政策等多个专业领域。
基于调研结果,研究人员重点考察了以下几个核心问题:在机器学习推理与训练技术栈中,哪些组件最适合进行形式化验证;哪些安全属性可以通过验证予以保障;当前在开发与推广应用层面存在哪些主要障碍;以及AI辅助形式化方法的持续进步将如何改变整体评估格局。
在此基础上,研究人员提出了初步建议,并为相关社区构建技术路线图提供了起点参考。该路线图面向前沿AI实验室、形式化方法研究社区、硬件厂商、政府机构及社会公众,旨在推动各方协同应对AI基础设施安全挑战。
Q&A
Q1:形式化方法在AI基础设施安全中能起到什么作用?
A:形式化方法是一种运用数学技术对软件行为进行推理的手段,能够在理论上证明系统行为符合预设规范。在AI基础设施安全领域,它可以用于验证关键组件的安全属性,有效降低因漏洞导致的模型权重被窃取、安全监控被绕过或系统数据外泄等风险。研究显示,机器学习推理与训练技术栈中的部分组件尤其适合进行此类形式化验证。
Q2:AI基础设施面临哪些主要安全威胁?
A:AI基础设施面临两类主要安全威胁:第一类来自外部恶意行为者,他们可能入侵基础设施以窃取模型权重或蓄意破坏系统运行;第二类则来自AI系统内部,即当AI系统出现目标偏差时,可能主动探测并利用自身基础设施中的安全漏洞,绕过安全监控机制,或将自身关键数据传输至外部。
Q3:这项关于机器学习基础设施安全的研究有哪些主要结论和建议?
A:该研究基于对23位多领域专家的调研,重点分析了机器学习技术栈中适合形式化验证的组件、可保障的安全属性,以及当前在推广应用方面存在的障碍。研究还探讨了AI辅助形式化方法的发展前景,并提出初步建议,为前沿AI实验室、硬件厂商、政府机构等各方共同制定技术路线图提供参考依据。
好文章,需要你的鼓励
机器人智能公司Inbolt将于2026年6月在芝加哥Automate展会上发布两项新能力:Inbolt机器人编程功能和扩展版机器人控制模块。新功能可让工程师直接基于CAD模型构建程序,结合视觉模型实时定位实体零件并自动调整运动路径,彻底消除传统调试中耗时数周的手动示教环节。此次更新还将原生支持安川机器人,使平台覆盖品牌扩展至六个。
马里兰大学提出无需训练奖励模型的数学推理方案,用大模型实时为小模型的分块生成过程打分选优,效果媲美专用过程奖励模型。
本文提供了一套完整的笔记本电脑深度清洁方案。硬件方面,介绍了如何用温和洗涤剂清洁机身、用微纤维布擦拭屏幕、用压缩空气清理键盘及清洁充电线的正确方法。软件方面,建议及时更新操作系统与驱动程序,删除冗余文件与临时下载内容,并通过开启Windows Storage Sense功能实现自动清理,同时将剩余文件整理归类,保持系统整洁高效运行。
上交大等机构联合构建首个个性化MCP工具测评平台,测试超十款顶尖AI在飞书、小红书等真实个人账号场景的实际能力,结果显示无一模型准确率超过50%。