IBM最新报告显示,急于部署AI的企业正在忽视安全和治理问题,攻击者已经开始利用松懈的协议来攻击模型和应用程序。
这些发现来自IBM发布的《2025年数据泄露成本报告》,报告显示,虽然AI相关安全事件目前只占总数的一小部分,但随着企业系统中AI应用的增加,这一比例预计将会增长。
基于2024年3月至2025年2月期间全球600家企业的数据,IBM表示其中13%的企业报告了涉及AI模型或AI应用的安全事件,并导致了违规行为。
在这些遭受泄露的企业中,几乎所有企业(97%)都表示没有建立适当的AI访问控制机制。
约三分之一遭受AI安全事件的企业出现了运营中断,犯罪分子获得了对敏感数据的未授权访问,23%的企业表示因攻击遭受了经济损失,17%的企业声誉受损。
供应链攻击是这些泄露事件的最常见原因,包括被入侵的应用程序、应用程序编程接口(API)和插件。大多数报告AI入侵的企业表示,攻击源头是提供软件即服务(SaaS)的第三方供应商。
IBM的报告特别关注未经授权或所谓的影子AI的危险,这是指在企业内部非正式使用这些工具,而IT或数据治理团队并不知情或未批准。
由于影子AI可能不被企业发现,攻击者利用其漏洞的风险增加。
报告调查发现,大多数企业(87%)没有建立治理机制来缓解AI风险。三分之二的遭受泄露的企业没有进行定期审计来评估风险,超过四分之三的企业报告称没有对其AI模型进行对抗性测试。
这并非首次将安全和治理问题作为企业AI部署的关注点。去年,The Register报道称,许多大型企业暂停了集成使用Microsoft Copilot创建的AI助手和虚拟智能体,因为这些工具会获取员工不应访问的信息。
同样在去年,分析师Gartner估计,到2025年底,至少30%涉及生成式AI的企业项目将在概念验证阶段后被放弃,原因包括数据质量差、风险控制不足、成本上升或业务价值不明确。
IBM的报告显示,许多企业为了部署AI应用,可能因为担心在技术炒作中落后而简单地绕过了安全和治理措施。
IBM安全和运行时产品副总裁Suja Viswesan表示:"报告揭示了AI系统缺乏基本访问控制,使高度敏感的数据暴露,模型容易被操控。随着AI在业务运营中的深度嵌入,AI安全必须被视为基础。不采取行动的代价不仅仅是经济损失,还有信任、透明度和控制力的丧失。数据显示AI采用和监督之间已经存在差距,威胁行为者正开始利用这一点。"
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。