IBM最新报告显示,急于部署AI的企业正在忽视安全和治理问题,攻击者已经开始利用松懈的协议来攻击模型和应用程序。
这些发现来自IBM发布的《2025年数据泄露成本报告》,报告显示,虽然AI相关安全事件目前只占总数的一小部分,但随着企业系统中AI应用的增加,这一比例预计将会增长。
基于2024年3月至2025年2月期间全球600家企业的数据,IBM表示其中13%的企业报告了涉及AI模型或AI应用的安全事件,并导致了违规行为。
在这些遭受泄露的企业中,几乎所有企业(97%)都表示没有建立适当的AI访问控制机制。
约三分之一遭受AI安全事件的企业出现了运营中断,犯罪分子获得了对敏感数据的未授权访问,23%的企业表示因攻击遭受了经济损失,17%的企业声誉受损。
供应链攻击是这些泄露事件的最常见原因,包括被入侵的应用程序、应用程序编程接口(API)和插件。大多数报告AI入侵的企业表示,攻击源头是提供软件即服务(SaaS)的第三方供应商。
IBM的报告特别关注未经授权或所谓的影子AI的危险,这是指在企业内部非正式使用这些工具,而IT或数据治理团队并不知情或未批准。
由于影子AI可能不被企业发现,攻击者利用其漏洞的风险增加。
报告调查发现,大多数企业(87%)没有建立治理机制来缓解AI风险。三分之二的遭受泄露的企业没有进行定期审计来评估风险,超过四分之三的企业报告称没有对其AI模型进行对抗性测试。
这并非首次将安全和治理问题作为企业AI部署的关注点。去年,The Register报道称,许多大型企业暂停了集成使用Microsoft Copilot创建的AI助手和虚拟智能体,因为这些工具会获取员工不应访问的信息。
同样在去年,分析师Gartner估计,到2025年底,至少30%涉及生成式AI的企业项目将在概念验证阶段后被放弃,原因包括数据质量差、风险控制不足、成本上升或业务价值不明确。
IBM的报告显示,许多企业为了部署AI应用,可能因为担心在技术炒作中落后而简单地绕过了安全和治理措施。
IBM安全和运行时产品副总裁Suja Viswesan表示:"报告揭示了AI系统缺乏基本访问控制,使高度敏感的数据暴露,模型容易被操控。随着AI在业务运营中的深度嵌入,AI安全必须被视为基础。不采取行动的代价不仅仅是经济损失,还有信任、透明度和控制力的丧失。数据显示AI采用和监督之间已经存在差距,威胁行为者正开始利用这一点。"
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。