影子AI风险：大语言模型应用的治理挑战

影子AI正在引起广泛关注。在某种程度上，使用不符合组织IT政策和更广泛的国家特定数据治理控制的不受监管的人工智能服务可能被视为积极的——这是开发人员和数据科学家寻求新创新，为企业带来前所未有的新效率的表现。

但毫不奇怪的是，影子AI（如大多数形式的影子技术和自带设备活动）主要被视为负面的、违规的和有风险的。

AI影子滋生地

今天的问题是，AI本质上仍然是如此新生、如此胚胎期，并且只是真正开始享受其第一波实施浪潮。由于许多用户接触AI的机会仅限于看到由ChatGPT和其他工具构建的有趣图像构造（想想上周的人类塑料玩具吸塑包装，本周的跳水板上的猫，下周肯定会有更疯狂的东西），我们还没有到达AI工具的广泛企业使用成为常态的地步。虽然这一时刻可以说很快就会到来，但AI发展的当前状态意味着一些活动正在地下进行。

开发人员未经授权使用AI工具正在成为一个严重问题，因为应用程序开发继续以快速的步伐发展。Palo Alto Networks英国和爱尔兰首席安全官Scott McKinnon表示，这意味着构建现代的云原生应用程序不再仅仅是编写代码，而是要意识到我们现在处于一个以"持续测试模式"运营的交付模型中，这就是当今推出新企业软件服务的压力。

"连锁反应是开发人员面临着快速行动和减少上市时间的巨大压力。考虑到这一点，许多开发人员使用AI工具努力提高效率并满足这些具有挑战性的期望并不令人惊讶，"McKinnon感慨道。"我们的研究表明，企业生成式AI流量在2024年暴增了890%以上——随着组织现在开始实际使用这些应用程序——其中一部分可以归类为高风险。与此同时，与生成式AI相关的数据丢失防护事件增加了一倍多，这是治理失败的明确红色警报。

绕过护栏

综合所有这些现实，很容易理解为什么软件开发人员可能会被诱惑寻找绕过组织AI护栏政策和控制的方法。在实践中，这表现为他们接入批准平台之外的开源大语言模型服务，使用AI生成代码而没有监督，或跳过数据治理政策以加快实施。结果是知识产权可能通过合规性漏洞暴露，同时也会损害系统安全。

"这一切都指向一件事：如果开发人员要平衡速度与安全性，他们必须采用新的运营模式。它必须是一个将明确、可执行的AI治理和监督嵌入到持续交付流水线中的模式，而不是事后添加，"McKinnon说道。"当开发人员在授权渠道之外使用AI工具时，最紧迫的担忧之一是供应链完整性。当开发人员引入未经测试或未经审查的AI组件时，他们正在引入不透明的依赖关系，这些依赖关系通常携带隐藏的漏洞。"

什么是不透明的软件依赖关系？

这本身就是一个听起来很可怕的术语，不透明的软件依赖关系确实是坏消息。软件依赖关系是较小数据服务的基本组件部分，专门用于建立数据库连接的软件库、控制用户界面的软件框架，或构成更广泛的外部第三方应用程序整体的较小模块。有用的软件依赖关系使其DNA易于查看，并且可以以透明的清晰度查看；不透明的软件依赖关系是功能性的，但在展示其起源和组件部分的能力方面是模糊或混乱的。在技术术语中，不透明的软件应用程序依赖关系意味着开发人员无法使用公共应用程序编程接口"分配"它们（并与它们建立连接）。

根据McKinnon的说法，另一个主要问题是提示注入攻击的潜力，恶意行为者操纵AI的输入，迫使其以意想不到的危险方式行为。这些类型的漏洞很难检测，并可能破坏AI驱动应用程序的信任和安全性。当这些做法不受控制时，它们会创造新的攻击面并增加网络事件的总体风险。组织必须通过保护其AI开发环境、严格审查工具并确保开发人员有能力有效工作来领先一步。

通往平台化的道路

"为了有效解决未经授权使用AI所带来的风险，组织需要超越分散的工具和流程，转向统一的平台方法。这意味着将AI治理、系统控制和开发人员工作流程整合到一个提供实时可见性的单一集成系统中。没有这个，组织很难跟上现代开发环境的速度和规模，留下敌对者可以利用的漏洞，"McKinnon说道。

他的平台化愿景（以及更广泛的平台工程世界）被认为能够使组织在所有AI使用中执行一致的政策，及早检测危险行为，并在现有工作流程中为开发人员提供安全、经过批准的AI功能。

"这减少了软件开发人员的摩擦，允许他们快速工作而不会在安全性或合规性上妥协。组织不再需要处理多个分散的工具，而是获得AI活动的集中视图，使监控、审计和响应威胁变得更容易。最终，平台方法是关于平衡，提供必要的保障和控制来降低风险，同时保持开发人员所需的敏捷性和创新性，"Palo Alto Networks的McKinnon总结道。

在最坏的情况下，影子AI可能导致所谓的模型中毒（也称为数据中毒），应用程序和API可靠性公司Cloudflare将其定义为攻击者通过更改训练数据来操纵AI或机器学习模型的输出。AI模型中毒者的目标是迫使AI模型本身在开始处理推理计算时产生偏见或危险的结果，这些推理计算最终将为我们提供AI脑力。

根据软件供应链管理专家Sonatype的首席产品官Mitchell Johnson的说法，"影子AI包括在组织的IT或治理框架之外运行的任何AI应用程序或工具。想想影子IT，但有更多的潜力（和风险）。这是淘金热中勘探者标记他们声称的数字等价物，穿过繁文缛节在效率和创新方面发财致富。例子包括员工使用ChatGPT起草提案、使用新的AI驱动代码助手、在个人账户上构建机器学习模型，或使用非官方脚本自动化繁琐任务。"

Johnson说，由于远程工作的普及，团队可以在传统监督之外运作，以及公司存在政策空白，这意味着组织缺乏全面的AI治理，这为即兴发挥留下了空间，影子AI现在越来越多地抬头。

走出阴影

显然存在与影子AI相关的网络系统健康问题；毕竟，这是想要警告我们任何类型的影子IT的科技行业评论员提出的首要关注点。在某些IT团队获得可能被认为是不公平优势，或某些开发团队引入错误的AI导致偏见和幻觉方面，也有更广泛的影响。

借用一个气象学的真理，阴影通常只在热浪中是好消息……这通常意味着周围有相当多的湿度，后来有可能发生暴风雨。