AI悄然自我中毒并推向模型崩溃，但解决方案已现

据科技分析公司Gartner研究显示，AI数据正迅速成为典型的"垃圾进，垃圾出"问题。这是因为企业的AI系统和大语言模型正被大量未经验证的、AI生成的不可信内容所淹没。

你可能更熟悉"AI垃圾内容"这个概念。虽然对普通用户来说只是令人厌烦，但对AI系统而言却是致命的，因为它会用虚假数据毒害大语言模型。结果就是AI界所称的"模型崩溃"。AI公司Aquant对这一趋势的定义是："简单来说，当AI基于自身输出进行训练时，结果可能会进一步偏离现实。"

然而，我认为这个定义过于温和。这不是"可能"的问题——使用劣质数据，AI结果"必然"会偏离现实。

这个问题已经显现。Gartner预测，到2028年，50%的企业将在数据治理方面采用零信任态度。这些企业将别无选择，因为未经验证的AI生成数据正在企业系统和公共资源中大量传播。

分析师认为，企业不能再默认数据是人类生成的或可信赖的，必须对数据进行身份验证、验证和追踪数据来源，以保护业务和财务成果。

你试过验证AI生成的数据吗？这并不容易。虽然可以做到，但AI素养并不是一项常见技能。

正如IBM杰出工程师Phaedra Boinodiris最近告诉我的："仅仅拥有数据是不够的。理解数据的上下文和关系才是关键。这就是为什么你需要跨学科的方法来决定什么数据是正确的。它是否代表了我们需要服务的所有不同社区？我们是否理解这些数据是如何收集的关系？"

更糟糕的是，垃圾进垃圾出现在以AI规模运行。这种情况意味着有缺陷的输入可能会通过自动化工作流程和决策系统级联传播，产生更糟糕的结果。是的，没错，如果你认为今天的AI结果偏见、幻觉和简单的事实错误已经很严重，那就等着看明天的情况吧。

为了应对这一担忧，Gartner表示企业应该采用零信任思维。零信任最初是为网络开发的，现在正被应用于数据治理以应对AI风险。

Gartner建议许多公司将需要更强的机制来验证数据源、验证质量、标记AI生成的内容，并持续管理元数据，以便了解他们的系统实际在消费什么。

那么，到2028年AI还会有用吗？当然会，但确保它有用且不会走向错误答案的道路，将需要大量优秀的传统人工工作。不过，这个角色至少将是所谓AI革命产生的新工作机会。

Q&A

Q1：什么是AI模型崩溃？

A：模型崩溃是指当AI基于自身输出进行训练时，结果会进一步偏离现实的现象。这是因为大语言模型被大量未经验证的、AI生成的不可信内容所淹没，导致AI系统被虚假数据"毒害"。

Q2：为什么企业需要采用零信任数据治理？

A：因为未经验证的AI生成数据正在企业系统和公共资源中大量传播，企业不能再默认数据是人类生成的或可信赖的。Gartner预测到2028年，50%的企业将采用零信任态度进行数据治理。

Q3：如何解决AI数据质量问题？

A：需要更强的机制来验证数据源、验证质量、标记AI生成的内容，并持续管理元数据。同时需要跨学科的方法来决定什么数据是正确的，理解数据的上下文和关系，确保数据代表需要服务的所有不同社区。