随着生成式AI技术的广泛应用,企业面临前所未有的数据治理挑战。根据Gartner最新研究显示,企业需要对数据采取更加谨慎的态度,因为目前大量数据都是由AI生成的。
当前企业对生成式AI的投资热情持续高涨。Gartner调查发现,84%的企业预计今年将增加对生成式AI的投资。然而,这种快速发展也带来了严重的风险:未来的大语言模型很可能被训练在之前模型生成的数据上,从而加剧所谓的"模型坍塌"危险。
针对未验证数据风险,Gartner提出了具体的管理建议。首先,企业应任命AI治理负责人,与数据和分析团队密切合作。其次,需要通过建立跨职能小组改善部门间协作,这些小组应包括网络安全、数据和分析等领域的代表。最后,企业必须更新现有的安全和数据管理政策,以应对AI生成数据带来的新风险。
Gartner预测,到2028年,由于未验证AI生成数据的大量涌现,50%的企业将不得不在数据治理方面采用零信任策略。
"企业再也不能盲目信任数据或假设数据是由人类生成的,"Gartner管理副总裁Chan Wan Fui在声明中表示。"随着AI生成数据变得无处不在且与人类创建的数据难以区分,采用零信任策略建立身份验证和核实措施对于保护商业和财务成果至关重要。"
Chan指出,让情况变得更加复杂的是,各国政府对AI将采取不同的监管方法。"不同地理区域的要求可能存在显著差异,一些司法管辖区可能会寻求对AI生成内容实施更严格的控制,而其他地区可能会采用更灵活的方法。"
德勤澳大利亚的案例完美说明了AI如何导致数据治理问题。该公司因在最终报告中包含AI生成的错误信息(包括不存在的法律引用)而不得不退还部分政府合同费用。
Q&A
Q1:什么是模型坍塌?为什么会发生?
A:模型坍塌是指大语言模型在训练过程中使用了之前AI模型生成的数据,导致模型性能下降的现象。随着越来越多的企业使用生成式AI,AI生成的内容在网络上大量增加,如果这些数据被用来训练新的模型,就会造成恶性循环。
Q2:零信任数据治理策略包含哪些具体措施?
A:零信任数据治理策略包括三个核心要素:任命专门的AI治理负责人与数据分析团队协作;建立包含网络安全、数据和分析部门代表的跨职能合作小组;更新现有安全和数据管理政策以应对AI生成数据的新风险。
Q3:企业如何识别和验证AI生成的数据?
A:文章提到AI生成数据已经变得与人类创建的数据难以区分,这正是问题的关键所在。企业需要建立身份验证和核实措施,不能再盲目信任数据来源,必须对所有数据采取验证态度。
好文章,需要你的鼓励
Replit与RevenueCat达成合作,将订阅变现工具直接集成至Replit平台。用户只需通过自然语言提示(如"添加订阅"),即可完成应用内购和订阅配置,无需离开平台。RevenueCat管理超8万款应用的订阅业务,每月处理约10亿美元交易。此次合作旨在让"氛围编程"用户在构建应用的同时即可实现商业变现,月收入未达2500美元前免费使用,超出后收取1%费用。
LiVER是由北京大学、北京邮电大学等机构联合提出的视频生成框架,核心创新是将物理渲染技术与AI视频生成结合,通过Blender引擎计算漫反射、粗糙GGX和光泽GGX三种光照图像构成"场景代理",引导视频扩散模型生成光影物理准确的视频。框架包含渲染器智能体、轻量化编码器适配器和三阶段训练策略,支持对光照、场景布局和摄像机轨迹的独立精确控制。配套构建的LiVERSet数据集含约11000段标注视频,实验显示该方法在视频质量和控制精度上均优于现有方法。
所有人都说AI需要护栏,但真正在构建它的人寥寥无几。SkipLabs创始人Julien Verlaguet深耕这一问题已逾一年,他发现市面上多数"护栏"不过是提示词包装。为此,他打造了专为后端服务设计的AI编程智能体Skipper,基于健全的TypeScript类型系统与响应式运行时,实现增量式代码生成与测试,内部基准测试通过率超90%。他认为,编程语言的"人类可读性时代"正走向终结,面向智能体的精确工具链才是未来。
这项由蒙特利尔学习算法研究所(Mila)与麦吉尔大学联合发布的研究(arXiv:2604.07776,2026年4月)提出了AGENT-AS-ANNOTATORS框架,通过模仿人类数据标注的三种角色分工,系统化生成高质量网页智能体训练轨迹。以Gemini 3 Pro为教师模型,仅用2322条精选轨迹对90亿参数的Qwen3.5-9B模型进行监督微调,在WebArena基准上达到41.5%成功率,超越GPT-4o和Claude 3.5 Sonnet,并在从未见过的企业平台WorkArena L1上提升18.2个百分点,验证了"数据质量远比数量重要"这一核心结论。