随着企业从AI实验阶段迈向生产部署,一个问题正变得愈发突出:AI系统的可靠性,取决于其所依赖的业务上下文的质量。
Snowflake正试图通过Horizon Context来解决这一问题。这是一套全新的语义与元数据管理能力,目前处于预览阶段,于周二在Snowflake年度峰会上正式发布。
Snowflake核心数据平台负责人Artin Avanes介绍称,Horizon Context作为公司现有数据发现、管理与治理套件Horizon Catalog的组成部分,能够从企业数据资产中采集元数据,并以业务定义、数据关系、数据血缘及治理信息对其进行丰富,再将这些上下文信息开放给各类AI与分析系统使用。
Avanes表示,上述能力建立在Snowflake去年收购Select Star的基础之上。Select Star是一家元数据管理初创公司,以其与PostgreSQL、MySQL等数据库系统、Tableau和Power BI等商业智能工具,以及dbt、Airflow等数据管道与编排工具的广泛集成而著称。
HyperFRAME Research的AI Stack实践负责人Stephanie Walter指出,对于CIO而言,Horizon Context能够提供一张经过治理的企业数据资产全景图,从而降低运营复杂度。
"它的价值不仅在于记录数据存储的位置,更在于为AI系统提供安全检索正确数据所需的元数据、数据血缘、权限及业务上下文信息。"Walter说道。
KramerERP管理合伙人Robert Kramer则指出,企业在分析与报告中面临上下文缺失的挑战并非新鲜事。
"大多数企业不得不将数据目录、BI语义层、治理工具、数据血缘、访问控制、dbt模型、安全策略和自定义集成拼凑在一起。问题不在于这些组件不存在,而在于它们过于分散。"他说。
Moor Insights & Strategy首席分析师Mike Leone表示,正是这种东拼西凑的方式,导致企业各团队最终对"月活跃用户"等业务指标形成了各自略有差异的版本,进而使下游的AI智能体也产生不一致的输出。
Walter补充道,将不同目录与语义层缝合在一起的做法,只适用于半自主工作流。"AI智能体的出现改变了这一切——这些系统越来越需要在运行时获取上下文,而非依赖文档或人工解读。Snowflake正在努力将这些能力整合到数据平台之中,使上下文、语义、访问控制与执行共处于同一运营环境。"
作为Horizon Context的补充,Snowflake还推出了Semantic Studio(目前处于私有预览阶段),旨在帮助企业降低为智能体和智能体工作流构建及维护业务上下文所需的工作量。
"Semantic Studio是Horizon Context的Enrich层的核心组成部分,提供一个由AI辅助的工作空间,供团队定义、测试和发布业务逻辑。"Avanes说。
Avanes进一步介绍,Enrich层本身还包含语义视图自动驾驶仪(Semantic View Autopilot)等配套功能,可自动为数据资产叠加智能化洞察,例如哪些资产最受信赖、它们之间如何关联、各自代表什么含义,以及如何正确计算指标。
Leone认为,Semantic Studio解决了一个关键难题:"它将减轻精通SQL的数据工程师的负担,让业务人员也能参与共享定义的编写。这正是当今大多数语义层项目折戟沉沙的原因。"
不过,Walter对此也持保留态度:"这些产品虽然降低了复杂度,但并未消除工作量。仍然需要有人决定哪些指标具有权威性、哪些数据产品是可信赖的,以及由谁来负责业务定义。"
与此同时,Snowflake还致力于通过Horizon Catalog的Trust Center新增能力,解决智能体工作流面临的安全问题。
这些能力聚焦于AI安全态势管理(SPM),其中包括一项新的智能体身份识别功能。该功能可帮助企业区分会话中的人工操作与代表用户执行任务的AI智能体行为。Avanes表示:"这将为智能体提供更高的透明度和可审计性,同时使企业能够以智能体为粒度,应用动态数据脱敏和行级访问策略等现有数据访问控制机制。"
另一项新功能——数据泄露防护策略(目前处于私有预览阶段)——将帮助企业防止敏感数据被未经授权地转移。该策略是Horizon Catalog整体治理框架的组成部分,允许企业定义数据访问、共享及跨系统流转的控制规则。
Walter指出,这些能力有助于企业突破将AI智能体推向生产环境的最大障碍——治理问题。"数据泄露防护控制、AI安全态势管理及其他集中化AI管控手段,使安全团队能够看到并治理AI工作负载与企业数据的交互方式,从而帮助CIO实现从实验到生产的跨越。"
Leone对此表示认同,并指出"安全故事"几乎是Moor Insights & Strategy目前跟踪的每一个智能体部署项目的核心门槛所在。"数据泄露防护策略和AI SPM等功能,正是将CISO从'拒绝'转变为'支持'将智能体推向生产环境的关键所在。"
Q&A
Q1:Snowflake的Horizon Context是什么?主要解决什么问题?
A:Horizon Context是Snowflake推出的一套语义与元数据管理能力,作为其Horizon Catalog数据治理套件的组成部分。它的核心目标是将企业各类数据资产的元数据、业务定义、数据血缘和治理信息整合在一起,为AI系统和分析平台提供统一的业务上下文,从而解决企业中数据语义分散、AI智能体输出不一致的问题。
Q2:Semantic Studio的作用是什么?与Horizon Context有什么关系?
A:Semantic Studio是Horizon Context中Enrich层的核心组件,目前处于私有预览阶段。它提供一个由AI辅助的工作空间,让数据工程师和业务人员能够共同定义、测试和发布业务逻辑与语义规则,降低构建业务上下文所需的工作量。分析师指出,Semantic Studio有助于解决语义层项目中常见的"只有工程师能参与定义"的痛点,让业务人员也能参与进来。
Q3:Snowflake在AI智能体安全方面提供了哪些新能力?
A:Snowflake在Horizon Catalog的Trust Center中新增了两项安全能力:一是智能体身份识别功能,可区分会话中的人工操作与AI智能体的自动操作,支持细粒度的访问控制和审计;二是数据泄露防护策略(私有预览),帮助企业防止敏感数据被未经授权转移。这两项能力主要面向AI安全态势管理,旨在帮助企业安全团队放心地将AI智能体推向生产环境。
好文章,需要你的鼓励
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
随着医疗数据数字化与互操作性的进步,跨机构纵向患者数据的研究应用成为可能。本研究通过对20位领域专家的访谈,识别出8种数据收集方法,涵盖智能手机应用、结构化数据导出、区域/全国研究查询及聚合数据源等。研究发现,各方法均有其优缺点,无单一最优方案。参与者中介交换方式可绕过复杂治理安排,但存在数据缺口;全国性网络尚不支持研究查询。公共政策的持续推进将对该领域发展起关键作用。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。