微软正在扩展其基于云的Fabric数据平台,将Oracle和谷歌BigQuery数据仓库纳入镜像功能,并基于内部LinkedIn项目推出新的图数据库。
这家雷德蒙德软件巨头于2023年首次发布Fabric平台,并在同年晚些时候推出镜像功能。该功能承诺帮助用户在Fabric分析系统中添加和管理现有的云数据仓库和数据库。现在,微软新增了从谷歌和Oracle外部数据库复制快照到OneLake Delta Lake表的能力,并保持副本近实时同步。
Azure数据首席副总裁Arun Ulag表示,在Fabric中,镜像功能意味着用户无需从支持的系统中提取、转换和加载(ETL)数据,也不用构建和维护数据管道。
"快照对于创建第一个副本是必需的,建立基线,但从那时起,Fabric会持续保持数据库更新,"他说。"延迟不到五分钟,Fabric会自动保持数据库和元数据实例与原始数据同步。"
不过,Ulag表示用户可能首先需要做一些基础工作。首先,Fabric需要获得Oracle数据库的权限,如果Oracle数据库位于本地系统或防火墙后面,用户需要在防火墙后配置Fabric企业网关来连接Oracle数据库。
"镜像的计算对客户是免费的,"Ulag说。"微软承担这部分成本。我们为客户提供存储,客户不必担心存储成本。我们镜像功能的目标是让数据完全可访问,以开源格式提供,这样整个Fabric和AI堆栈都能增加价值。"
Fabric中的镜像数据存储使用Apache Parquet文件格式和Linux基金会的Delta Lake开放表格式(OTF),这是Fabric湖仓系统OneLake的原生格式。
在镜像功能方面,微软还增加了对Apache Iceberg的支持,这是起源于Netflix并被谷歌、Snowflake和Cloudera采用的开放表格式。构建Delta Lake的Databricks已承诺加强两种格式之间的集成。
用户是否愿意接受微软的这一方案可能取决于他们的起始情况。对于深度使用Power BI和早期数据仓库版本Synapse等相关产品的组织来说,这可能是合乎逻辑的选择。谷歌、AWS、Oracle、Databricks和Snowflake已经有了自己对湖仓概念的解释,他们的用户可能会有不同的看法。
微软还宣布了Fabric中的图数据库功能,这是一个用于建模和分析企业数据关系的低代码/无代码平台。Ulag解释说,该数据库是由LinkedIn团队开发的,微软于2016年收购了LinkedIn。他表示,图数据库主要用于理解Fabric中数据之间的关系。
Q&A
Q1:微软Fabric平台的镜像功能有什么优势?
A:镜像功能让用户无需进行复杂的数据提取、转换和加载(ETL)操作,也不用构建和维护数据管道。微软免费提供计算和存储资源,延迟不到五分钟就能保持数据库与原始数据同步,数据以开源格式提供,便于整个AI堆栈使用。
Q2:使用Oracle数据库镜像需要什么条件?
A:首先需要获得Oracle数据库的访问权限。如果Oracle数据库位于本地系统或防火墙后面,用户需要在防火墙后配置Fabric企业网关来连接Oracle数据库。微软承担计算和存储成本,用户主要需要解决网络连接和权限问题。
Q3:微软Fabric中的图数据库有什么用途?
A:图数据库是基于LinkedIn团队开发的技术,提供低代码/无代码平台,主要用于建模和分析企业数据关系。它能够帮助用户更好地理解Fabric平台中各种数据之间的关联和关系,为数据分析提供支持。
好文章,需要你的鼓励
研究人员基于Meta前首席AI科学家Yann LeCun提出的联合嵌入预测架构,开发了名为JETS的自监督时间序列基础模型。该模型能够处理不规则的可穿戴设备数据,通过学习预测缺失数据的含义而非数据本身,成功检测多种疾病。在高血压检测中AUROC达86.8%,心房扑动检测达70.5%。研究显示即使只有15%的参与者有标注医疗记录,该模型仍能有效利用85%的未标注数据进行训练,为利用不完整健康数据提供了新思路。
西湖大学等机构联合发布TwinFlow技术,通过创新的"双轨道"设计实现AI图像生成的革命性突破。该技术让原本需要40-100步的图像生成过程缩短到仅需1步,速度提升100倍且质量几乎无损。TwinFlow采用自我对抗机制,无需额外辅助模型,成功应用于200亿参数超大模型,在GenEval等标准测试中表现卓越,为实时AI图像生成应用开辟了广阔前景。
AI云基础设施提供商Coreweave今年经历了起伏。3月份IPO未达预期,10月收购Core Scientific计划因股东反对而搁浅。CEO Michael Intrator为公司表现辩护,称正在创建云计算新商业模式。面对股价波动和高负债质疑,他表示这是颠覆性创新的必然过程。公司从加密货币挖矿转型为AI基础设施提供商,与微软、OpenAI等巨头合作。对于AI行业循环投资批评,Intrator认为这是应对供需剧变的合作方式。
中山大学等机构联合开发的RealGen框架成功解决了AI生成图像的"塑料感"问题。该技术通过"探测器奖励"机制,让AI在躲避图像检测器识别的过程中学会制作更逼真照片。实验显示,RealGen在逼真度评测中大幅领先现有模型,在与真实照片对比中胜率接近50%,为AI图像生成技术带来重要突破。