Databricks联合创始人兼首席执行官Ali Ghodsi认为,当前的数据和人工智能基础设施过于分散、成本高昂且复杂度极高。在旧金山举行的Data+AI峰会上,他详细阐述了公司如何通过一系列重大发布来解决这些核心问题。
"要在数据和AI领域取得成功仍然非常困难,"Ghodsi在主题演讲中表示。"这是一个充满高成本和专有技术锁定的复杂性噩梦,正在拖慢企业发展速度。我们认为这是当前最大的问题。"
解决方案的核心在于AI代理技术以及简化其企业级开发的能力。Databricks今日推出了Agent Bricks,这是一个统一的工作空间,能够利用客户的企业数据和合成数据来自动化代理构建和优化过程。
该发布的关键特性包括使用大语言模型自动化"评判器",能够生成问题和预期答案来评估模型性能。这项技术旨在解决实际应用中的问题,正如Ghodsi提到的一个案例:某汽车制造商担心其AI代理推荐竞争对手的汽车产品。
"这直接对应企业的实际业务问题,"Ghodsi说道。"你将获得一个能够进行评估的代理。我们将优化AI系统,使其在LLM评判基准测试中表现出色。"
**面向AI时代的Postgres数据库**
Databricks今日的另一项重大发布涉及数据库领域。该公司推出了Lakebase,这是一个专为AI构建的托管Postgres数据库,为公司的数据智能平台增加了操作层。
Databricks进入操作数据库或OLTP领域,旨在解决公司认为已经过时且缺乏灵活性的传统模式。"如果你观察这些数据库,它们确实是为不同时代而构建的,"Ghodsi表示。"传统数据库中存在大量数据锁定问题,这是一个非常棘手的问题。"
Lakebase基于公司在5月宣布收购的Neon Inc.构建。Neon的无服务器PostgreSQL平台允许开发者为AI模型存储信息添加数据结构支持。
"我们认为这将是所有数据库的未来,"Ghodsi说道。"Postgres已经胜出。你确实应该在使用Postgres的数据库中适当分离计算和存储。它应该为AI时代而构建。"
今日的发布旨在解决Databricks从其广泛的企业客户群中听到的AI部署问题。成本仍然是一个问题,而数据管理是其中的重要组成部分。金融巨头摩根大通首席执行官Jamie Dimon在会上的发言印证了这一点,他透露公司目前每年在AI上的投入约为20亿美元。
"最困难的部分是数据,而不是AI,"Dimon表示。"让数据变得可用才是难点。"
**软件开发新范式**
考虑到所涉及信息的规模和复杂性,使数据可用将需要自动化。在Databricks的众多发布中,有一个名为Lakeflow Designer的产品,这是一个无代码功能,允许用户通过拖拽界面和自然语言生成式AI助手来创建生产数据管道。这是"氛围编程"领域的最新产品,这是一个最近创造的术语,描述用户凭借AI的"感觉"来表达意图,而无需知道如何编写任何代码。
"这有点像氛围编程,如果你根本不编程,我们称之为氛围设计,"Ghodsi在主题演讲后的媒体简报中表示。"这对我们来说是一个新市场,一个新的市场机会。"
像Lakeflow Designer这样的工具预示着企业应用软件设计和部署方式的重大变革。在Databricks主题演讲的短暂露面中,Neon首席执行官Nikita Shamgunov描述了AI代理在其公司平台上创建数据库的数量是人类的四倍。
"我认为我们正处于AI软件革命的黎明,"Shamgunov说道。
这一趋势的例子可以在Goose中看到,这是数字金融公司Block Inc.开发的可互操作开源AI代理框架。Goose不仅自动化代码生成,还能让非程序员为功能特性原型化新应用。
它是Block使用Anthropic Inc.的Claude模型开发的,被开发者用于编码和工具使用。Anthropic联合创始人兼首席执行官Dario Amodei在Databricks会议上的发言中承认,虚拟协作者很快将变得司空见惯。
"编程发展最快,"Amodei说道。"这预示着将在所有应用中发生的变化。"
这可能带来的副产品是,将设备视为可处置、可替换资源的概念(通常被称为"牲畜,而非宠物")很快也可能适用于企业软件。曾经运行企业任务数年的软件可能突然被一种模式所取代,在这种模式下,关键的新组件在几小时内被添加然后移除。
"软件的生产和交付将出现新的范式,"AT&T数据平台副总裁Matt Dugan在接受采访时表示。"这些都是可处置的。我想知道我们是否正在走向一个开始以同样方式思考软件资产的地方。这是一个变化。"
通过Agent Bricks和Lakebase等工具,Databricks正在构建基础设施来支持软件创建和部署方式的这种变化。这一游戏计划已经证明对这家12年历史的公司非常有效。Ghodsi指出,尽管去年年底以620亿美元的估值筹集了100亿美元,但这家私人持有的Databricks并不依赖外部资本,并计划今年招聘3000名员工。
"我们的秘密武器是什么?"Ghodsi说道。"我们拥有客户,我们拥有数据。这就是差异化因素。"
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。