Databricks 今天启动了"代理周"活动,推出了新的和增强的产品,旨在帮助企业更有信心地部署和扩展人工智能代理。
AI 代理是能够感知环境、做出决策并采取行动以实现特定目标的自主或半自主程序,可以有人类监督也可以完全自主。尽管大多数企业现在都在使用 AI,但由于担心无法追踪或控制代理的行为,许多企业不愿在关键业务或面向客户的场景中部署代理。
Databricks 表示,为了应对这一问题,该公司扩展了其 Mosaic AI Gateway 的功能。这个网关可以帮助企业管理和治理他们的 AI 模型和部署,现在可以支持广泛的开源和商业大语言模型。该软件目前处于公开预览阶段。
目前处于公开预览阶段的 AI/BI Genie Conversation API 套件,使开发者能够将自然语言聊天机器人嵌入到定制应用程序或流行的生产力工具中,如 Microsoft 的 Teams 和 Sharepoint 以及 Salesforce 的 Slack。
Databricks 的 AI 副总裁 Naveen Rao 表示:"人们非常喜欢 Genie 界面,因此他们要求能够将其嵌入到自己的应用程序中。这是一种特殊的代理,允许您在商业智能环境中与数据进行交互。"
Rao 表示,该功能面向需要运行复杂查询但不精通结构化查询语言的商业用户。该代理可以嵌入到任何能够接收应用程序编程接口的应用程序中。他说:"只要设置好权限,您就可以为任何类型的应用程序添加界面。您甚至可以制作在浏览器中运行的 JavaScript 应用程序。"
Genie 无需训练,因为它可以处理表格中已有的元数据,如列标题。例如,它能理解标记为"成本"的列可能指的是金钱,并会在财务查询中包含这些数据。
目前处于公开预览阶段的升级版 Agent Evaluation Review App 让领域专家能够更轻松地提供有针对性的反馈、发送用于标记的追踪信息,并自定义评估标准。
Rao 说:"评估定制模型是客户的一大痛点。构建评估相当困难。您需要有足够的覆盖范围来涵盖所有案例,并且需要足够的深度来充分探测系统。"
他表示,虽然 Graduate-Level Google-Proof Q&A 和 Natural Language Understanding Evaluation REST API Reference 等公共评估框架很有用,但并不总能为特定用例提供所需的深度。Rao 说:"我们让以问答形式定义评估变得非常简单,同时还可以描述任务本身。"
今天同样进入公开预览的还有 Provision-Less Batch Inference,这是一种使用单个 SQL 查询通过 Mosaic AI 运行批量推理的新方法。Rao 表示,它消除了用户配置基础设施的需求,这个功能在对大型数据集进行查询时特别有用。
他说:"对 1000 万行的查询需要比对 5 行的查询更多的基础设施。这个功能会自动计算请求的大小,启动所有必要的计算资源,并以批处理模式运行请求以最小化成本。您完全不需要考虑配置或扩展问题。"
今天的公告是 Databricks 计划在本周内发布的多个代理相关介绍中的第一个。
好文章,需要你的鼓励
DeepResearchGym是一个创新的开源评估框架,专为深度研究系统设计,旨在解决当前依赖商业搜索API带来的透明度和可重复性挑战。该系统由卡内基梅隆大学研究团队开发,结合了基于ClueWeb22和FineWeb大型网络语料库的可重复搜索API与严格的评估协议。实验表明,使用DeepResearchGym的系统性能与使用商业API相当,且在评估指标间保持一致性。人类评估进一步证实了自动评估协议与人类偏好的一致性,验证了该框架评估深度研究系统的有效性。
这项研究介绍了FinTagging,首个面向大型语言模型的全面财务信息提取与结构化基准测试。不同于传统方法,它将XBRL标记分解为数值识别和概念链接两个子任务,能同时处理文本和表格数据。在零样本测试中,DeepSeek-V3和GPT-4o表现最佳,但在细粒度概念对齐方面仍面临挑战,揭示了当前大语言模型在自动化XBRL标记领域的局限性,为金融AI发展提供了新方向。
这项研究介绍了SweEval,一个新型基准测试,用于评估大型语言模型在企业环境中处理脏话的能力。研究团队从Oracle AI等多家机构的专家创建了一个包含八种语言的测试集,模拟不同语调和上下文的真实场景。实验结果显示,LLM在英语中较少使用脏话,但在印地语等低资源语言中更易受影响。研究还发现较大模型通常表现更好,且多语言模型如Llama系列在处理不当提示方面优于其他模型。这项工作对企业采用AI技术时的安全考量提供了重要参考。
这项研究提出了"VeriFree"——一种不需要验证器的方法,可以增强大型语言模型(LLM)的通用推理能力。传统方法如DeepSeek-R1-Zero需要验证答案正确性,限制了其在数学和编程以外领域的应用。VeriFree巧妙地计算正确答案在模型生成的推理过程后出现的概率,作为评估和训练信号。实验表明,这种方法不仅能匹配甚至超越基于验证器的方法,还大幅降低了计算资源需求,同时消除了"奖励黑客"问题。这一突破将有助于开发出在化学、医疗、法律等广泛领域具有更强推理能力的AI系统。