人工智能的未来将由 AI 代理主导,OpenAI 现在正通过让开发者构建自己的 AI 代理来加速这一进程。
今天,这家 AI 公司宣布推出新的 "Responses API",该接口简化了创建和部署能够独立为用户执行任务的 AI 代理的过程。
Responses API 允许开发者创建由 OpenAI 大语言模型驱动的 AI 代理。该公司表示,这将最终取代现有的 Assistants API,后者将在约一年后退役。
OpenAI 表示,这项新服务将促进创建能够使用文件搜索工具来扫描公司内部数据集并搜索互联网的 AI 代理。这些功能类似于 OpenAI 最近发布的 Operator 代理,后者依赖于计算机使用代理 (CUA) 模型来帮助自动化数据输入等任务。
值得注意的是,OpenAI 此前已承认 CUA 模型在尝试自动化操作系统任务时不太可靠,且容易出错。因此,OpenAI 提醒开发者 Responses API 仍应被视为"早期迭代",并表示其可靠性将随时间推移而提高。
在使用 Responses API 创建 AI 代理时,开发者可以选择两种模型:GPT-4o search 和 GPT-4o mini search。据该公司介绍,这两种模型都能够自主浏览网络以寻找问题的答案,并会引用其响应所依据的来源。
这是一项重要功能,因为 OpenAI 表示,搜索网络和扫描公司私有数据集的能力可以显著提高其模型的准确性,从而提高基于这些模型的代理的性能。该公司在其自己的 SimpleQA 基准测试中展示了具有搜索功能的模型的优越性,该基准测试旨在衡量 AI 系统的虚构率。
根据 OpenAI 的数据,GPT-4o search 达到了 90% 的得分,而 GPT-4o mini search 得分为 88%。相比之下,拥有更多参数且更强大的新 GPT-4.5 模型在同样的基准测试中仅得到 63% 的分数,这是因为它缺乏搜索额外信息的能力。
尽管如此,开发者应当记住,虽然这些模型带来了改进,但搜索功能并不能完全解决 AI 的虚构或幻觉问题。基准测试分数表明,GPT-4o search 在其响应中仍有约 10% 的事实性错误。对于许多代理式 AI 工作负载来说,这样的错误率可能高得令人无法接受。
不过,OpenAI 至少希望鼓励开发者开始尝试。除了 Responses API,它还发布了一个开源的 Agents SDK,提供了将 AI 模型和代理与内部系统集成的工具。它还提供了实施安全保护和监控 AI 代理活动的工具。这是继另一个名为 Swarm 的工具发布之后的举措,Swarm 为开发者提供了管理和编排多个 AI 代理的框架。
这些新工具都是为了增加 OpenAI 大语言模型的市场份额。根据代理式 AI 创业公司 SOCi Inc. 的市场洞察总监 Damian Rollison 的说法,该公司已经在新的 Apple Intelligence 套件中将 ChatGPT 嵌入到 Apple Inc. 的 Siri 中时使用了类似的策略,使其接触到新的用户群。
"新的 Responses API 为更广泛地接触和适应 AI 代理概念打开了可能性,这些 AI 代理可能会嵌入到他们已经在使用的各种工具中," Rollison 说。
毫无疑问,一些开发者会急于看看他们能创造出什么样的 AI 代理,但重要的是要记住这些技术仍处于初期阶段,并不总是像一些用户声称的那样有效。本周早些时候,一家中国初创公司推出的名为 Manus 的 AI 代理在互联网上引起轰动,让一些早期使用者感到惊艳,但在更广泛使用后很快就显露出不足。
好文章,需要你的鼓励
这项研究由浙江大学、复旦大学等机构联合完成,提出了ReVisual-R1模型,通过创新的三阶段训练方法显著提升了多模态大语言模型的推理能力。研究发现优化的纯文本冷启动训练、解决强化学习中的梯度停滞问题、以及分阶段训练策略是关键因素。ReVisual-R1在各类推理基准测试中超越了现有开源模型,甚至在某些任务上超过了商业模型,为多模态推理研究开辟了新途径。
这项研究提出了一种名为"批评式微调"的创新方法,证明仅使用一个问题的批评数据就能显著提升大语言模型的推理能力。研究团队对Qwen和Llama系列模型进行实验,发现这种方法在数学和逻辑推理任务上都取得了显著提升,平均提高15-16个百分点,而且只需要强化学习方法1/20的计算资源。这种简单高效的方法为释放预训练模型的潜在推理能力提供了新途径。
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。