阿里巴巴集团的研究人员开发出一种新方法,该方法有望显著降低训练 AI 系统以搜索信息的成本和复杂性,从而完全消除对昂贵的商业搜索引擎 API 的需求。
这种名为 “ZeroSearch” 的技术,允许大语言模型 ( LLMs ) 通过模拟方法而非在训练过程中与真实搜索引擎进行交互,从而发展出先进的搜索能力。这一创新不仅能够为企业节省大量 API 开支,同时也能更好地控制 AI 系统学习如何检索信息的过程。
研究人员在本周公布于 arXiv 的论文中写道: “强化学习 ( RL ) 训练需要频繁的 rollout ,可能涉及数十万次搜索请求,因此会产生巨额的 API 费用,严重限制了可扩展性。为了解决这些问题,我们引入了 ZeroSearch ,这是一种强化学习框架,激发大语言模型 ( LLMs ) 的搜索能力,而无需与真实搜索引擎进行交互。”
阿里巴巴刚刚在 Hugging Face 上发布了 ZeroSearch 激发大语言模型 ( LLMs ) 的搜索能力而无需搜索 pic.twitter.com/QfniJNO3LH
— AK (@_akhaliq)
2025 年 5 月 8 日
如何用 ZeroSearch 训练 AI 在无需搜索引擎的情况下进行搜索
ZeroSearch 解决的问题十分重要。开发能够自主搜索信息的 AI 助手的公司面临两大挑战:其一是训练过程中由搜索引擎返回的文档质量不可预测,其二是调用数十万个诸如 Google 等商业搜索引擎 API 所需的费用过高。
阿里巴巴的方法始于一种轻量级的监督式微调过程,该过程将大语言模型 ( LLMs ) 转化为一个检索模块,使其能够根据查询生成既相关又不相关的文档。在强化学习训练过程中,该系统采用了一种研究人员称之为 “基于课程的 rollout 策略” 的方法,逐步降低生成文档的质量。
研究人员解释道:“我们的核心洞见在于,大语言模型 ( LLMs ) 在大规模预训练过程中已获得了广泛的世界知识,并能够根据搜索查询生成相关的文档。真实搜索引擎与模拟用的 LLMs 之间的主要区别在于返回内容的文本风格。”
以极低成本超越 Google
在对七个问答数据集进行的全面实验中,ZeroSearch 不仅与使用真实搜索引擎训练的模型相当,甚至常常超过其性能。值得注意的是,一个拥有 7B 参数的检索模块达到了与 Google 搜索相当的性能,而一个拥有 14B 参数的模块甚至超越了 Google 搜索。
成本节约非常显著。根据研究人员的分析,使用 SerpAPI 通过 Google 搜索进行大约 64,000 次搜索查询的训练费用约为 586.70 美元,而在四块 A100 GPU 上使用一个 14B 参数的模拟大语言模型 ( LLMs ) 训练只需要 70.80 美元,成本降低了 88%。
论文指出:“这证明了在强化学习设置中,使用训练良好的大语言模型 ( LLMs ) 替代真实搜索引擎的可行性。”
这一成果对 AI 开发的未来意味着什么
这一突破标志着训练 AI 系统方法的重大转变。ZeroSearch 表明,AI 可以在不依赖外部工具(如搜索引擎)的情况下不断进步。
这一影响对于 AI 行业可能是巨大的。迄今为止,训练先进的 AI 系统通常需要调用受大型科技公司控制的昂贵 API 服务。而 ZeroSearch 改变了这一局面,让 AI 通过模拟搜索而非使用真实搜索引擎来实现搜索功能。
对于预算有限的小型 AI 公司和初创企业来说,这一方法可能会使竞争环境更为公平。高昂的 API 调用费用一直是开发高阶 AI 助手的主要门槛。通过将这些成本削减近 90%,ZeroSearch 使得先进的 AI 训练更加普及。
除了节约成本,此技术还使开发者能够更好地控制训练过程。当使用真实搜索引擎时,返回文档的质量往往难以预测。而通过模拟搜索,开发者可以精确地掌控在训练过程中 AI 接收到的信息。
这一技术适用于多个模型系列,包括 Qwen-2.5 和 LLaMA-3.2,无论是基础模型还是经过指令调优的变体。研究人员已在 GitHub 和 Hugging Face 上公开了他们的代码、数据集和预训练模型,使其他研究人员和公司能够实现这一方法。
随着大语言模型 ( LLMs ) 的不断演进,像 ZeroSearch 这样的技术预示着未来:AI 系统可以通过自我模拟来发展出越来越复杂的能力,而不再依赖外部服务 —— 这有可能改变 AI 开发的经济模式,并减少对大型科技平台的依赖。
具有讽刺意味的是,通过教会 AI 在不使用搜索引擎的情况下进行搜索,阿里巴巴可能已经创造出一种技术,使得传统搜索引擎在 AI 开发中的作用变得不再那么必要。随着这些系统变得越来越自给自足,技术领域在短短几年内可能会呈现出截然不同的局面。
好文章,需要你的鼓励
生成式AI在电商领域发展迅速,但真正的客户信任来自可靠的购物体验。数据显示近70%的在线购物者会放弃购物车,主要因为结账缓慢、隐藏费用等问题。AI基础设施工具正在解决这些信任危机,通过实时库存监控、动态结账优化和智能物流配送,帮助商家在售前、售中、售后各环节提升可靠性,最终将一次性买家转化为忠实客户。
泰国SCBX金融集团开发的DoTA-RAG系统通过动态路由和混合检索技术,成功解决了大规模知识库检索中速度与准确性难以兼得的难题。系统将1500万文档的搜索空间缩小92%,响应时间从100秒降至35秒,正确性评分提升96%,为企业级智能问答系统提供了实用的技术方案。
存储供应商Qumulo发布多租户架构Stratus,为每个租户提供独立的虚拟环境,通过加密技术和租户专用密钥管理系统实现隔离。该统一文件和对象存储软件支持本地、边缘、数据中心及AWS、Azure等云环境部署。Stratus采用加密隔离技术确保敏感数据安全,同时提供任务关键操作所需的灵活性和效率,帮助联邦和企业客户满足合规要求。
中科院和字节跳动联合开发了VGR视觉锚定推理系统,突破了传统AI只能粗略"看图"的局限。该系统能在推理过程中主动关注图片关键区域,像人类一样仔细观察细节后再得出结论。实验显示VGR在图表理解等任务上性能大幅提升,同时计算效率更高,代表了多模态AI"可视化推理"的重要进展。