RapidFire AI推出开源RAG并行优化工具包

初创公司RapidFire AI今日发布了一款开源软件包，旨在简化企业人工智能应用中日益重要的管道开发流程。

该软件包名为RapidFire AI RAG，扩展了该公司的"超并行实验框架"，允许开发者同时测试和评估不同的分块配置（将大型文档分割成小片段）、检索技术和提示方案。这些过程通常是顺序进行的，但RapidFire的技术允许多个流并行运行。

评估瓶颈问题

随着生成式AI应用的扩展，开发者正在寻求更稳健的方式来评估和定制性能。联合创始人兼首席技术官Arun Kumar在加州大学圣地亚哥分校任教期间开发了这一并行化软件，他表示，评估指标通常具有领域特异性，有时使用较小的语言模型进行自动化，在过去一年中已经显著成熟。

然而，实际应用并没有跟上技术的步伐。Indico Data Solutions公司首席技术官Madison May在声明中表示："在企业AI中，困难的部分不是构建管道，而是知道哪种检索、分块和提示的组合能提供可信赖的答案。"

RapidFire AI RAG支持对多个RAG实验进行实时控制、监控和自动优化，即使在单台机器上运行也是如此。系统根据用户是使用自托管模型还是封闭模型应用程序接口，动态分配计算资源或Token使用限制到不同配置中。

RapidFire AI联合创始人兼首席执行官Jack Norris表示，组织往往低估了RAG工作流的复杂性。

"他们不会从基本上是商品化的模型中获得差异化优势，关键在于如何最好地利用他们的数据。"

Kumar表示，许多团队未能考虑到决定模型性能的多个相互作用变量。"人们只是忽视了RAG中存在无数个调节旋钮，"他说。"如何分块数据？如何嵌入？如何检索？如何重新排序？每一个都以非平凡的方式相互作用，并可能影响你的评估指标。"

Kumar表示，据一些估计，90%的RAG原型由于在测试这些变量方面的缺陷而未能投入生产。

超并行化方法

该公司的方法以其称为"超并行化"的方法为中心，这是一种使用共享内存技术在有限硬件资源（如图形处理器）中交换配置的方法。这允许多个实验并行运行，更快地交付结果。

"我们以非常高效的方式自动在GPU中交换配置，"Kumar说。"这基本上允许你在数据分片上获得所有配置的样本。"

系统还支持动态实验控制，允许用户在运行过程中停止、克隆或修改实验。即将推出的更新将增加AutoML支持，用于成本或性能的自动优化。

现已可用

RapidFire AI RAG与用于智能体工作流的LangChain框架集成。它支持来自OpenAI、Anthropic、Hugging Face的混合大语言模型、自托管重排器和各种搜索后端。它支持文档预处理和查询处理，并能通过折叠配置间的冗余操作（数据库工程中称为多查询优化的概念）更高效地执行实验。

Norris表示，该工具自一个月前软启动以来已被下载超过1000次，一些设计合作伙伴已在内部测试。现在可通过pip install rapidfireai-rag获取。

该公司计划未来通过高级商业版本和软件即服务产品来实现工具货币化。

"我们现在的重点是开源，让它投入使用，并与Hugging Face等组织合作，"Norris说。

RapidFire AI已从406 Ventures、AI Ventures Management、Osage University Partners Management和Willowtree Investments筹集了400万美元的预种子资金。

Q&A

Q1：RapidFire AI RAG是什么？它有什么特别之处？

A：RapidFire AI RAG是一款开源软件包，专门用于优化RAG（检索增强生成）工作流。它的特别之处在于采用"超并行化"技术，可以同时测试多种分块、检索和提示配置，而传统方法需要顺序进行，大大提高了开发效率。

Q2：为什么90%的RAG原型无法投入生产？

A：主要原因是RAG系统中存在大量相互作用的变量，包括如何分块数据、如何嵌入、如何检索、如何重新排序等。每个环节都会以复杂方式相互影响并影响评估指标，而许多开发团队未能充分测试这些变量组合。

Q3：RapidFire AI RAG如何实现并行优化？

A：它使用共享内存技术在GPU等有限硬件资源中高效交换配置，让多个实验同时运行。系统还支持动态实验控制，用户可以在运行过程中停止、克隆或修改实验，并能自动分配计算资源到不同配置中。