SambaNova 推出低成本开源深度研究代理框架

人工智能芯片初创公司 SambaNova Systems Inc. 今天宣布，他们开发了一个新的 AI 驱动的"深度研究"框架，能够以比现有研究系统快三倍的速度生成深度报告，且成本大幅降低。

该公司在博客文章中表示，已与 AI 代理开发商 CrewAI Inc. 合作创建这个新框架，使企业能够开发深度研究代理，以完全安全的方式分析其最私密的数据。

这些研究代理不依赖于 Nvidia Corp. 的图形处理器，而是使用 SambaNova 的替代性 AI 加速器，据称能提供更强大的性能并且成本更低。

获得超过 10 亿美元风险投资支持的 SambaNova 是 Nvidia 的竞争对手，专门开发适用于 AI 模型训练和推理的高性能计算芯片。这些芯片可通过云端访问，或通过公司提供的设备在本地部署。

企业可以选择在 SambaNova Cloud 上运行深度研究，据称速度是 GPU 驱动代理的三倍。如果企业本地拥有 SambaNova 强大的 SN40L 处理器，也可以完全在内部运行。这些代理使用开源大语言模型构建，如 Meta Platforms Inc. 的 Llama 3.3 70B 或 DeepSeek Ltd 的 R1，这进一步帮助降低成本。

SambaNova 解释说，现有的基于 AI 的深度研究解决方案成本极高，因为它们需要比传统聊天应用多 10 倍甚至 100 倍的 token。此外，公司表示这些工具的速度并不总是如其创建者所声称的那样快。

AI 代理路由

SambaNova 深度研究框架的一个关键要素是其"代理路由器"，它能够规划并将请求路由到最合适的代理，以获得最高准确度的结果。该框架默认配备三个代理 - 通用搜索代理、深度研究代理和财务分析师，但企业可以自由添加自己的 AI 代理，并将其连接到自己的私有数据源。

该公司举例说明，如果金融交易员想要生成最新市场趋势报告。首先，交易员可能输入"总结关于 Amazon 的最新市场新闻"这样的查询。这将首先发送给通用代理，该代理将使用大约三次搜索查询来找到所有最新新闻，消耗约 1,000 个 token。

一旦交易员获得基本信息，他们可能想深入挖掘并要求"生成 Amazon 的财务分析"。在这种情况下，查询将被路由到财务分析师代理，进行更深入的研究。它提供更多细节，可能使用约 15 个提示来挖掘所需的所有信息，使用的 token 数量增加约 20 倍。

基于这个更深入的分析，交易员可能想要生成一份更全面的报告，总结并引用来自各种文章的发现。这时，深度研究代理就会介入，从数百个来源编译信息以生成最终报告，然后清理并提交给交易员。这可能需要多达 50,000 个 token。

公司强调，这些步骤都将"快如闪电"，在几秒钟内完成，而不是类似 AI 研究系统可能需要的几分钟。此外，由于用户始终参与其中，他们可以确保不会在不准确的报告上浪费 token。

开源模型降低成本

由于研究过程使用如此多的 token，成本是用户的主要关注点。这解释了为什么 SambaNova 只依赖开源大语言模型，该公司指出这比专有替代方案更经济实惠。

公司表示，其提供的成本节省可以快速累积。以拥有 200 名员工的公司为例，每人每天执行 20 次深度研究查询，平均每次使用约 20,000 个 token，这将每天总计 8,000 万个 token。SambaNova 表示，在一年的时间里，这样的公司通过在 SambaNova 上使用 Llama 3.3，而不是运行 OpenAI 的 GPT-4，每年可以节省超过 100 万美元。

企业可以在此处试用 SambaNova 深度研究框架的演示，而希望将其与自己数据集成的企业可以通过克隆 GitHub 存储库开始使用。