AI推理初创公司Baseten获1.5亿美元融资

人工智能初创公司Baseten Labs Inc.今日宣布，已完成1.5亿美元后期投资，公司估值达21.5亿美元。

本轮D轮融资由BOND领投，距离该公司上一轮融资约6个月时间。参与投资的还包括Alphabet Inc.的CapitalG基金、Conviction、Premji Invest、01A、IVP、Spark、Greylock和Scribble Ventures。

Baseten提供一个软件平台，承诺帮助企业加速其AI推理工作负载。据该公司称，其技术比竞争产品提供高达50%的性能提升。客户可以在自己的基础设施上部署该软件，或使用由Baseten管理的云端版本。

云端版本运行在10个不同的基础设施即服务平台上。当AI应用的流量增加时，Baseten会自动在最合适的平台上配置额外的图形处理卡。如果客户使用的某个公共云出现技术问题，软件可以自动切换到另一个平台。

该公司使用一种称为拓扑感知并行化的方法来优化客户的基础设施。当AI模型在多个图形处理卡上运行时，这些图形处理卡必须通过网络交换数据来协调工作。拓扑感知并行化减少了数据流量，从而降低了硬件使用量。

Baseten表示，它不仅优化客户AI模型运行的硬件，还优化模型本身。它使用一种称为算子融合的方法，将通常分别进行的计算合并为单一计算，从而节省时间。量化工具可以缩小神经网络以减少其内存需求。

核心推理功能与一套开发者工具一起提供。软件团队可以使用这些工具来自动化将AI模型发布到生产环境中涉及的部分工作。Baseten还简化了模型依赖项的部署，即模型运行所依赖的软件模块。

一旦模型部署在平台上，开发者可以使用内置的可观测性工具来监控其性能。该软件跟踪发送给模型的请求数量、响应时间、硬件使用情况和相关指标。

今年5月，Baseten通过推出AI训练服务，将重点扩展到推理之外。它提供基础设施访问，公司可以用来构建新的AI模型。它还允许软件团队在训练期间定期保存AI模型以进行备份。如果训练过程被中断，开发者可以恢复最近的备份，而不是从头开始。

"每个突破性的AI应用都依赖于快速、可靠且成本效益高的推理，就像过去15年的公司都依赖云计算一样，"联合创始人兼首席执行官Tuhin Srivastava说。

该公司将使用新资金来扩展其开发者工具阵容。Baseten还计划研究加速AI模型的新方法。

Q&A

Q1：Baseten的核心技术优势是什么？

A：Baseten的核心优势在于其AI推理加速技术，能提供比竞争产品高达50%的性能提升。该公司使用拓扑感知并行化技术优化基础设施，通过算子融合将分别进行的计算合并为单一计算节省时间，还提供量化工具缩小神经网络以减少内存需求。

Q2：Baseten平台可以部署在哪些环境中？

A：Baseten提供灵活的部署选择，客户可以在自己的基础设施上部署该软件，或使用由Baseten管理的云端版本。云端版本运行在10个不同的基础设施即服务平台上，当某个公共云出现技术问题时，软件可以自动切换到另一个平台。

Q3：除了推理服务，Baseten还提供什么功能？

A：除了核心的AI推理服务，Baseten还提供一套完整的开发者工具来自动化AI模型发布工作，内置可观测性工具监控模型性能。今年5月还推出了AI训练服务，提供基础设施供公司构建新AI模型，并支持训练期间的模型备份和恢复功能。