Cloudian将Milvus向量数据库集成到HyperStore中用于AI推理

对象存储供应商Cloudian正在将Milvus向量数据库功能添加到其HyperStore软件中，作为AI数据平台路线图的一部分提供AI推理能力。

HyperStore是一个对象存储系统，据Cloudian称，这是业内性能最高的系统，具有几乎无限的可扩展性，支持Nvidia的GPUDirect。向量数据库存储非结构化文档数据中Token化文本的多维方面的数学变换，也包括向量化的音频、图像和视频数据。大语言模型在构建对用户请求的响应时，使用这些向量来搜索语义相关的向量。

Cloudian首席技术官Neil Stobart表示："将数据存储和AI推理集成到一个高效平台中，代表了企业处理AI基础设施方法的根本转变。"

Cloudian指出，现代AI应用需要大量存储容量来存储可达PB级规模的向量数据集，以及支持索引文件和操作日志，同时需要超低延迟访问来进行实时推理操作。拥有独立的非结构化数据和向量存储意味着数据移动和独立的基础设施组件。该供应商表示，将两者结合意味着客户可以消除数据移动并降低部署企业级AI系统的复杂性。

该公司表示，虽然AI模型本身可能相对较小，但有意义的AI交互所需的上下文数据会产生巨大的存储需求。推理模型的KV缓存量预计到2026年将达到每个并发用户2-5TB。用户期望AI系统能够记住关于他们的一切——对话历史、偏好和上下文——可能需要存储数十亿用户长期的Token输入和输出。

由Zilliz创建和提供的开源Milvus向量数据库，存储、索引和查询由机器学习模型生成的高维向量嵌入，为十亿级向量数据集提供毫秒级查询响应时间。Cloudian将其用于相似性搜索和AI推理应用，包括推荐系统、计算机视觉、自然语言处理和检索增强生成（RAG）。

HyperStore作为统一的存储基础，处理原始数据、处理后的向量、模型工件和元数据

Milvus在辅助节点上运行，同时利用HyperStore进行向量索引和集合的持久存储

数据在存储和计算之间无缝流动，无传统多系统架构的瓶颈

并行处理能够在大规模向量数据集上进行数千个并发相似性搜索

Cloudian表示，其每节点35 GBps的HyperStore + Milvus提供EB级对象存储，支持"大规模向量数据集，同时保持实时推理工作负载的高性能访问"。与部署独立的存储和推理平台相比，客户的总拥有成本更低，管理更简化，数据移动成本降低。

HyperStore + Milvus支持本地和混合云部署。客户可以从小型AI试点项目开始，逐步扩展到生产工作负载。

Cloudian的AI数据平台愿景包括"统一的、加速的基础设施，无缝集成数据处理、存储和AI计算"。该公司声称，它将不再只提供存储基础设施，而是演进为数据处理平台，将基础设施升级为更广泛应用软件堆栈的存储部分。

Cloudian的集成AI推理软件现已可供评估。Cloudian博客补充道："初步测试显示推理吞吐量的显著改善，我们将在即将发布的性能分析中详细说明。"