对象存储供应商Cloudian正在将Milvus向量数据库功能添加到其HyperStore软件中,作为AI数据平台路线图的一部分提供AI推理能力。
HyperStore是一个对象存储系统,据Cloudian称,这是业内性能最高的系统,具有几乎无限的可扩展性,支持Nvidia的GPUDirect。向量数据库存储非结构化文档数据中Token化文本的多维方面的数学变换,也包括向量化的音频、图像和视频数据。大语言模型在构建对用户请求的响应时,使用这些向量来搜索语义相关的向量。
Cloudian首席技术官Neil Stobart表示:"将数据存储和AI推理集成到一个高效平台中,代表了企业处理AI基础设施方法的根本转变。"
Cloudian指出,现代AI应用需要大量存储容量来存储可达PB级规模的向量数据集,以及支持索引文件和操作日志,同时需要超低延迟访问来进行实时推理操作。拥有独立的非结构化数据和向量存储意味着数据移动和独立的基础设施组件。该供应商表示,将两者结合意味着客户可以消除数据移动并降低部署企业级AI系统的复杂性。
该公司表示,虽然AI模型本身可能相对较小,但有意义的AI交互所需的上下文数据会产生巨大的存储需求。推理模型的KV缓存量预计到2026年将达到每个并发用户2-5TB。用户期望AI系统能够记住关于他们的一切——对话历史、偏好和上下文——可能需要存储数十亿用户长期的Token输入和输出。
由Zilliz创建和提供的开源Milvus向量数据库,存储、索引和查询由机器学习模型生成的高维向量嵌入,为十亿级向量数据集提供毫秒级查询响应时间。Cloudian将其用于相似性搜索和AI推理应用,包括推荐系统、计算机视觉、自然语言处理和检索增强生成(RAG)。
HyperStore作为统一的存储基础,处理原始数据、处理后的向量、模型工件和元数据
Milvus在辅助节点上运行,同时利用HyperStore进行向量索引和集合的持久存储
数据在存储和计算之间无缝流动,无传统多系统架构的瓶颈
并行处理能够在大规模向量数据集上进行数千个并发相似性搜索
Cloudian表示,其每节点35 GBps的HyperStore + Milvus提供EB级对象存储,支持"大规模向量数据集,同时保持实时推理工作负载的高性能访问"。与部署独立的存储和推理平台相比,客户的总拥有成本更低,管理更简化,数据移动成本降低。
HyperStore + Milvus支持本地和混合云部署。客户可以从小型AI试点项目开始,逐步扩展到生产工作负载。
Cloudian的AI数据平台愿景包括"统一的、加速的基础设施,无缝集成数据处理、存储和AI计算"。该公司声称,它将不再只提供存储基础设施,而是演进为数据处理平台,将基础设施升级为更广泛应用软件堆栈的存储部分。
Cloudian的集成AI推理软件现已可供评估。Cloudian博客补充道:"初步测试显示推理吞吐量的显著改善,我们将在即将发布的性能分析中详细说明。"
好文章,需要你的鼓励
Runway推出最新AI模型Aleph,旨在重新定义视频创作与编辑方式。基于通用世界模型和模拟模型研究,Aleph提供对话式AI工具,能即时对现有或生成的视频进行复杂编辑。用户只需简单提示,即可删除物体、更换背景或重塑整个场景。与以往专注于文本生成视频的模型不同,Aleph强调"流畅编辑",确保场景、角色和环境的一致性,无需逐帧修复缺陷,为电影制作者和广告商提供更高效的工作流程。
斯坦福大学NLP研究小组发布了全新的2024版GloVe词向量,这是对2014年原版的重大升级。新版本使用维基百科、Gigaword新闻数据和Dolma语料库进行训练,新增超过70万词汇,涵盖疫情、科技、网络文化等现代概念。测试显示新版本在处理当代文本、非西方人名地名和社交媒体内容方面表现显著优于旧版本,为自然语言处理应用提供了更准确的语言理解工具。
TeleAI团队发布TeleChat2、TeleChat2.5和T1三款大语言模型的技术报告,详述了从10万亿tokens预训练到强化学习优化的完整开发过程。T1-115B在数学推理上超越OpenAI o1-mini,展现了国产AI模型的技术突破。研究采用4D并行训练策略,在8000个华为昇腾NPU上完成训练,并全面开源以促进AI技术发展。