对象存储供应商Cloudian正在将Milvus向量数据库功能添加到其HyperStore软件中,作为AI数据平台路线图的一部分提供AI推理能力。
HyperStore是一个对象存储系统,据Cloudian称,这是业内性能最高的系统,具有几乎无限的可扩展性,支持Nvidia的GPUDirect。向量数据库存储非结构化文档数据中Token化文本的多维方面的数学变换,也包括向量化的音频、图像和视频数据。大语言模型在构建对用户请求的响应时,使用这些向量来搜索语义相关的向量。
Cloudian首席技术官Neil Stobart表示:"将数据存储和AI推理集成到一个高效平台中,代表了企业处理AI基础设施方法的根本转变。"
Cloudian指出,现代AI应用需要大量存储容量来存储可达PB级规模的向量数据集,以及支持索引文件和操作日志,同时需要超低延迟访问来进行实时推理操作。拥有独立的非结构化数据和向量存储意味着数据移动和独立的基础设施组件。该供应商表示,将两者结合意味着客户可以消除数据移动并降低部署企业级AI系统的复杂性。
该公司表示,虽然AI模型本身可能相对较小,但有意义的AI交互所需的上下文数据会产生巨大的存储需求。推理模型的KV缓存量预计到2026年将达到每个并发用户2-5TB。用户期望AI系统能够记住关于他们的一切——对话历史、偏好和上下文——可能需要存储数十亿用户长期的Token输入和输出。
由Zilliz创建和提供的开源Milvus向量数据库,存储、索引和查询由机器学习模型生成的高维向量嵌入,为十亿级向量数据集提供毫秒级查询响应时间。Cloudian将其用于相似性搜索和AI推理应用,包括推荐系统、计算机视觉、自然语言处理和检索增强生成(RAG)。
HyperStore作为统一的存储基础,处理原始数据、处理后的向量、模型工件和元数据
Milvus在辅助节点上运行,同时利用HyperStore进行向量索引和集合的持久存储
数据在存储和计算之间无缝流动,无传统多系统架构的瓶颈
并行处理能够在大规模向量数据集上进行数千个并发相似性搜索
Cloudian表示,其每节点35 GBps的HyperStore + Milvus提供EB级对象存储,支持"大规模向量数据集,同时保持实时推理工作负载的高性能访问"。与部署独立的存储和推理平台相比,客户的总拥有成本更低,管理更简化,数据移动成本降低。
HyperStore + Milvus支持本地和混合云部署。客户可以从小型AI试点项目开始,逐步扩展到生产工作负载。
Cloudian的AI数据平台愿景包括"统一的、加速的基础设施,无缝集成数据处理、存储和AI计算"。该公司声称,它将不再只提供存储基础设施,而是演进为数据处理平台,将基础设施升级为更广泛应用软件堆栈的存储部分。
Cloudian的集成AI推理软件现已可供评估。Cloudian博客补充道:"初步测试显示推理吞吐量的显著改善,我们将在即将发布的性能分析中详细说明。"
好文章,需要你的鼓励
日本三井商船计划将船舶改造为浮动数据中心,容量可达20-73兆瓦,采用海水或河水直接冷却。该项目预计2027年投入运营,可通过陆地和海底电缆连接互联网交换中心。浮动数据中心的优势在于可根据需求变化移动位置,建设周期仅需一年,无需获取土地。该项目与土耳其Kinetics公司合作,可通过配套电力船供电,解决电网连接问题。
Patronus AI发布突破性研究,构建了首个系统性AI代理错误评估体系TRAIL,涵盖148个真实案例和21种错误类型。研究发现即使最先进的AI模型在复杂任务错误识别上准确率仅11%,揭示了当前AI代理系统在长文本处理、推理能力和自我监控方面的重大局限,为构建更可靠的AI系统指明方向。
随着AI引发投资热潮,每月都有更多初创企业获得独角兽地位。TechCrunch追踪了今年迄今为止成为独角兽的风投支持初创企业。虽然大多数与AI相关,但令人意外的是许多企业专注于其他行业,如卫星公司Loft Orbital和区块链交易网站Kalshi。这些价值超过10亿美元的初创企业涵盖软件开发、机器人技术、医疗健康等多个领域。
这项研究首次从理论和实践证明AI模型可通过模仿生物睡眠-学习周期显著提升性能。研究发现AI训练中存在自发的"记忆-压缩循环",并据此开发了GAPT算法,在大语言模型预训练中实现4.8%性能提升和70%表示效率改善,在算术泛化任务中提升35%,为AI发展指出了注重信息整理而非单纯数据扩展的新方向。