我们采访了DDN产品高级副总裁James Coomer和首席技术官Sven Oehme,深入了解了其相对较新的Infinia对象存储的发展状况,以及在性能、多租户和容灾方面的技术细节。
**Infinia发展现状**
James Coomer表示:"我们已经在生产环境中运行了相当长时间。v2.2版本即将发布,具备强大的多租户功能,包括安全性/容灾、性能和容量SLA。"
Infinia架构的核心是将一切构建在键值存储基础之上,这与其他系统采用块存储基础层、文件系统再加上对象导出器的架构截然不同。通过使用键值存储,系统能够将所有数据均匀分布在所有设备上,因为键和值非常容易分发。
该系统采用Beta Epsilon树数据结构,这是一种先进的键值存储,在读写操作之间实现了良好的平衡。与以往优化读取或写入的数据结构不同,这种架构使Infinia中的每个数据源都成为对等关系,而非层级关系。
**性能表现突出**
在性能方面,DDN传统上在吞吐量、IOPS和单线程吞吐量方面表现强劲。但Infinia还专注于另一个关键领域:列表性能、首字节时间和延迟。这在AI应用中尤为重要,比如RAG查询需要在毫秒内搜索大量知识库并找到相关内容。
Sven Oehme详细解释了性能优势:"AWS和其他对象存储通常将这些功能放在数据库中处理,即使在后台运行内存数据库,速度仍然不够快。而Infinia通过键值存储中的数据结构布局方式,能够自动索引、前缀处理和负载均衡所有创建的对象。"
在实际测试中,AWS对象列表性能约为每秒6,000个对象,而Infinia在生产环境中单线程可达80,000个对象每秒,多线程可达600,000个对象每秒,相比AWS快100倍。跨多个存储桶并行操作时,可达到每秒3,000万个对象的列表性能。
**延迟优势明显**
在延迟方面,AWS S3的首字节时间约为100毫秒,S3 Express约为10毫秒(成本高12倍),而在AWS虚拟机上部署的Infinia延迟约为1毫秒。从S3到Infinia,延迟改善了100倍,同时成本比AWS S3 Express更低。
James Coomer表示:"当我们谈论毫秒级的读写操作时,已经达到了文件系统延迟水平。现在可以在对象存储上运行非常交互式的工作负载,这在以前只能在文件系统上实现。"
**多租户架构创新**
Infinia的多租户功能允许系统根据租户和子租户完全分布数据资源。与传统方法中卷与特定租户直接关联不同,Infinia系统中没有这种关联。这意味着可以实现极端的资源分配,比如获得99%的性能但只占用1%的容量,或者只获得1%的性能但占用99%的容量。
系统支持基于SLA的管理,不仅针对性能和容量,还包括容灾能力。用户可以为关键数据设置跨站点故障保护,而对于非关键数据则可以选择本地存储以获得最高性能。
**容灾能力强大**
Sven Oehme介绍了容灾能力:"我们从能够承受多少故障的角度来讨论容灾。如果将Infinia系统部署在五个物理站点上,可以定义对于关键数据集需要承受站点故障。系统会自动应用足够宽泛的纠删码来覆盖站点故障,或者动态应用复制策略。"
**SLA管理机制**
在SLA处理方面,Infinia实现了优先级分配机制,支持多达64个独立的服务质量优先级别。系统提供三个预设默认值:高优先级、中优先级和低优先级。当高优先级工作负载运行时,它将获得最大可能的份额,其他工作负载仍能获得适当的资源分配而不会停滞。
**软件栈发展**
DDN正在转变其定位,不再仅仅是为HPC和AI站点提供最快的并行存储,而是在开发完整的软件栈。在AWS上构建的RAG管道演示中,通过使用GPU卸载优化的Milvus数据库和Infinia对象存储接口替换AWS服务,整个RAG管道速度提升了22倍,同时成本降低了60%以上。
**内置服务特性**
Infinia默认提供数据压缩功能,无需任何调整或配置。系统还会自动加密所有数据,如果没有硬件加密加速,则使用软件加密;如果有硬件支持,则使用硬件加密。
**未来发展路线**
James Coomer透露,DDN正在与英伟达合作开发多项功能,包括KB Cache支持和GPUDirect for Object支持。Infinia软件栈提供的软件开发工具包已经实现了数据传输的RDMA卸载功能,这正是GPUDirect for Object的主要特性。
这些技术创新表明,Infinia对象存储正在重新定义存储架构,特别是在AI和高性能计算领域,为用户提供了超越传统POSIX文件系统限制的解决方案。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。