Hammerspace通过三种方式提升AI数据访问性能

Hammerspace发布v5.2数据平台软件,通过更快的元数据读取、更好的数据放置和扩展性优化提升AI数据访问性能。新版本IO500总分提升33.7%,总带宽翻倍,IOR-Hard-Read测试提升超800%。增加了Tier 0亲和性功能,支持GPU服务器本地存储访问,减少集群内网络流量。新增Oracle云支持、Kerberos认证和标签化NFS,提供更细粒度的访问控制。该软件将于12月正式发布。

Hammerspace已经通过更快更可扩展的元数据读取功能以及在GPU服务器直连存储驱动器中的更优数据放置策略,加速了其数据编排平台软件的性能表现。

该公司还新增了对Oracle公有云OCI的支持,并添加了更细粒度的访问控制功能,以防止不当的数据泄露。Hammerspace的数据平台软件产品(从之前的全球数据环境更名而来)将文件和对象存储系统中的数据整合到一个全局命名空间中,并在存储设备和介质之间进行数据分层,以优化成本和访问速度。该平台使用pNFS协议并支持英伟达的GPU Direct技术,能够向英伟达GPU服务器高速传输数据。

Hammerspace全球营销高级副总裁Molly Presley表示:"人工智能正在根本性地改变组织与其数据的交互方式。曾经相互独立的工作负载现在已经深度互联,数据平台必须跟上这一步伐。v5.2版本的改进加强了我们统一和加速AI、高性能计算和企业环境数据的能力,而无需客户重建存储孤岛或重新设计其基础架构。这标志着在各处实现真正AI就绪数据的又一重要步骤。"

Hammerspace表示,其v5.2数据平台软件的IO500总体得分比五个月前发布的上一版本结果提高了33.7%,总带宽翻倍,各项子测试均显示出显著改进——其中IOR-Hard-Read测试提升超过800%。IOR(交错或随机I/O)测试以带宽为评分标准,执行来自多个MPI(消息传递接口)进程的单个共享文件的小型、未对齐和交错读取(通常为47KB传输)。这模拟了竞争激烈、元数据密集的工作负载,例如涉及Lustre、GPFS/Spectrum Scale或NFS等分布式文件系统中锁竞争的情况。这与缓存不同。

该公司表示,这种加速是通过其向标准Linux内核贡献的客户端NFS性能增强软件实现的。公司确保其数据平台软件使用这些新的Linux内核特性。这意味着,通过Hammerspace软件访问存储数据时,它所编排的所有文件和对象存储系统都能受益于这种加速。

该公司还在其Tier 0软件中添加了Tier 0亲和性功能;这是一种在GPU计算集群内对读写操作具有位置感知智能的功能。这包括将GPU服务器的本地和直连存储纳入Hammerspace命名空间。Hammerspace表示,GPU服务器访问这些驱动器中的数据,甚至比访问GPU Direct加速的外部存储系统中的数据更快。

Tier 0亲和性确保数据传输到集群中请求GPU服务器的本地驱动器,而不是任何GPU服务器的本地驱动器。这减少了集群内的东西向网络流量。该功能是自动的、透明的,并且默认启用。

Hammerspace表示:"当计算节点可以使用自己的本地Tier 0卷进行I/O操作,而不是跨网络读写其他节点的NVMe时,Tier 0能够提供最佳性能。为了实现这一点,Anvil[Hammerspace软件组件]需要识别请求布局的pNFS客户端是否也托管着Tier 0存储卷,然后在布局中优先放置该本地卷。"

第三个性能提升功能消除了元数据扩展限制。其共享引用机制将命名空间分布在尽可能多的元数据服务器上,以适应极端的文件数量。Hammerspace表示,该功能"确保线性可扩展性,使性能和响应能力即使在AI和高性能计算环境的数据资产爆炸性增长时也保持稳定"。

意外数据泄露正通过添加Kerberos身份验证和标签NFS支持来控制。这使得SELinux和其他强制访问控制(MAC)系统能够在NFS上传输和执行安全标签,提供一致的、细粒度的数据访问控制。这应该会让受监管行业、政府和私人研究领域的客户满意。

Hammerspace已经支持其软件在AWS、Azure和Google云中运行,提供混合的、数据编排的本地到公有云环境。现在它正在添加对Oracle云基础架构(OCI)的支持。该公司表示将支持新的形状——OCI对服务器或虚拟机实例配置的术语——包括裸机。它将添加对专用OCI区域的支持,以帮助满足数据主权要求。

Hammerspace v5.2数据平台软件将于12月正式发布。

Q&A

Q1:什么是Hammerspace数据平台软件?它有什么主要功能?

A:Hammerspace数据平台软件是一个数据编排解决方案,将文件和对象存储系统中的数据整合到全局命名空间中,并在存储设备和介质之间进行数据分层以优化成本和访问速度。它使用pNFS协议并支持英伟达的GPU Direct技术。

Q2:Hammerspace v5.2版本在性能方面有哪些提升?

A:v5.2版本的IO500总体得分比上一版本提高了33.7%,总带宽翻倍,其中IOR-Hard-Read测试提升超过800%。这些提升主要通过客户端NFS性能增强软件、Tier 0亲和性功能和共享引用机制实现。

Q3:Tier 0亲和性功能是如何工作的?

A:Tier 0亲和性确保数据传输到请求GPU服务器的本地驱动器,而不是集群中任何GPU服务器的本地驱动器。这减少了集群内的东西向网络流量,提供最佳性能。该功能是自动的、透明的,并且默认启用。

来源:BLOCKS & FILES

0赞

好文章,需要你的鼓励

2025

11/18

08:09

分享

点赞

邮件订阅