Hammerspace已经通过更快更可扩展的元数据读取功能以及在GPU服务器直连存储驱动器中的更优数据放置策略,加速了其数据编排平台软件的性能表现。
该公司还新增了对Oracle公有云OCI的支持,并添加了更细粒度的访问控制功能,以防止不当的数据泄露。Hammerspace的数据平台软件产品(从之前的全球数据环境更名而来)将文件和对象存储系统中的数据整合到一个全局命名空间中,并在存储设备和介质之间进行数据分层,以优化成本和访问速度。该平台使用pNFS协议并支持英伟达的GPU Direct技术,能够向英伟达GPU服务器高速传输数据。
Hammerspace全球营销高级副总裁Molly Presley表示:"人工智能正在根本性地改变组织与其数据的交互方式。曾经相互独立的工作负载现在已经深度互联,数据平台必须跟上这一步伐。v5.2版本的改进加强了我们统一和加速AI、高性能计算和企业环境数据的能力,而无需客户重建存储孤岛或重新设计其基础架构。这标志着在各处实现真正AI就绪数据的又一重要步骤。"
Hammerspace表示,其v5.2数据平台软件的IO500总体得分比五个月前发布的上一版本结果提高了33.7%,总带宽翻倍,各项子测试均显示出显著改进——其中IOR-Hard-Read测试提升超过800%。IOR(交错或随机I/O)测试以带宽为评分标准,执行来自多个MPI(消息传递接口)进程的单个共享文件的小型、未对齐和交错读取(通常为47KB传输)。这模拟了竞争激烈、元数据密集的工作负载,例如涉及Lustre、GPFS/Spectrum Scale或NFS等分布式文件系统中锁竞争的情况。这与缓存不同。
该公司表示,这种加速是通过其向标准Linux内核贡献的客户端NFS性能增强软件实现的。公司确保其数据平台软件使用这些新的Linux内核特性。这意味着,通过Hammerspace软件访问存储数据时,它所编排的所有文件和对象存储系统都能受益于这种加速。
该公司还在其Tier 0软件中添加了Tier 0亲和性功能;这是一种在GPU计算集群内对读写操作具有位置感知智能的功能。这包括将GPU服务器的本地和直连存储纳入Hammerspace命名空间。Hammerspace表示,GPU服务器访问这些驱动器中的数据,甚至比访问GPU Direct加速的外部存储系统中的数据更快。
Tier 0亲和性确保数据传输到集群中请求GPU服务器的本地驱动器,而不是任何GPU服务器的本地驱动器。这减少了集群内的东西向网络流量。该功能是自动的、透明的,并且默认启用。
Hammerspace表示:"当计算节点可以使用自己的本地Tier 0卷进行I/O操作,而不是跨网络读写其他节点的NVMe时,Tier 0能够提供最佳性能。为了实现这一点,Anvil[Hammerspace软件组件]需要识别请求布局的pNFS客户端是否也托管着Tier 0存储卷,然后在布局中优先放置该本地卷。"
第三个性能提升功能消除了元数据扩展限制。其共享引用机制将命名空间分布在尽可能多的元数据服务器上,以适应极端的文件数量。Hammerspace表示,该功能"确保线性可扩展性,使性能和响应能力即使在AI和高性能计算环境的数据资产爆炸性增长时也保持稳定"。
意外数据泄露正通过添加Kerberos身份验证和标签NFS支持来控制。这使得SELinux和其他强制访问控制(MAC)系统能够在NFS上传输和执行安全标签,提供一致的、细粒度的数据访问控制。这应该会让受监管行业、政府和私人研究领域的客户满意。
Hammerspace已经支持其软件在AWS、Azure和Google云中运行,提供混合的、数据编排的本地到公有云环境。现在它正在添加对Oracle云基础架构(OCI)的支持。该公司表示将支持新的形状——OCI对服务器或虚拟机实例配置的术语——包括裸机。它将添加对专用OCI区域的支持,以帮助满足数据主权要求。
Hammerspace v5.2数据平台软件将于12月正式发布。
Q&A
Q1:什么是Hammerspace数据平台软件?它有什么主要功能?
A:Hammerspace数据平台软件是一个数据编排解决方案,将文件和对象存储系统中的数据整合到全局命名空间中,并在存储设备和介质之间进行数据分层以优化成本和访问速度。它使用pNFS协议并支持英伟达的GPU Direct技术。
Q2:Hammerspace v5.2版本在性能方面有哪些提升?
A:v5.2版本的IO500总体得分比上一版本提高了33.7%,总带宽翻倍,其中IOR-Hard-Read测试提升超过800%。这些提升主要通过客户端NFS性能增强软件、Tier 0亲和性功能和共享引用机制实现。
Q3:Tier 0亲和性功能是如何工作的?
A:Tier 0亲和性确保数据传输到请求GPU服务器的本地驱动器,而不是集群中任何GPU服务器的本地驱动器。这减少了集群内的东西向网络流量,提供最佳性能。该功能是自动的、透明的,并且默认启用。
好文章,需要你的鼓励
两家公司在OverdriveAI峰会上分享了AI应用经验。Verizon拥有超过1000个AI模型,用于预测客户呼叫原因和提供个性化服务,将AI推向边缘计算。Collectors则利用AI识别收藏品真伪,将每张卡片的鉴定时间从7分钟缩短至7秒,估值从8.5亿美元增长至43亿美元。
阿布扎比科技创新研究院团队首次发现大语言模型生成的JavaScript代码具有独特"指纹"特征,开发出能够准确识别代码AI来源的系统。研究创建了包含25万代码样本的大规模数据集,涵盖20个不同AI模型,识别准确率在5类任务中达到95.8%,即使代码经过混淆处理仍保持85%以上准确率,为网络安全、教育评估和软件取证提供重要技术支持。
Hammerspace发布v5.2数据平台软件,通过更快的元数据读取、更好的数据放置和扩展性优化提升AI数据访问性能。新版本IO500总分提升33.7%,总带宽翻倍,IOR-Hard-Read测试提升超800%。增加了Tier 0亲和性功能,支持GPU服务器本地存储访问,减少集群内网络流量。新增Oracle云支持、Kerberos认证和标签化NFS,提供更细粒度的访问控制。该软件将于12月正式发布。
斯坦福大学研究团队首次系统比较了人类与AI在文本理解任务中的表现。通过HUME评估框架测试16个任务发现:人类平均77.6%,最佳AI为80.1%,排名第4。人类在非英语文化理解任务中显著优于AI,而AI在信息处理任务中更出色。研究揭示了当前AI评估体系的缺陷,指出AI的高分往往出现在任务标准模糊的情况下。