d-Matrix声称3D堆叠内存将突破AI推理瓶颈

数字内存计算芯片初创公司d-Matrix推出了新的3D堆叠内存技术(3DIMC)，承诺相比当前行业标准HBM4，能够将AI模型运行速度提升10倍，并将能耗降低高达90%。

该公司成立于2019年，由CEO Sid Sheth和CTO Sudeep Bhoja创立，两人此前都是高速互连开发商Inphi Corp的高管，该公司于2020年被Marvell以100亿美元收购。d-Matrix的目标是开发内存计算芯片级技术，以比传统DRAM带宽更低的成本为AI推理提供比高带宽内存(HBM)更多的内存。

Sheth在LinkedIn上发布消息称："我们相信AI推理的未来不仅取决于重新思考计算，更要重新思考内存本身。我们正在为新的内存-计算范式(3DIMC)铺平道路，这使我们的DIMC平台能够继续扩展并突破内存墙，而不会牺牲内存容量和带宽。通过三维堆叠内存并将其与计算更紧密地集成，我们大幅降低了延迟，提高了带宽，并释放了新的效率增益。"

d-Matrix技术使用LPDDR5内存，通过中介层将数字内存计算(DIMC)硬件连接到内存。DIMC引擎使用经过修改的SRAM单元，增加了执行乘法运算的晶体管，直接在内存阵列内执行计算。该技术采用芯片小片架构构建，针对Transformer模型中使用的矩阵-向量乘法运算进行了优化。Apollo计算核心包含8个DIMC单元，可并行执行64×64矩阵乘法，支持多种数值格式(如INT8、INT4和块浮点)。

Bhoja在博客文章中写道："我们正在将最先进的3D堆叠数字内存计算实现——3DIMC引入我们的路线图。我们首个支持3DIMC的硅芯片d-Matrix Pavehawk经过2年多的开发，现已在我们的实验室中投入运行。"

"我们预计3DIMC将使AI推理工作负载的内存带宽和容量提升几个数量级，确保随着新模型和应用的出现，服务提供商和企业能够高效、经济地大规模运行它们。"

"我们的下一代架构Raptor将把3DIMC集成到其设计中——从我们和客户在Pavehawk上的测试中学到的经验中受益。通过垂直堆叠内存并与计算芯片小片紧密集成，Raptor有望突破内存墙，释放全新水平的性能和总体拥有成本。"

"我们的目标是在运行AI推理工作负载时，使用3DIMC相比HBM4实现10倍更好的内存带宽和10倍更好的能效。这些不是渐进式改进——而是重新定义大规模推理可能性的阶跃函数式改进。"

附注：d-Matrix已完成两轮融资。2022年A轮融资筹集了4400万美元，2023年B轮融资筹集了1.1亿美元，总计1.54亿美元。该公司与服务器可组合性供应商GigaIO建立了合作伙伴关系。

Q&A

Q1：d-Matrix的3DIMC技术是什么？有什么优势？

A：3DIMC是d-Matrix开发的3D堆叠数字内存计算技术。该技术通过三维堆叠内存并与计算紧密集成，相比当前行业标准HBM4，能够将AI模型运行速度提升10倍，将能耗降低高达90%，同时大幅降低延迟并提高带宽。

Q2：d-Matrix的DIMC引擎是如何工作的？

A：DIMC引擎使用经过修改的SRAM单元，增加了执行乘法运算的晶体管，能够直接在内存阵列内执行计算。Apollo计算核心包含8个DIMC单元，可并行执行64×64矩阵乘法，支持INT8、INT4和块浮点等多种数值格式，专门针对Transformer模型优化。

Q3：d-Matrix公司的发展现状如何？

A：d-Matrix成立于2019年，已完成两轮融资共1.54亿美元。首个3DIMC芯片Pavehawk已在实验室投入运行，下一代架构Raptor正在开发中。公司与服务器供应商GigaIO建立了合作伙伴关系，目标是为AI推理提供更高效的内存解决方案。