芯片初创公司MatX获5亿美元融资，专攻大语言模型加速

由前谷歌工程师创立的芯片初创公司MatX Inc.已获得5亿美元融资，用于推出其首款产品。

Jane Street和Situational Awareness领投了这轮B轮融资。MatX今日表示，还有六家以上投资者参与，包括芯片制造商Marvell Technology Inc.和Stripe Inc.的联合创始人。该公司此前已从包括多个相同支持者在内的财团筹集了超过1亿美元。

MatX正在开发一款专门为运行大语言模型而优化的处理器。该公司表示，这款名为MatX One的芯片将提供比当今图形卡更高的吞吐量。数十万个MatX One加速器可以连接成集群，用于运行大规模训练和推理工作负载。

许多人工智能处理器都采用了一种称为脉动阵列的电路设计。这是一个由网络连接的相对简单、相同的计算模块集合。每个模块处理人工智能提示处理中涉及的一小部分计算。

MatX One基于该公司称为可分割脉动阵列的架构。这个名称暗示该芯片可能能够将其脉动阵列分割成多个较小的阵列。这种方法使得芯片电路的配置能够针对它们处理的数据集进行定制，从而提高效率。

该处理器将在SRAM单元中存储大部分模型权重，这些权重是决定大语言模型如何处理提示的设置。SRAM是一种高速内存类型，通常直接嵌入到芯片中，紧邻其逻辑电路。该技术提供比其他类型RAM更低的延迟，从而加快处理速度。

MatX One将使用称为HBM的较慢、容量更大的内存来存储KV缓存数据。KV缓存是大语言模型用来加速处理的机制。它通过缓存频繁出现的计算结果来减少重复计算的需要，从而节省时间。

MatX网站上的一系列研究博客文章暗示其芯片还将支持其他性能优化方法。一篇文章透露，该公司一直在努力结合两种最流行的方法：推测解码和块级稀疏注意力。前者技术加速提示响应生成，而后者提高大语言模型注意力机制的效率。

"该芯片结合了SRAM优先设计的低延迟和HBM的长上下文支持，"MatX联合创始人兼首席执行官Reiner Pope在今日的博客文章中写道。"这些元素，加上对数值计算的全新理解，在大语言模型上提供了比任何已发布系统更高的吞吐量，同时匹配SRAM优先设计的延迟。"

该公司将使用新筹集的资金来完善其芯片设计。MatX希望在一年内完成流片过程，这是半导体开发工作流程的最后一步。

Q&A

Q1：MatX One芯片有什么特殊技术优势？

A：MatX One基于可分割脉动阵列架构，能够将脉动阵列分割成多个较小阵列，针对不同数据集定制电路配置提高效率。同时采用SRAM存储模型权重以降低延迟，用HBM存储KV缓存数据，结合了低延迟和长上下文支持的优势。

Q2：MatX公司的融资情况如何？

A：MatX在B轮融资中获得5亿美元，由Jane Street和Situational Awareness领投，参投方包括芯片制造商Marvell Technology和Stripe联合创始人等六家以上投资者。此前公司已从相似投资者财团筹集超过1亿美元。

Q3：MatX One芯片什么时候能够上市？

A：MatX计划使用新融资来完善芯片设计，目标是在一年内完成流片过程。流片是半导体开发的最后步骤，完成后才能进入量产阶段，具体上市时间取决于后续测试和生产准备情况。