英伟达推出GB10超级芯片 专为本地AI开发设计

在2023年Hot Chips大会上，英伟达的超级芯片架构引入了一种全新的加速工作负载编程模型，通过高速NVLink结构将CPU与GPU耦合，使PCIe相比之下显得极其缓慢。

但问题在于，在数据中心或云环境之外，开发者很难充分利用这一架构优势。

英伟达的Project Digits项目（现已更名为DGX Spark）旨在改变这一现状，通过推出名为GB10的英伟达超级芯片架构小型化版本面向大众市场——至少面向那些有超过2999美元预算的开发者。

在本周的Hot Chips大会上，GB10首席架构师Andi Skende详细介绍了其架构设计。

GB10采用台积电3nm制程工艺制造，由两个不同的计算核心组成：联发科设计的CPU芯片和英伟达设计的GPU芯片。这两个芯片通过台积电2.5D先进封装技术整合在一起，并通过英伟达专有的NVLink芯片间互连技术连接，提供600GB/s的双向带宽。

CPU芯片或S芯片采用大小核架构，包含20个Arm v9.2核心，分布在两个集群中，X925和Cortex A725核心数量相等。这些计算集群配备32MB L3缓存（每个集群16MB）以及额外的16MB L4缓存，旨在优化GB10计算引擎间的通信。

关于GB10图形芯片或G芯片的具体细节，英伟达透露信息有限。据介绍，该芯片在稀疏性条件下可提供约1 petaFLOP的峰值FP4性能，或约31 teraFLOPS的单精度计算性能（FP32）。

这使得GB10以及DGX Spark的AI性能大致与RTX 5070相当，后者的建议零售价约为550美元。然而，浮点性能并不能说明全部情况。

首先，GB10的功耗效率更高。RTX 5070的TDP为250瓦，而GB10仅为140瓦。

GB10还配备了128GB显存，而5070只有12GB。充足的显存容量对于DGX Spark设计用途的工作负载至关重要，因为即使在FP4精度下，模型权重仍需要每十亿参数约500MB的存储空间。

与其大型产品GB200和GB300不同，GB10没有使用超高速HBM内存。受功耗和成本限制，英伟达选择了时钟频率为9400MT/s的LPDDR5x内存。

由于该内存与CPU芯片的256位内存总线结合，GB10可提供273GB/s至301GB/s的带宽。内存带宽是推理性能的关键指标——内存速度越快，芯片输出Token的速度就越快。使用LPDDR的决定表明英伟达在内存容量和带宽之间做出了明显的妥协。

不过，DGX Spark的设计用途远不止运行本地模型。英伟达将这款小型AI工作站定位为开发平台，用于原型设计、模型微调以及本地推理。

微调是一项计算和内存密集型任务，即使使用低秩适应和量化技术来最小化计算需求也是如此。在这种场景下，计算和内存容量比带宽更为重要。

据英伟达介绍，Spark的128GB LPDDR5x内存足以微调700亿参数的模型，并可对多达2000亿参数的模型进行推理。

如果需要更大容量，GB10还配备了ConnectX-7网卡，具有一对200GbE端口，允许工作负载分布在两台DGX Spark上，有效地将微调和推理能力提升一倍。

更重要的是，由于GB10基于与其数据中心产品相同的技术，在小型化工作站上开发的工作负载无需重构即可部署到生产环境。

Q&A

Q1：GB10芯片有什么特别之处？

A：GB10是英伟达推出的小型化超级芯片，采用台积电3nm工艺制造，由联发科设计的CPU芯片和英伟达设计的GPU芯片组成。通过NVLink互连技术提供600GB/s双向带宽，功耗仅140瓦但配备128GB显存，专为本地AI开发设计。

Q2：DGX Spark相比RTX 5070有什么优势？

A：虽然AI性能相当，但DGX Spark功耗更低（140瓦 vs 250瓦），显存容量更大（128GB vs 12GB）。128GB显存可以微调700亿参数模型，进行2000亿参数模型推理，更适合AI开发和模型微调工作。

Q3：GB10如何实现扩展性？

A：GB10配备ConnectX-7网卡和一对200GbE端口，允许两台DGX Spark设备协同工作，有效将微调和推理能力提升一倍。由于采用与数据中心产品相同技术，开发的工作负载可直接部署到生产环境无需重构。