AI推断工作负载正将基础设施拉回城市数据中心

纽约市并非AI基础设施热潮预期中的发展地。

过去两年间，AI行业的重心持续向北弗吉尼亚州、德克萨斯州、犹他州和路易斯安那州的大型超大规模园区倾斜——这些地方的运营商追求大片土地和充足电力，以支撑庞大的GPU集群。

然而，越来越多的AI工作负载已不再仅仅围绕模型训练展开，而是转向推断（Inference）：即将模型部署至生产环境，为真实用户、应用程序、API及自动化系统提供服务。

HyperFrame Research负责半导体与深度科技领域研究的驻场分析师史蒂芬·索普科表示："一旦模型进入生产阶段并开始产生收益，瓶颈就不再是原始浮点运算能力，而变成了往返时延、网络抖动和数据出口成本。"

这一趋势正开始将部分AI基础设施重新拉向靠近用户和网络互连节点的高密度城市机房，而非那些主要以电力规模为导向的偏远园区。

位于布鲁克林的主机托管商DataVerge与AI软件公司Mathpix近期的一次联合部署，正是这一转变的早期案例。

Mathpix宣布，将在DataVerge位于布鲁克林的机房部署英伟达B300 GPU系统，用于支持其文档处理平台的AI模型训练与实时推断工作负载。

从AWS到自建基础设施

Mathpix的核心业务是将PDF文件、手写笔记、数学公式及扫描文档转换为结构化、机器可读的文本，服务于企业工作流程和AI应用。据Mathpix创始人兼CEO尼科·希门尼斯介绍，随着AI开发者寻求将大量PDF档案转化为可用于训练的数据集，公司业务需求急剧增长。

"我们开始收到很多超大规模云服务商的需求，他们希望对PDF进行大规模批量转换。"希门尼斯在接受《数据中心知识》采访时说道。

公司的基础设施建设经历了一段摸索过程。希门尼斯表示，Mathpix最初在其位于威廉斯堡的办公室内尝试使用桌面GPU系统，后来才逐步转向企业级AI硬件。早期部署的一台A100服务器因供电困难、散热不足、运行噪音过大，根本无法在办公环境中正常运作。

"我们终于把A100服务器开起来了，结果它发出的声音就像一台喷气发动机。"希门尼斯说，"我们很快就意识到，这条路行不通。"

于是，Mathpix将设备迁入DataVerge位于Industry City工业园区的机房。起初，部署重心在于模型训练。随着时间推移，Mathpix将更多技术栈——包括推断系统、数据库和部署工具——迁移至自有硬件，并表示其性能和经济性均优于同等规模的云基础设施。"在本地网络上处理数据，速度要快得多。"希门尼斯说。

目前，公司仍在运行一套横跨AWS与布鲁克林部署的混合环境，利用云端容量应对突发流量峰值，同时将持久性工作负载和延迟敏感型服务迁移至本地机房。

布鲁克林部署的内部细节

DataVerge CEO雷·西德勒介绍，Mathpix最初仅部署了几个机柜，主要依赖AWS，但在本地运行工作负载后，发现响应速度更快、成本更低，随即开始扩展规模。"他们看到响应时间更短了，数据在我们机房里的处理速度也更快，这得益于我们的基础设施生态和运营商网络生态。"西德勒说。

DataVerge位于Industry City的机房目前支持风冷GPU部署，单机柜功率最高可达35千瓦，采用冷通道封闭舱和专为高密度AI基础设施升级的地板系统。据该公司介绍，机房目前还有约1兆瓦的剩余容量，并计划于2027年新增3兆瓦扩展空间，其中包括专为GPU客户设计的更高密度AI基础设施。"我们开始建设10机柜冷通道封闭舱，"西德勒说，"每个舱大约可承载500千瓦的功率输入。"

城市主机托管为何契合推断需求

过去两年，AI的"圈地热潮"以公用事业级电力开发和仓储级训练集群为优先方向。而推断工作负载往往遵循不同的约束条件，更注重网络邻近性、互连密度、运营灵活性和可预测的延迟表现。这一特性可能为传统上与企业IT、金融交易基础设施及网络互连紧密相关的城市高密度主机托管机房创造新的需求，而非主要面向重型GPU部署场景。

西德勒认为，行业过度聚焦于大型超大规模园区，而低估了随着推断需求增长，中小型城市部署所能发挥的重要作用。

"本地市场以及5到10兆瓦级别的数据中心，将成为最具竞争力的甜蜜点。"西德勒说。

训练与推断的基础设施开始分化

这次部署案例凸显了AI基础设施市场可能正在走向分化，形成多种发展模式并存的格局。

索普科表示，市场正越来越呈现出围绕训练与推断"两类截然不同的基础设施形态"。

"训练基础设施更像是集中式AI工厂，针对原始密度、电力可用性以及集群内东西向带宽进行优化；而推断基础设施则更像是一张分布式网络，由规模较小、网络密度更高的节点组成，负责服务区域用户群体。"索普科说。

大型前沿模型的训练仍然偏向于大规模集中式园区。但部分AI工作负载——尤其是与企业应用、API及实时服务挂钩的推断系统——正日益需要靠近用户并依托密集的网络互连环境。

希门尼斯表示，Mathpix在发现云服务在性能和成本上存在明显劣势后，最终将数据库、日志系统和部署基础设施全部迁移至托管硬件。

西德勒也表示，类似的经济因素正在驱动更广泛的客户需求转变。

"我们曾经因为亚马逊而流失客户，"西德勒说，"现在，这变成了一种混合模式。"

目前，布鲁克林的Mathpix部署与动辄数千兆瓦的大型AI园区相比，规模仍然微不足道。就连Mathpix自己也承认，其最新的B300系统目前主要作为训练基础设施运行，而非大规模推断集群。

尽管如此，这次部署仍折射出一种趋势：部分成长于AWS生态的AI公司，正在随着云计算经济性、延迟表现与运营控制权在AI生产环境中愈发关键，开始着手围绕自有城市GPU基础设施重建部分技术栈。

Q&A

Q1：什么是AI推断工作负载？它和模型训练有什么区别？

A：AI推断（Inference）是指将已训练好的模型部署到生产环境中，为真实用户、应用程序、API及自动化系统提供实时响应服务。与模型训练不同，训练侧重于原始算力和大规模GPU集群，而推断更关注网络延迟、响应速度和数据出口成本。随着越来越多的模型进入生产阶段，推断工作负载的比重正在持续上升。

Q2：Mathpix为什么要从AWS迁移到自建的布鲁克林机房？

A：Mathpix最初在AWS上运行工作负载，但随着业务扩展，发现本地部署在响应速度和成本方面都具有明显优势。本地网络的数据处理速度更快，长期运营成本也低于云服务。目前公司采用混合模式，利用云端应对突发流量，而将延迟敏感型和持久性工作负载部署在布鲁克林的DataVerge机房。

Q3：城市主机托管机房相比超大规模远郊数据中心，在AI推断方面有哪些优势？

A：城市主机托管机房在网络互连密度、与用户的物理距离以及运营灵活性方面具有天然优势，能够有效降低推断服务的网络往返时延和数据出口费用。分析师认为，推断基础设施的理想形态是分布式的小型高密度网络节点，而非集中式的大型园区，5到10兆瓦规模的城市数据中心将成为这一需求的"甜蜜点"。