几周前,我在浏览我们的网站时,偶然发现了高级编辑Samuel K. Moore撰写的文章《内存芯片短缺何时以及如何结束》。他的分析聚焦于当前由AI超大规模部署商对内存的巨大需求所导致的DRAM短缺,这成为大语言模型运行速度的主要制约因素。Moore清楚地解释了这种短缺,特别是高带宽内存(HBM)的短缺情况。
正如我们和其他科技媒体所记录的,AI是一个资源消耗大户。到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
但Moore的报道揭示了AI繁荣中一个不为人知的角落。HBM是专为服务AI处理器而定制的特殊类型内存产品。这些处理器的制造商,特别是英伟达和AMD,在谷歌、微软、OpenAI和Anthropic等公司需求的推动下,对其每个芯片都要求越来越多的内存,这些公司正在资助前所未有的数据中心建设。其中一些设施规模庞大:你可以在《建设世界最大数据中心需要什么》一文中了解Meta在路易斯安那州建设令人震惊的5吉瓦Hyperion站点所面临的工程挑战。
我们意识到Moore的HBM报道既重要又独特,因此决定将其纳入本期,并对2月10日发布的原文进行了一些更新。我们将其与特约编辑Matthew S. Smith最近的一篇文章配对,该文章探讨了内存芯片短缺如何推高树莓派等低成本计算机的价格。最终形成了《AI是内存消耗大户》这篇文章。
现在的关键问题是:短缺何时会结束?至少在美国,AI超大规模部署商需求对各种消费电子产品造成的价格压力,正被顽固的通胀和不断变化的关税制度所掩盖。因此我询问Moore,他正在关注哪些指标来判断内存短缺是否会缓解。
"在供应方面,我认为如果三大HBM公司——美光、三星和SK海力士中的任何一家表示他们正在调整新产能到位的时间表,那将是一个重要信号,"Moore告诉我。"在需求方面,观察整个供应链中的科技公司如何适应将很有趣。数据中心可能会转向牺牲一些性能以换取更少内存使用的硬件。开发各种产品的初创公司可能会转向使用更少内存的创新重新设计。像短缺这样的约束可能导致有趣的技术解决方案,所以我期待报道这些内容。"
为了确保您不会错过Moore对这一话题的任何分析,并保持对整个技术发展领域的了解,请订阅我们的周刊《技术警报》。
Q&A
Q1:什么是HBM,为什么它对AI如此重要?
A:HBM是高带宽内存的缩写,是专为服务AI处理器而定制的特殊类型内存产品。它对AI如此重要是因为大语言模型运行需要大量内存,而HBM能够提供AI处理器所需的高速数据传输能力,是制约大语言模型运行速度的关键因素。
Q2:AI对内存的需求有多大?
A:AI是一个巨大的资源消耗者。预计到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。同时,用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
Q3:内存芯片短缺何时会结束?
A:根据专家分析,需要关注两个方面的信号:供应方面,如果美光、三星和SK海力士等三大HBM公司调整新产能到位的时间表,将是重要信号;需求方面,科技公司可能会适应性调整,比如数据中心转向牺牲性能换取更少内存使用的硬件,或初创公司采用更少内存的创新设计。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。