几周前,我在浏览我们的网站时,偶然发现了高级编辑Samuel K. Moore撰写的文章《内存芯片短缺何时以及如何结束》。他的分析聚焦于当前由AI超大规模部署商对内存的巨大需求所导致的DRAM短缺,这成为大语言模型运行速度的主要制约因素。Moore清楚地解释了这种短缺,特别是高带宽内存(HBM)的短缺情况。
正如我们和其他科技媒体所记录的,AI是一个资源消耗大户。到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
但Moore的报道揭示了AI繁荣中一个不为人知的角落。HBM是专为服务AI处理器而定制的特殊类型内存产品。这些处理器的制造商,特别是英伟达和AMD,在谷歌、微软、OpenAI和Anthropic等公司需求的推动下,对其每个芯片都要求越来越多的内存,这些公司正在资助前所未有的数据中心建设。其中一些设施规模庞大:你可以在《建设世界最大数据中心需要什么》一文中了解Meta在路易斯安那州建设令人震惊的5吉瓦Hyperion站点所面临的工程挑战。
我们意识到Moore的HBM报道既重要又独特,因此决定将其纳入本期,并对2月10日发布的原文进行了一些更新。我们将其与特约编辑Matthew S. Smith最近的一篇文章配对,该文章探讨了内存芯片短缺如何推高树莓派等低成本计算机的价格。最终形成了《AI是内存消耗大户》这篇文章。
现在的关键问题是:短缺何时会结束?至少在美国,AI超大规模部署商需求对各种消费电子产品造成的价格压力,正被顽固的通胀和不断变化的关税制度所掩盖。因此我询问Moore,他正在关注哪些指标来判断内存短缺是否会缓解。
"在供应方面,我认为如果三大HBM公司——美光、三星和SK海力士中的任何一家表示他们正在调整新产能到位的时间表,那将是一个重要信号,"Moore告诉我。"在需求方面,观察整个供应链中的科技公司如何适应将很有趣。数据中心可能会转向牺牲一些性能以换取更少内存使用的硬件。开发各种产品的初创公司可能会转向使用更少内存的创新重新设计。像短缺这样的约束可能导致有趣的技术解决方案,所以我期待报道这些内容。"
为了确保您不会错过Moore对这一话题的任何分析,并保持对整个技术发展领域的了解,请订阅我们的周刊《技术警报》。
Q&A
Q1:什么是HBM,为什么它对AI如此重要?
A:HBM是高带宽内存的缩写,是专为服务AI处理器而定制的特殊类型内存产品。它对AI如此重要是因为大语言模型运行需要大量内存,而HBM能够提供AI处理器所需的高速数据传输能力,是制约大语言模型运行速度的关键因素。
Q2:AI对内存的需求有多大?
A:AI是一个巨大的资源消耗者。预计到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。同时,用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
Q3:内存芯片短缺何时会结束?
A:根据专家分析,需要关注两个方面的信号:供应方面,如果美光、三星和SK海力士等三大HBM公司调整新产能到位的时间表,将是重要信号;需求方面,科技公司可能会适应性调整,比如数据中心转向牺牲性能换取更少内存使用的硬件,或初创公司采用更少内存的创新设计。
好文章,需要你的鼓励
火箭实验室(Rocket Lab)宣布计划以现金加股票方式,斥资80亿美元收购主要卫星运营商铱星通信(Iridium Communications),交易预计于2027年中完成。铱星目前运营着由66颗活跃低轨卫星组成的星座网络,拥有约255万活跃用户,2024年营收达8.717亿美元。收购完成后,Rocket Lab计划借助其新型重型运载火箭Neutron及Lightning卫星平台,扩大铱星星座规模,开拓未被覆盖的市场并降低发射成本。
谷歌研究院开发的论文助手工具PAT,利用分阶段深度推理流水线自动审查学术论文,在真实错误检测任务上达到89.7%召回率,并已在STOC和ICML两大顶会完成超4700篇论文的真实部署。
音乐流媒体平台Tidal宣布,将于7月中旬启用自动化工具,对完全由AI生成的音乐添加"AI"标识,并移除具有欺诈性质的曲目。平台还将取消AI生成音乐的版税资格,仅向真人创作、演唱的原创音乐开放变现渠道。此外,Tidal明确将高频异常上传、干扰真实艺术家等行为列为欺诈活动。Deezer、Spotify等竞争对手此前已推出类似检测机制,流媒体行业正加速构建AI内容治理体系。
香港大学与武汉大学联合开发的EO-WM系统,将地球观测卫星图像预测重新定义为天气驱动的世界建模问题,通过把气象信号拆解为气候基线、天气异常和累积压力三层,显著提升了对极端干旱和热浪事件下植被退化的预测准确性。