几周前,我在浏览我们的网站时,偶然发现了高级编辑Samuel K. Moore撰写的文章《内存芯片短缺何时以及如何结束》。他的分析聚焦于当前由AI超大规模部署商对内存的巨大需求所导致的DRAM短缺,这成为大语言模型运行速度的主要制约因素。Moore清楚地解释了这种短缺,特别是高带宽内存(HBM)的短缺情况。
正如我们和其他科技媒体所记录的,AI是一个资源消耗大户。到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
但Moore的报道揭示了AI繁荣中一个不为人知的角落。HBM是专为服务AI处理器而定制的特殊类型内存产品。这些处理器的制造商,特别是英伟达和AMD,在谷歌、微软、OpenAI和Anthropic等公司需求的推动下,对其每个芯片都要求越来越多的内存,这些公司正在资助前所未有的数据中心建设。其中一些设施规模庞大:你可以在《建设世界最大数据中心需要什么》一文中了解Meta在路易斯安那州建设令人震惊的5吉瓦Hyperion站点所面临的工程挑战。
我们意识到Moore的HBM报道既重要又独特,因此决定将其纳入本期,并对2月10日发布的原文进行了一些更新。我们将其与特约编辑Matthew S. Smith最近的一篇文章配对,该文章探讨了内存芯片短缺如何推高树莓派等低成本计算机的价格。最终形成了《AI是内存消耗大户》这篇文章。
现在的关键问题是:短缺何时会结束?至少在美国,AI超大规模部署商需求对各种消费电子产品造成的价格压力,正被顽固的通胀和不断变化的关税制度所掩盖。因此我询问Moore,他正在关注哪些指标来判断内存短缺是否会缓解。
"在供应方面,我认为如果三大HBM公司——美光、三星和SK海力士中的任何一家表示他们正在调整新产能到位的时间表,那将是一个重要信号,"Moore告诉我。"在需求方面,观察整个供应链中的科技公司如何适应将很有趣。数据中心可能会转向牺牲一些性能以换取更少内存使用的硬件。开发各种产品的初创公司可能会转向使用更少内存的创新重新设计。像短缺这样的约束可能导致有趣的技术解决方案,所以我期待报道这些内容。"
为了确保您不会错过Moore对这一话题的任何分析,并保持对整个技术发展领域的了解,请订阅我们的周刊《技术警报》。
Q&A
Q1:什么是HBM,为什么它对AI如此重要?
A:HBM是高带宽内存的缩写,是专为服务AI处理器而定制的特殊类型内存产品。它对AI如此重要是因为大语言模型运行需要大量内存,而HBM能够提供AI处理器所需的高速数据传输能力,是制约大语言模型运行速度的关键因素。
Q2:AI对内存的需求有多大?
A:AI是一个巨大的资源消耗者。预计到2028年,AI的电力消耗可能占美国所有电力的12%。生成式AI查询在2025年消耗了15太瓦时电力,预计到2030年将消耗347太瓦时。同时,用于冷却AI数据中心的水消耗预计到2028年将比2023年翻倍甚至翻两番。
Q3:内存芯片短缺何时会结束?
A:根据专家分析,需要关注两个方面的信号:供应方面,如果美光、三星和SK海力士等三大HBM公司调整新产能到位的时间表,将是重要信号;需求方面,科技公司可能会适应性调整,比如数据中心转向牺牲性能换取更少内存使用的硬件,或初创公司采用更少内存的创新设计。
好文章,需要你的鼓励
"影子AI"是指员工在未经公司批准的情况下使用AI工具办公。虽然ChatGPT等工具能提升效率,但将内部文件、客户数据或源代码输入未授权平台,可能导致企业数据失控。IBM报告显示,20%的企业存在未授权AI工具,63%尚无AI治理政策。专家建议,一味封禁效果有限,企业应明确哪些工具可用、哪些数据禁止上传,员工也应主动核查AI输出内容,避免将敏感信息粘贴至公共AI平台。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
Hirebotics联合Fanuc发布首款基于无代码Beacon平台的防爆协作喷涂机器人Cobot Painter。该方案适用于金属制造商,无需专用喷涂房或复杂编程,可在现有人工喷涂环境中数日内完成部署。操作人员通过平板或手机的"点击示教"功能即可引导机器人完成路径学习,实现液体涂料、粉末涂装等高精度重复作业,帮助制造商将涂装业务收回自主管理。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。