在某种程度上,这是一个奇特的市场。它不像过去的科技行业——那时我们在硬件方面有线性进步,以及一系列活跃竞争的硬件公司。
现在,有一个突出的巨头,这一点在本周微软和Meta这两家最大的科技公司发布财报后抛出的一些数字中得到了证实。
在黄仁勋及其团队的主导下,英伟达已经螺旋式上升成为一个高耸的巨头,成为美国市场上最大的公开交易科技公司。就在几年前,它还只是为笔记本电脑和其他设备提供动力的芯片制造商之一。但那是在AI颠覆一切之前。
英伟达股价在过去一年中上涨了75%以上,市值已经达到4万亿美元大关。这令人震惊,但最近的预测更加惊人——普遍共识是该公司将在另一年内再增长20%,达到5万亿美元。
市场力量
传统观点认为,英伟达未来增长有两个关键:国内对硬件的强劲需求,以及进入中国市场的机会。英伟达最近在第二个方面取得了进展,因为特朗普政府解除了对H20芯片的出口管制。这一战略的另一个支撑点来自微软和Meta的AI规划公开数据。
首先,Meta已将其2025年资本支出预测提高到约660-720亿美元,计划建设千兆瓦级数据中心、定制内部计算系统和英伟达GPU集群。
微软预计单季度AI相关资本支出将超过300亿美元,使其2025年全年投资达到800亿美元或更多,预计将投资英伟达硬件如Blackwell和H100加速器,同时扩展全球云数据中心并支持Microsoft Copilot等AI驱动产品。
一家(或两家)公司的投资消息能让另一家公司的股价跳涨,这很奇怪,但这就是我们目前所处的情况,芯片市场中存在着独特的力量。英伟达全力投入AI硬件——这得到了丰厚的回报。
Prometheus和Hyperion项目
我对一篇关于这个新闻的科技专栏中的一个小细节很感兴趣,即扎克伯格谈论Meta的"Prometheus/Hyperion"计划。这些是更多的GPU名称吗?
结果发现,Prometheus和Hyperion分别指代Meta的大规模AI数据中心和计算基础设施项目。Meta的Prometheus多GPU集群将具备高性能AI训练能力和大规模网格系统中的数万个GPU,而Hyperion AI数据中心设计将拥有为AI工作负载、耗电的训练任务以及未来内部硅技术优化的架构,被称为Meta训练和推理加速器——一个定制的内部硅芯片系列,专门用于优化AI模型推理和训练工作负载,特别是针对LLaMA和Meta AI助手等大规模模型。
火的承诺和科技的其他神话
我对Prometheus的引用(以及Hyperion的引用)很感兴趣——我记得早期关于AI的文章将其比作众神带来的火。所以我做了一些研究。ChatGPT提出了一些与神话有趣的关联,我将分两部分分享,首先是Prometheus的部分。
然后是Hyperion的部分。
一个有趣的方面是宙斯对普罗米修斯的惩罚,这与当前AI监管需求相关。Hyperion的条目有点奇怪(天空和周期的监督者——呼应了Meta的现实实验室等),但我想这是合适的。
这里还有一个更深入的比较,我被给出的进一步将谷歌和亚马逊等其他竞争者神话化。
人们一直在说我们需要在AI中加入更多人文学科的内容,这似乎是一个很好的用例。
无论如何,请关注英伟达股价继续攀升,以及GPU在我们越来越多地发现AI力量的时代中的扩散。
Q&A
Q1:英伟达为什么能成为科技巨头?
A:英伟达在AI硬件方面进行了全面投入,这一战略获得了丰厚回报。几年前它还只是普通的芯片制造商,但AI的兴起彻底改变了一切,使其成为美国市场上最大的公开交易科技公司,市值达到4万亿美元。
Q2:微软和Meta的投资计划对英伟达有什么影响?
A:Meta计划2025年资本支出660-720亿美元用于数据中心和英伟达GPU集群,微软预计全年AI投资800亿美元或更多,主要购买Blackwell和H100加速器等英伟达硬件,这些巨额投资直接推动了英伟达股价上涨。
Q3:Meta的Prometheus和Hyperion项目是什么?
A:这是Meta的大规模AI基础设施项目。Prometheus是多GPU集群项目,具备高性能AI训练能力和数万个GPU;Hyperion是AI数据中心设计项目,为AI工作负载和训练任务优化架构,还包括Meta自研的训练和推理加速器芯片。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。