Meta首席执行官马克·扎克伯格在周一的Threads帖子中表示,该公司正在建设一个名为Hyperion的数据中心,预计将为其新AI实验室提供5吉瓦(GW)的计算能力。
这一宣布标志着Meta在AI竞赛中领先OpenAI和谷歌的最新举措。此前Meta已经挖走了顶尖人才来运营Meta超级智能实验室,包括前Scale AI首席执行官亚历山大·王和前Safe Superintelligence首席执行官丹尼尔·格罗斯,现在Meta似乎将注意力转向训练前沿AI模型所需的大规模计算能力。
扎克伯格表示,Hyperion的占地面积将大到足以覆盖曼哈顿的大部分区域。据半导体分析公司Semianalysis称,Hyperion似乎位于路易斯安那州东北部的里奇兰教区镇。2024年,Meta宣布在该镇投资100亿美元建设数据中心,最初计划建成2GW超级集群。扎克伯格在帖子中指出,Hyperion将在"数年内"扩展到5吉瓦。
扎克伯格还提到,Meta计划在2026年启动一个名为Prometheus的1GW超级集群,使其成为首批控制如此规模AI数据中心的科技公司之一。Prometheus似乎是位于俄亥俄州新奥尔巴尼周围的数据中心网络。
Meta的AI数据中心建设似乎有望让该公司在训练和服务领先AI模型的能力方面与OpenAI、谷歌DeepMind和Anthropic更具竞争力。这一努力还可能帮助Meta吸引更多人才,他们可能被吸引到具有在AI竞赛中竞争所需计算能力的公司工作。
Prometheus和Hyperion加起来将消耗足以为数百万家庭供电的能源,这可能会从邻近社区抽取大量电力和水资源。据《纽约时报》周一报道,Meta在佐治亚州牛顿县的一个数据中心项目已经导致一些居民家中的水龙头干涸。
其他AI数据中心项目可能会给附近居民造成类似问题。据彭博社报道,AI超大规模厂商CoreWeave正在规划数据中心扩建,预计将使德克萨斯州达拉斯附近一座城市的电力需求翻倍。
尽管如此,科技公司仍决心建设大规模数据中心项目来推动其AI野心。其他值得注意的努力包括OpenAI与Oracle和软银的Stargate项目,以及xAI的Colossus超级计算机。
特朗普政府在很大程度上支持科技行业的AI数据中心建设。总统唐纳德·特朗普帮助OpenAI宣布了其Stargate项目,并随后谈到了扩展美国AI基础设施的努力。
在周一《经济学人》的专栏文章中,美国能源部长克里斯·赖特呼吁美国"在下一个主要能源密集型前沿领域:人工智能方面发挥领导作用"。他指出,AI将电力转化为"最有价值的产出:智能",联邦政府将加速煤炭、核能、地热和天然气能源的生产。
在联邦官员的支持下,AI行业似乎准备在未来几年吸收美国大部分能源。专家估计,到2030年,数据中心可能占美国能源消耗的20%,而2022年仅为2.5%。如果不快速增加能源生产,这可能给社区带来更多问题。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。