电力是人工智能的关键原材料,但新的处理技术已经超出了数据中心运营商管理电网关系的能力,迫使他们将性能降低多达30%。
"这些AI工厂浪费了太多电力,"英伟达CEO黄仁勋在公司年度GTC客户大会的主题演讲中表示。"每一瓦特的浪费都是收入损失,"该公司在年度发布会上宣称。
今天,初创公司Niv-AI正式走出隐身模式,获得1200万美元种子轮融资,旨在通过精确测量GPU功耗的新型传感器和开发更高效的管理工具来解决这一问题。
这家位于特拉维夫的初创公司成立于去年,由CEO Tomer Timor和CTO Edward Kizis创立,得到了Glilot Capital、Grove Ventures、Arc VC、Encoded VC、Leap Forward和Aurora Capital Partners的支持。该公司拒绝透露其估值。
随着前沿实验室协同运行数千个GPU来训练和运行高级模型,当处理器在计算任务和与其他GPU通信之间切换时,会出现频繁的毫秒级功耗激增。
这些激增使数据中心难以管理从电网获取的电力。为了避免电力不足,数据中心需要为临时储能系统付费以应对激增,或者限制GPU使用。这两种情况都会降低对昂贵芯片投资的回报。
"我们不能继续以现在的方式建设数据中心,"Grove Ventures合伙人Lior Handlesman表示,他是Niv董事会成员。
Niv路线图的第一步是了解正在发生的情况;该公司目前正在部署机架级传感器,可以在毫秒级别检测其拥有的GPU以及设计合作伙伴GPU的功耗。目标是了解不同深度学习任务的具体功耗配置文件,并开发缓解技术,让数据中心能够释放更多现有容量。
自然而然,工程师们期望基于收集的数据构建一个AI模型,目标是训练它预测和同步整个数据中心的功耗负载——为数据中心工程师提供的"副驾驶"。
Niv预计在未来六到八个月内在美国的几个数据中心中拥有一套运营系统。这是一个有吸引力的想法,因为试图建设新数据中心的超大规模云服务商面临着困难的土地使用和供应链问题。创始人将他们的最终产品视为数据中心和电网之间缺失的"智能层"。
"电网实际上担心数据中心在特定时间消耗过多电力,"Timor告诉TechCrunch。"我们正在研究的问题是一个两端拉锯的问题。一方面是尝试帮助数据中心利用更多GPU,希望能更好地利用他们已经支付的电力。另一方面,你也可以在数据中心和电网之间创建更负责任的功耗配置文件。"
Q&A
Q1:Niv-AI是什么公司?它主要解决什么问题?
A:Niv-AI是一家总部位于特拉维夫的初创公司,专门解决数据中心GPU功耗管理问题。该公司开发新型传感器来精确测量GPU功耗,并提供管理工具提高能效,解决数据中心因功耗激增而被迫降低30%性能的问题。
Q2:数据中心为什么需要限制GPU性能?
A:当GPU在计算任务和通信之间切换时会出现毫秒级功耗激增,这使数据中心难以管理电网供电。为避免电力不足,数据中心要么支付临时储能费用,要么限制GPU使用,两种方式都降低了对昂贵芯片投资的回报。
Q3:Niv-AI的解决方案如何工作?
A:Niv-AI首先部署机架级传感器,在毫秒级别检测GPU功耗,了解不同深度学习任务的功耗配置。然后基于收集的数据构建AI模型,预测和同步整个数据中心的功耗负载,为数据中心工程师提供智能管理工具。
好文章,需要你的鼓励
火箭实验室(Rocket Lab)宣布计划以现金加股票方式,斥资80亿美元收购主要卫星运营商铱星通信(Iridium Communications),交易预计于2027年中完成。铱星目前运营着由66颗活跃低轨卫星组成的星座网络,拥有约255万活跃用户,2024年营收达8.717亿美元。收购完成后,Rocket Lab计划借助其新型重型运载火箭Neutron及Lightning卫星平台,扩大铱星星座规模,开拓未被覆盖的市场并降低发射成本。
谷歌研究院开发的论文助手工具PAT,利用分阶段深度推理流水线自动审查学术论文,在真实错误检测任务上达到89.7%召回率,并已在STOC和ICML两大顶会完成超4700篇论文的真实部署。
音乐流媒体平台Tidal宣布,将于7月中旬启用自动化工具,对完全由AI生成的音乐添加"AI"标识,并移除具有欺诈性质的曲目。平台还将取消AI生成音乐的版税资格,仅向真人创作、演唱的原创音乐开放变现渠道。此外,Tidal明确将高频异常上传、干扰真实艺术家等行为列为欺诈活动。Deezer、Spotify等竞争对手此前已推出类似检测机制,流媒体行业正加速构建AI内容治理体系。
香港大学与武汉大学联合开发的EO-WM系统,将地球观测卫星图像预测重新定义为天气驱动的世界建模问题,通过把气象信号拆解为气候基线、天气异常和累积压力三层,显著提升了对极端干旱和热浪事件下植被退化的预测准确性。