电力是人工智能的关键原材料,但新的处理技术已经超出了数据中心运营商管理电网关系的能力,迫使他们将性能降低多达30%。
"这些AI工厂浪费了太多电力,"英伟达CEO黄仁勋在公司年度GTC客户大会的主题演讲中表示。"每一瓦特的浪费都是收入损失,"该公司在年度发布会上宣称。
今天,初创公司Niv-AI正式走出隐身模式,获得1200万美元种子轮融资,旨在通过精确测量GPU功耗的新型传感器和开发更高效的管理工具来解决这一问题。
这家位于特拉维夫的初创公司成立于去年,由CEO Tomer Timor和CTO Edward Kizis创立,得到了Glilot Capital、Grove Ventures、Arc VC、Encoded VC、Leap Forward和Aurora Capital Partners的支持。该公司拒绝透露其估值。
随着前沿实验室协同运行数千个GPU来训练和运行高级模型,当处理器在计算任务和与其他GPU通信之间切换时,会出现频繁的毫秒级功耗激增。
这些激增使数据中心难以管理从电网获取的电力。为了避免电力不足,数据中心需要为临时储能系统付费以应对激增,或者限制GPU使用。这两种情况都会降低对昂贵芯片投资的回报。
"我们不能继续以现在的方式建设数据中心,"Grove Ventures合伙人Lior Handlesman表示,他是Niv董事会成员。
Niv路线图的第一步是了解正在发生的情况;该公司目前正在部署机架级传感器,可以在毫秒级别检测其拥有的GPU以及设计合作伙伴GPU的功耗。目标是了解不同深度学习任务的具体功耗配置文件,并开发缓解技术,让数据中心能够释放更多现有容量。
自然而然,工程师们期望基于收集的数据构建一个AI模型,目标是训练它预测和同步整个数据中心的功耗负载——为数据中心工程师提供的"副驾驶"。
Niv预计在未来六到八个月内在美国的几个数据中心中拥有一套运营系统。这是一个有吸引力的想法,因为试图建设新数据中心的超大规模云服务商面临着困难的土地使用和供应链问题。创始人将他们的最终产品视为数据中心和电网之间缺失的"智能层"。
"电网实际上担心数据中心在特定时间消耗过多电力,"Timor告诉TechCrunch。"我们正在研究的问题是一个两端拉锯的问题。一方面是尝试帮助数据中心利用更多GPU,希望能更好地利用他们已经支付的电力。另一方面,你也可以在数据中心和电网之间创建更负责任的功耗配置文件。"
Q&A
Q1:Niv-AI是什么公司?它主要解决什么问题?
A:Niv-AI是一家总部位于特拉维夫的初创公司,专门解决数据中心GPU功耗管理问题。该公司开发新型传感器来精确测量GPU功耗,并提供管理工具提高能效,解决数据中心因功耗激增而被迫降低30%性能的问题。
Q2:数据中心为什么需要限制GPU性能?
A:当GPU在计算任务和通信之间切换时会出现毫秒级功耗激增,这使数据中心难以管理电网供电。为避免电力不足,数据中心要么支付临时储能费用,要么限制GPU使用,两种方式都降低了对昂贵芯片投资的回报。
Q3:Niv-AI的解决方案如何工作?
A:Niv-AI首先部署机架级传感器,在毫秒级别检测GPU功耗,了解不同深度学习任务的功耗配置。然后基于收集的数据构建AI模型,预测和同步整个数据中心的功耗负载,为数据中心工程师提供智能管理工具。
好文章,需要你的鼓励
大众汽车旗下ID. Polo与Cupra Raval已在西班牙马托雷尔工厂正式下线投产。两款车型起售价分别为24,995欧元和26,000欧元,均基于MEB+平台打造,搭载37kWh或52kWh电池组,续航里程最高可达454公里。这是大众"电动城市车家族"系列的首批产品,预计今年夏末秋初开始交付。大众集团通过跨品牌资源整合,实现约6亿欧元的成本节约,后续还将推出ID. Cross等新成员。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
三星宣布将于6月8日起为Samsung Health应用推出重磅功能更新,赶在Galaxy Watch 9传闻发布之前落地。新版本将引入多项AI驱动的生物特征分析功能,包括:综合心率、血氧、皮肤温度等数据的每日活力评分(Vitals)、结合体成分数据评估长期心脏健康的心脏健康评分、优化训练强度的每日有氧负荷追踪,以及横向对比用户群体的健身指数。此外,应用界面将重新划分为睡眠、营养、活动、正念和体征五大板块,并新增抗氧化指数、年龄指数和听力保护等个性化功能。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。