电力是人工智能的关键原材料,但新的处理技术已经超出了数据中心运营商管理电网关系的能力,迫使他们将性能降低多达30%。
"这些AI工厂浪费了太多电力,"英伟达CEO黄仁勋在公司年度GTC客户大会的主题演讲中表示。"每一瓦特的浪费都是收入损失,"该公司在年度发布会上宣称。
今天,初创公司Niv-AI正式走出隐身模式,获得1200万美元种子轮融资,旨在通过精确测量GPU功耗的新型传感器和开发更高效的管理工具来解决这一问题。
这家位于特拉维夫的初创公司成立于去年,由CEO Tomer Timor和CTO Edward Kizis创立,得到了Glilot Capital、Grove Ventures、Arc VC、Encoded VC、Leap Forward和Aurora Capital Partners的支持。该公司拒绝透露其估值。
随着前沿实验室协同运行数千个GPU来训练和运行高级模型,当处理器在计算任务和与其他GPU通信之间切换时,会出现频繁的毫秒级功耗激增。
这些激增使数据中心难以管理从电网获取的电力。为了避免电力不足,数据中心需要为临时储能系统付费以应对激增,或者限制GPU使用。这两种情况都会降低对昂贵芯片投资的回报。
"我们不能继续以现在的方式建设数据中心,"Grove Ventures合伙人Lior Handlesman表示,他是Niv董事会成员。
Niv路线图的第一步是了解正在发生的情况;该公司目前正在部署机架级传感器,可以在毫秒级别检测其拥有的GPU以及设计合作伙伴GPU的功耗。目标是了解不同深度学习任务的具体功耗配置文件,并开发缓解技术,让数据中心能够释放更多现有容量。
自然而然,工程师们期望基于收集的数据构建一个AI模型,目标是训练它预测和同步整个数据中心的功耗负载——为数据中心工程师提供的"副驾驶"。
Niv预计在未来六到八个月内在美国的几个数据中心中拥有一套运营系统。这是一个有吸引力的想法,因为试图建设新数据中心的超大规模云服务商面临着困难的土地使用和供应链问题。创始人将他们的最终产品视为数据中心和电网之间缺失的"智能层"。
"电网实际上担心数据中心在特定时间消耗过多电力,"Timor告诉TechCrunch。"我们正在研究的问题是一个两端拉锯的问题。一方面是尝试帮助数据中心利用更多GPU,希望能更好地利用他们已经支付的电力。另一方面,你也可以在数据中心和电网之间创建更负责任的功耗配置文件。"
Q&A
Q1:Niv-AI是什么公司?它主要解决什么问题?
A:Niv-AI是一家总部位于特拉维夫的初创公司,专门解决数据中心GPU功耗管理问题。该公司开发新型传感器来精确测量GPU功耗,并提供管理工具提高能效,解决数据中心因功耗激增而被迫降低30%性能的问题。
Q2:数据中心为什么需要限制GPU性能?
A:当GPU在计算任务和通信之间切换时会出现毫秒级功耗激增,这使数据中心难以管理电网供电。为避免电力不足,数据中心要么支付临时储能费用,要么限制GPU使用,两种方式都降低了对昂贵芯片投资的回报。
Q3:Niv-AI的解决方案如何工作?
A:Niv-AI首先部署机架级传感器,在毫秒级别检测GPU功耗,了解不同深度学习任务的功耗配置。然后基于收集的数据构建AI模型,预测和同步整个数据中心的功耗负载,为数据中心工程师提供智能管理工具。
好文章,需要你的鼓励
B&H近期对多款M5 Pro MacBook Pro机型推出300美元优惠。14英寸M5 Pro版本(48GB内存+1TB固态硬盘)现售价2299美元,较原价2599美元节省300美元,且该配置在亚马逊无法购买,折扣机会更为难得。此外,16英寸M5 Pro版本(64GB内存+1TB固态硬盘)同样享有300美元折扣。B&H在多款高配MacBook机型上的定价已低于亚马逊,是近期可找到的最优价格。
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
Insta360推出GO 3S复古套装,将现代4K运动相机与胶片时代美学结合。套装核心仍是仅重39克的GO 3S,新增复古取景器、胶片风格滤镜、NFC定制外壳及可延长录制时长至76分钟的电池组。复古取景器模仿老式腰平相机设计,鼓励用户放慢节奏、专注构图。相机内置11种色彩预设及负片、正片等滤镜,同时保留FlowState防抖、4K拍摄及10米防水能力,面向热衷复古影像风格的年轻创作者。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。