电力是人工智能的关键原材料,但新的处理技术已经超出了数据中心运营商管理电网关系的能力,迫使他们将性能降低多达30%。
"这些AI工厂浪费了太多电力,"英伟达CEO黄仁勋在公司年度GTC客户大会的主题演讲中表示。"每一瓦特的浪费都是收入损失,"该公司在年度发布会上宣称。
今天,初创公司Niv-AI正式走出隐身模式,获得1200万美元种子轮融资,旨在通过精确测量GPU功耗的新型传感器和开发更高效的管理工具来解决这一问题。
这家位于特拉维夫的初创公司成立于去年,由CEO Tomer Timor和CTO Edward Kizis创立,得到了Glilot Capital、Grove Ventures、Arc VC、Encoded VC、Leap Forward和Aurora Capital Partners的支持。该公司拒绝透露其估值。
随着前沿实验室协同运行数千个GPU来训练和运行高级模型,当处理器在计算任务和与其他GPU通信之间切换时,会出现频繁的毫秒级功耗激增。
这些激增使数据中心难以管理从电网获取的电力。为了避免电力不足,数据中心需要为临时储能系统付费以应对激增,或者限制GPU使用。这两种情况都会降低对昂贵芯片投资的回报。
"我们不能继续以现在的方式建设数据中心,"Grove Ventures合伙人Lior Handlesman表示,他是Niv董事会成员。
Niv路线图的第一步是了解正在发生的情况;该公司目前正在部署机架级传感器,可以在毫秒级别检测其拥有的GPU以及设计合作伙伴GPU的功耗。目标是了解不同深度学习任务的具体功耗配置文件,并开发缓解技术,让数据中心能够释放更多现有容量。
自然而然,工程师们期望基于收集的数据构建一个AI模型,目标是训练它预测和同步整个数据中心的功耗负载——为数据中心工程师提供的"副驾驶"。
Niv预计在未来六到八个月内在美国的几个数据中心中拥有一套运营系统。这是一个有吸引力的想法,因为试图建设新数据中心的超大规模云服务商面临着困难的土地使用和供应链问题。创始人将他们的最终产品视为数据中心和电网之间缺失的"智能层"。
"电网实际上担心数据中心在特定时间消耗过多电力,"Timor告诉TechCrunch。"我们正在研究的问题是一个两端拉锯的问题。一方面是尝试帮助数据中心利用更多GPU,希望能更好地利用他们已经支付的电力。另一方面,你也可以在数据中心和电网之间创建更负责任的功耗配置文件。"
Q&A
Q1:Niv-AI是什么公司?它主要解决什么问题?
A:Niv-AI是一家总部位于特拉维夫的初创公司,专门解决数据中心GPU功耗管理问题。该公司开发新型传感器来精确测量GPU功耗,并提供管理工具提高能效,解决数据中心因功耗激增而被迫降低30%性能的问题。
Q2:数据中心为什么需要限制GPU性能?
A:当GPU在计算任务和通信之间切换时会出现毫秒级功耗激增,这使数据中心难以管理电网供电。为避免电力不足,数据中心要么支付临时储能费用,要么限制GPU使用,两种方式都降低了对昂贵芯片投资的回报。
Q3:Niv-AI的解决方案如何工作?
A:Niv-AI首先部署机架级传感器,在毫秒级别检测GPU功耗,了解不同深度学习任务的功耗配置。然后基于收集的数据构建AI模型,预测和同步整个数据中心的功耗负载,为数据中心工程师提供智能管理工具。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。