韩国芯片初创公司FuriosaAI推出了一款新的服务器产品,用于搭载该公司的AI推理半导体芯片。
NXT RNGD(读音为"renegade")服务器将搭载该公司的神经处理RNGD芯片。该公司表示,与GPU解决方案相比,其服务器在本地数据中心环境和私有云中将提供更高的效率和更低的成本。
在接受Data Center Knowledge采访时,FuriosaAI首席执行官June Paik表示,该公司希望通过开创一种结合开源和内部软件选项的一体化解决方案,在推理处理领域开辟一个细分市场。他说,该公司的目标客户是银行、金融、教育和电子商务行业,以及其他企业客户。
"目前市场被一家公司主导,"Paik说。"Nvidia相当占主导地位。有AMD和Intel等少数公司在努力追赶......有很多企业需要AI,我们需要一种新的方式来做这件事。我们的雄心是成为全球下一个领先的计算公司。"
**挑战巨头**
挑战Nvidia是一个艰难的任务。这家圣克拉拉硬件公司目前在AI训练和推理方面占据主导地位,尽管在推理方面面临更多竞争。FuriosaAI、xAI和Cerebras等初创公司正在通过专用硬件和定制芯片在推理空间取得进展。
Nvidia在推理方面也面临来自大型科技公司的竞争——Google正在使用定制的v4i TPU芯片,Amazon有其内部的Inferentia芯片。Intel、AMD和Qualcomm也在瞄准推理计算市场份额。
"推理有如此多的部署场景,我毫不怀疑FuriosaAI及其RNGD服务器将在市场中找到一席之地,"Moor Insights & Strategy副总裁兼首席分析师Matthew Kimball在邮件中表示。
Kimball说他期待看到来自这些服务器的更多基准测试结果。
该公司表示,NXT RNGD将提供384GB的HBM3内存,以12TB/s的内存带宽运行,总功耗为3kW,而高性能GPU服务器的功耗为10kW或更多。该设备搭载八块RNGD卡,提供4 petaflops的FP8(或4 petaflops的INT8)计算能力。
该公司声称,标准的15kW数据中心机架可以容纳多达五台NXT RNGD服务器,而Nvidia DGX服务器只能容纳一台。
**挑战CUDA霸主地位**
尽管成本较低,FuriosaAI和其他潜在的Nvidia竞争对手仍面临一个巨大的障碍。Nvidia的CUDA软件已经无处不在,为开发者提供了可靠且得到良好支持的解决方案。
Paik说,客户可能在训练工作负载上对CUDA产生了依赖,但在推理方面,"依赖性较小",他看到了FuriosaAI的机会。"我们的挑战是用我们自己的软件栈来替换这个CUDA引擎,"他说。"我们现在用自己的引擎做得相当好。"
FuriosaAI在7月宣布赢得了LG AI Research这一重要客户,后者将向企业客户提供RNGD驱动的服务器。今年早些时候,据报道FuriosaAI拒绝了Meta的8亿美元收购提议。Paik拒绝对这一报道进行评论。
该公司的全球客户目前正在对NXT RNGD服务器进行样品测试,该设备将于2026年初开始接受订购。
Q&A
Q1:FuriosaAI的NXT RNGD服务器有什么特点?
A:NXT RNGD服务器搭载FuriosaAI的神经处理RNGD芯片,提供384GB的HBM3内存,内存带宽12TB/s,总功耗仅3kW,远低于GPU服务器的10kW以上功耗。设备搭载八块RNGD卡,提供4 petaflops的计算能力,一个15kW机架可容纳五台该服务器。
Q2:FuriosaAI如何与Nvidia竞争?
A:FuriosaAI主要在AI推理领域挑战Nvidia,通过提供更高效率、更低成本的解决方案来开辟细分市场。虽然训练领域CUDA依赖性强,但在推理方面依赖性较小,为FuriosaAI提供了机会。该公司开发了自己的软件栈来替代CUDA引擎。
Q3:FuriosaAI的目标客户和市场前景如何?
A:该公司主要针对银行、金融、教育、电子商务等行业的企业客户。已赢得LG AI Research等重要客户,后者将向企业提供RNGD服务器。全球客户正在进行样品测试,产品将于2026年初正式接受订购。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。