韩国芯片初创公司FuriosaAI推出了一款新的服务器产品,用于搭载该公司的AI推理半导体芯片。
NXT RNGD(读音为"renegade")服务器将搭载该公司的神经处理RNGD芯片。该公司表示,与GPU解决方案相比,其服务器在本地数据中心环境和私有云中将提供更高的效率和更低的成本。
在接受Data Center Knowledge采访时,FuriosaAI首席执行官June Paik表示,该公司希望通过开创一种结合开源和内部软件选项的一体化解决方案,在推理处理领域开辟一个细分市场。他说,该公司的目标客户是银行、金融、教育和电子商务行业,以及其他企业客户。
"目前市场被一家公司主导,"Paik说。"Nvidia相当占主导地位。有AMD和Intel等少数公司在努力追赶......有很多企业需要AI,我们需要一种新的方式来做这件事。我们的雄心是成为全球下一个领先的计算公司。"
**挑战巨头**
挑战Nvidia是一个艰难的任务。这家圣克拉拉硬件公司目前在AI训练和推理方面占据主导地位,尽管在推理方面面临更多竞争。FuriosaAI、xAI和Cerebras等初创公司正在通过专用硬件和定制芯片在推理空间取得进展。
Nvidia在推理方面也面临来自大型科技公司的竞争——Google正在使用定制的v4i TPU芯片,Amazon有其内部的Inferentia芯片。Intel、AMD和Qualcomm也在瞄准推理计算市场份额。
"推理有如此多的部署场景,我毫不怀疑FuriosaAI及其RNGD服务器将在市场中找到一席之地,"Moor Insights & Strategy副总裁兼首席分析师Matthew Kimball在邮件中表示。
Kimball说他期待看到来自这些服务器的更多基准测试结果。
该公司表示,NXT RNGD将提供384GB的HBM3内存,以12TB/s的内存带宽运行,总功耗为3kW,而高性能GPU服务器的功耗为10kW或更多。该设备搭载八块RNGD卡,提供4 petaflops的FP8(或4 petaflops的INT8)计算能力。
该公司声称,标准的15kW数据中心机架可以容纳多达五台NXT RNGD服务器,而Nvidia DGX服务器只能容纳一台。
**挑战CUDA霸主地位**
尽管成本较低,FuriosaAI和其他潜在的Nvidia竞争对手仍面临一个巨大的障碍。Nvidia的CUDA软件已经无处不在,为开发者提供了可靠且得到良好支持的解决方案。
Paik说,客户可能在训练工作负载上对CUDA产生了依赖,但在推理方面,"依赖性较小",他看到了FuriosaAI的机会。"我们的挑战是用我们自己的软件栈来替换这个CUDA引擎,"他说。"我们现在用自己的引擎做得相当好。"
FuriosaAI在7月宣布赢得了LG AI Research这一重要客户,后者将向企业客户提供RNGD驱动的服务器。今年早些时候,据报道FuriosaAI拒绝了Meta的8亿美元收购提议。Paik拒绝对这一报道进行评论。
该公司的全球客户目前正在对NXT RNGD服务器进行样品测试,该设备将于2026年初开始接受订购。
Q&A
Q1:FuriosaAI的NXT RNGD服务器有什么特点?
A:NXT RNGD服务器搭载FuriosaAI的神经处理RNGD芯片,提供384GB的HBM3内存,内存带宽12TB/s,总功耗仅3kW,远低于GPU服务器的10kW以上功耗。设备搭载八块RNGD卡,提供4 petaflops的计算能力,一个15kW机架可容纳五台该服务器。
Q2:FuriosaAI如何与Nvidia竞争?
A:FuriosaAI主要在AI推理领域挑战Nvidia,通过提供更高效率、更低成本的解决方案来开辟细分市场。虽然训练领域CUDA依赖性强,但在推理方面依赖性较小,为FuriosaAI提供了机会。该公司开发了自己的软件栈来替代CUDA引擎。
Q3:FuriosaAI的目标客户和市场前景如何?
A:该公司主要针对银行、金融、教育、电子商务等行业的企业客户。已赢得LG AI Research等重要客户,后者将向企业提供RNGD服务器。全球客户正在进行样品测试,产品将于2026年初正式接受订购。
好文章,需要你的鼓励
英国宠物慈善机构PDSA数据显示,超过半数宠物主担心无法承担兽医费用。科技公司正通过AI和物联网技术解决这一市场需求。在伦敦兽医展上,多家初创公司展示了创新技术:AI for Pet利用视觉AI分析宠物眼部、皮肤等图像提供健康洞察;Sylvester.ai开发AI模型识别猫咪疼痛表情;VEA整合患者数据自动化诊断。此外,智能项圈等物联网设备可追踪宠物健康症状。这些技术有助于宠物主采取预防措施,降低兽医费用。
蚂蚁集团等机构联合提出IGPO方法,解决多轮AI智能体训练中的奖励稀疏问题。该方法通过信息增益为每个交互轮次提供密集反馈,避免传统方法中的"优势坍塌"现象。在七个数据集上的实验表明,IGPO显著超越现有方法,平均提升4.8分,对小型模型改进尤为显著。该研究为多轮推理AI训练提供了新思路。
北欧国家启动统一人工智能产业计划,旨在通过合作在全球舞台上竞争,获得微软和谷歌支持。10月成立的新北欧AI中心获得350万英镑初始预算,但谷歌和微软是唯一提供资金支持的科技公司,具体金额保密。该中心将开发生成式AI系统并建设应用AI服务的系统。北欧教育部长承诺追加资金开发大型北欧语言生成AI模型。尽管资金有限,但北欧国家希望通过联合力量在AI竞赛中提升地位。
ETH苏黎世大学和Google联合开发的VIST3A技术,通过巧妙拼接视频生成模型和3D重建模型,实现了仅用文字描述就能生成高质量3D场景的突破。该技术采用模型拼接和直接奖励微调两大核心创新,在多个基准测试中显著超越现有方法,为3D内容创作的民主化开辟了新路径,有望推动游戏、教育、设计等领域的变革。