近日,国际权威AI性能基准评测平台MLPerf发布最新推理(Inference v1.1)测试成绩。宁畅X620 G40、X640 G40人工智能服务器,在closed(封闭)赛段的3D-UNet99、ResNet-50与SSD-large等模型测试中,共取得21项第一成绩。
MLPerf基准测试在国际AI领域有极高知名度,其基准联盟已有Intel、NVIDIA、微软等超50家成员。
AI服务器2U推理“冠军”诞生
美国太平洋时间9月22日10点,采用最新InferenceV1.1标准的MLPerf 推理测试成绩发布,总计超过10家国际知名服务器厂商的数十种产品参与了本次测试。
搭载8颗NVIDIA® A10 Tensor Core GPU宁畅X620 G40分别以3D-UNet99模型高低精度 179;ResNet-50离线模型97016;SSD-large在线、离线模型2500、2051的测试分数,取得2U人工智能服务器的五项第一成绩,成为本次测试中获得第一成绩最多的2U高度AI服务器。
第一成绩背后是宁畅X620 G40每秒可完成170余次三维医学图像分割推理,且精度高达99.9%;以及每秒完成近10万张各类事物图像的海量识别推理;SSD-large得分代表了离线场景下每秒可完成2500张图片中信息的分类、定位与精准检测,在线场景下每秒可应答2000余次实时目标检测的推理任务。
X620 G40作为一款2U高度人工智能服务器,支持PCIe4.0高速总线技术,适配NVIDIA® A10 / NVIDIA A30等各类GPU加速卡,是理想AI推理计算平台,同时还可胜任桌面虚拟化、云游戏和视频流转码等多IT行业用途需求,在边缘计算等应用场景X620 G40可充分支持客户多元计算需求,提供强大算力支撑。
此外,X620 G40还具备关键部件健康状态监控和上报功能,可以为数据中心运维保驾护航,其绿色节能设计、高效节能智能调速,尤其针对GPU的不同运行特性和环境提供优化超频、功耗平衡、绿色节能等多种工作模式,以达到服务器的智能管理、绿色节能。
多卡性能强劲,获16项第一成绩
除X620 G40外,搭载10颗NVIDIA® A30 Tensor Core GPU的宁畅X640 G40人工智能服务器,相比较其他搭载8颗NVIDIA® A30 GPU的产品,不仅整体AI性能取得全部16个推理模型第一成绩,平均单卡性能也取得12个模型的最好成绩。
宁畅X640 G40人工智能服务器兼备训练与推理功能,搭载高速互联芯片加速AI开发,支持多种不同的GPU拓扑结构,针对不同的应用场景和训练模型进行GPU互联优化,释放全部潜在算力。
值得一提的,自2020年以来至今,宁畅AI服务器在参加的三次MLPerf推理与训练测试中,已取得了53项第一成绩,并曾打破AI服务器世界性能纪录。
目前,宁畅X620 G40、X640 G40人工智能服务器已通过“NVIDIA-Certified Servers”认证,在满足常规AI推理、在线推荐系统需求的同时,还能针对如对话式人工智能等要求更高的工作负载,搭建GPU高速集群。
作为智能算力定制专家,宁畅核心团队成员专注服务器研发、生产已有15年之久,拥近百万台服务器生产部署经验,可为用户提供全栈服务器定制化服务。在公司创立的2020年便已有近千家企业、用户采购宁畅服务器产品,收到定制咨询350余次,累计落地服务器定制方案170项。
如今,宁畅用户已覆盖互联网、金融、电信等数十个行业,出货量数以万计,国内互联网行业头部企业均已与宁畅达成采购协议,借助定制化的人工智能服务器产品,深耕云计算、无人驾驶、搜索引擎、社交媒体等领域。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。