红帽5月19日宣布推出红帽 AI 推理服务器,该服务器使企业能够更快、更高效地运行生成式 AI 应用。
本周在波士顿举行的红帽峰会上发布的这款全新 AI 推理服务器软件,基于开源 vLLM project 开发,并融合了红帽近期收购初创公司 Neural Magic 的技术成果。
该服务器具备对训练好的 AI 模型进行压缩的工具,从而使模型运行更加高效。公司表示,它还更高效地利用处理器内存,能够在混合云环境中实现更快的推理速度。
业内分析师认为,红帽的这一举措表明,AI 加速不仅依靠高速处理器,还需要经过优化的软件支持。
IDC 全球研究集团副总裁 Rick Villars 对 Data Center Knowledge 表示:“AI 对计算系统的压力很大,随着 AI 代理的出现,未来这种压力会更大。红帽的意思是,他们希望帮助你优化投资。
“从模型构建到将其嵌入到业务流程或客户体验中,他们将在软件层面竭尽全力确保你能获得最佳性能。”
优化后的 AI 模型
红帽 AI 推理服务器能够加速推理过程,这意味着它不仅能更快速地响应生成式 AI 模型,还能同时处理更多用户请求而无需额外硬件,红帽表示。
该软件通过像更好的内存管理和持续批量处理等技术,优化了 GPU 的使用。红帽一位发言人称,这项技术可以优化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。
此外,AI 推理服务器还可用于优化 AI 模型,例如 DeepSeek、Google 的 Gemma、Meta 的开源 Llama、Mistral、Microsoft 的 Phi 及其他大语言模型。
红帽表示,会在 Hugging Face 平台上提供经过验证和优化的 AI 模型。
红帽高级副总裁兼 AI 首席技术官 Brian Stevens 在媒体简报会上表示:“基于 vLLM 运行的预优化模型通常能实现两到四倍的 Token 产出 —— 即拥有更高的效率。”
Stevens 补充道,在 vLLM 两年前推出之前,推理服务器选项十分有限,唯有 Nvidia 在其软件堆栈中提供了一个解决方案。而如今,由于其易用性、能够运行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多种 AI 加速器,vLLM 已获得广泛认可。
红帽此次推出的 AI 推理服务器即是 vLLM 的实现,可作为独立的容器化产品部署,同时也能整合至红帽的 AI 软件产品组合中。其中包括为 AI 定制的开源操作系统版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化环境中构建和部署 AI 应用的平台 Red Hat OpenShift AI,无论是在本地还是云端均可使用。
虚拟化市场增长
在本周的红帽峰会上,红帽高管透露,自 2024 年以来,Red Hat OpenShift Virtualization 部署数量已增长超过 150%。
为吸引更多虚拟化客户,红帽表示,Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技术预览或公开预览的形式推出 Red Hat OpenShift Virtualization。
此外,红帽还宣布,其虚拟化软件现已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。
红帽混合云平台副总裁兼总经理 Mike Barrett 在媒体简报会上表示:“客户在选择下一代虚拟化平台时,往往会根据他们的基础设施选择而定,因此我们必须真正精炼和构建与各大云提供商之间的合作关系。”
IDC 软件开发、 DevOps 和 DevSecOps 项目副总裁 Jim Mercer 指出,红帽在改善其虚拟化软件方面投入了大量精力。虽然该公司并未明确表示其产品在所有功能上与竞争对手 Broadcom 完全匹配,但红帽暗示,其产品已具备客户所需求的大部分主流虚拟化功能。
Mercer 表示:“很多使用 Red Hat OpenShift 的客户同时也在使用 VMware vSphere,因此红帽已经占据了一定的市场份额。红帽正试图利用大家对其作为一个优秀合作伙伴的认可,来协助客户实现迁移,并尽可能让迁移过程变得轻松。”
在红帽峰会上,公司还宣布了以下内容:
Red Hat Enterprise Linux 10。该新操作系统现已上市,新增的安全功能可防范未来量子计算机可能发起的攻击。其“镜像模式”功能允许操作系统作为可启动的容器镜像进行部署。通过对操作系统和应用程序进行容器化,企业可以利用统一、标准化的工具和工作流程来简化管理。
全新的 llm-d 开源社区以扩展推理能力。红帽宣布成立 llm-d 社区,其目标是利用 vLLM 并通过分布式方法扩展推理能力。创始贡献者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成员还包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。
Lightspeed 生成式 AI 助手。为应对技能差距问题,红帽在 Enterprise Linux 10 中推出 Lightspeed,使 IT 管理员可以借助自然语言来获得从故障排除常见问题到管理复杂环境等方面的帮助。红帽计划于六月发布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 环境的生成式 AI 助手。
红帽高级开发者套件。红帽宣布推出高级开发者套件,该套件结合了平台工程工具和安全能力。
好文章,需要你的鼓励
DDN推出Infinia对象存储系统,采用键值存储架构和Beta Epsilon树数据结构,实现读写性能平衡。系统在对象列表性能上比AWS快100倍,延迟降至毫秒级,支持多租户和SLA管理。通过与英伟达合作优化RAG管道,在AWS上实现22倍性能提升并降低60%成本。
大连理工大学和浙江大学研究团队提出MoR(Mixture of Reasoning)方法,通过将多种推理策略嵌入AI模型参数中,让AI能自主选择最适合的思考方式,无需人工设计专门提示词。该方法包含思维生成和数据集构建两阶段,实验显示MoR150模型性能显著提升,比基线模型提高2.2%-13.5%,为AI推理能力发展开辟新路径。
Alpine Linux核心开发者Ariadne Conill推出了Wayback项目,这是一个实验性的X兼容层,允许使用Wayland组件运行完整的X桌面环境。该项目本质上是一个提供足够Wayland功能来托管rootful Xwayland服务器的存根合成器。与现有的XWayland不同,Wayback旨在创建一个类似X11风格的基于Wayland的显示服务器,让用户能够继续使用传统的X11窗口管理器和桌面环境,而无需重写或替换这些熟悉的工具。
剑桥大学研究团队开发了FreNBRDF技术,通过引入频率修正机制显著提升了计算机材质建模的精度。该技术采用球面谐波分析提取材质频率信息,结合自动编码器架构实现高质量材质重建与编辑。实验表明,FreNBRDF在多项指标上超越现有方法,特别在频率一致性方面改善近30倍,为游戏开发、影视制作、电商预览等领域提供了重要技术支撑。