红帽5月19日宣布推出红帽 AI 推理服务器,该服务器使企业能够更快、更高效地运行生成式 AI 应用。
本周在波士顿举行的红帽峰会上发布的这款全新 AI 推理服务器软件,基于开源 vLLM project 开发,并融合了红帽近期收购初创公司 Neural Magic 的技术成果。
该服务器具备对训练好的 AI 模型进行压缩的工具,从而使模型运行更加高效。公司表示,它还更高效地利用处理器内存,能够在混合云环境中实现更快的推理速度。
业内分析师认为,红帽的这一举措表明,AI 加速不仅依靠高速处理器,还需要经过优化的软件支持。
IDC 全球研究集团副总裁 Rick Villars 对 Data Center Knowledge 表示:“AI 对计算系统的压力很大,随着 AI 代理的出现,未来这种压力会更大。红帽的意思是,他们希望帮助你优化投资。
“从模型构建到将其嵌入到业务流程或客户体验中,他们将在软件层面竭尽全力确保你能获得最佳性能。”
优化后的 AI 模型
红帽 AI 推理服务器能够加速推理过程,这意味着它不仅能更快速地响应生成式 AI 模型,还能同时处理更多用户请求而无需额外硬件,红帽表示。
该软件通过像更好的内存管理和持续批量处理等技术,优化了 GPU 的使用。红帽一位发言人称,这项技术可以优化 AMD 和 Nvidia GPU、Intel 的 Gaudi AI 加速器以及 Google TPU。
此外,AI 推理服务器还可用于优化 AI 模型,例如 DeepSeek、Google 的 Gemma、Meta 的开源 Llama、Mistral、Microsoft 的 Phi 及其他大语言模型。
红帽表示,会在 Hugging Face 平台上提供经过验证和优化的 AI 模型。
红帽高级副总裁兼 AI 首席技术官 Brian Stevens 在媒体简报会上表示:“基于 vLLM 运行的预优化模型通常能实现两到四倍的 Token 产出 —— 即拥有更高的效率。”
Stevens 补充道,在 vLLM 两年前推出之前,推理服务器选项十分有限,唯有 Nvidia 在其软件堆栈中提供了一个解决方案。而如今,由于其易用性、能够运行 Hugging Face 上的模型、兼容 OpenAI 接口以及支持多种 AI 加速器,vLLM 已获得广泛认可。
红帽此次推出的 AI 推理服务器即是 vLLM 的实现,可作为独立的容器化产品部署,同时也能整合至红帽的 AI 软件产品组合中。其中包括为 AI 定制的开源操作系统版本 Red Hat Enterprise Linux AI 以及基于 Kubernetes 的容器化环境中构建和部署 AI 应用的平台 Red Hat OpenShift AI,无论是在本地还是云端均可使用。
虚拟化市场增长
在本周的红帽峰会上,红帽高管透露,自 2024 年以来,Red Hat OpenShift Virtualization 部署数量已增长超过 150%。
为吸引更多虚拟化客户,红帽表示,Google Cloud、Microsoft Azure 以及 Oracle Cloud Infrastructure 正在以技术预览或公开预览的形式推出 Red Hat OpenShift Virtualization。
此外,红帽还宣布,其虚拟化软件现已在 Amazon Web Services ( AWS ) 和 IBM Cloud 上全面推出。
红帽混合云平台副总裁兼总经理 Mike Barrett 在媒体简报会上表示:“客户在选择下一代虚拟化平台时,往往会根据他们的基础设施选择而定,因此我们必须真正精炼和构建与各大云提供商之间的合作关系。”
IDC 软件开发、 DevOps 和 DevSecOps 项目副总裁 Jim Mercer 指出,红帽在改善其虚拟化软件方面投入了大量精力。虽然该公司并未明确表示其产品在所有功能上与竞争对手 Broadcom 完全匹配,但红帽暗示,其产品已具备客户所需求的大部分主流虚拟化功能。
Mercer 表示:“很多使用 Red Hat OpenShift 的客户同时也在使用 VMware vSphere,因此红帽已经占据了一定的市场份额。红帽正试图利用大家对其作为一个优秀合作伙伴的认可,来协助客户实现迁移,并尽可能让迁移过程变得轻松。”
在红帽峰会上,公司还宣布了以下内容:
Red Hat Enterprise Linux 10。该新操作系统现已上市,新增的安全功能可防范未来量子计算机可能发起的攻击。其“镜像模式”功能允许操作系统作为可启动的容器镜像进行部署。通过对操作系统和应用程序进行容器化,企业可以利用统一、标准化的工具和工作流程来简化管理。
全新的 llm-d 开源社区以扩展推理能力。红帽宣布成立 llm-d 社区,其目标是利用 vLLM 并通过分布式方法扩展推理能力。创始贡献者包括 CoreWeave、Google、IBM Research 以及 Nvidia。其他成员还包括 AMD、Cisco、Intel、Lambda 和 Mistral AI。
Lightspeed 生成式 AI 助手。为应对技能差距问题,红帽在 Enterprise Linux 10 中推出 Lightspeed,使 IT 管理员可以借助自然语言来获得从故障排除常见问题到管理复杂环境等方面的帮助。红帽计划于六月发布 OpenShift Lightspeed —— 一款用于管理和故障排除 OpenShift 环境的生成式 AI 助手。
红帽高级开发者套件。红帽宣布推出高级开发者套件,该套件结合了平台工程工具和安全能力。
好文章,需要你的鼓励
数据分析平台公司Databricks完成10亿美元K轮融资,公司估值超过1000亿美元,累计融资总额超过200亿美元。公司第二季度收入运营率达到40亿美元,同比增长50%,AI产品收入运营率超过10亿美元。超过650家客户年消费超过100万美元,净收入留存率超过140%。资金将用于扩展Agent Bricks和Lakebase业务及全球扩张。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
医疗信息管理平台Predoc宣布获得3000万美元新融资,用于扩大运营规模并在肿瘤科、研究网络和虚拟医疗提供商中推广应用。该公司成立于2022年,利用人工智能技术提供端到端平台服务,自动化病历检索并整合为可操作的临床洞察。平台可实现病历检索速度提升75%,临床审查时间减少70%,旨在增强而非替代临床判断。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。