英特尔第一时间支持混元Hy3， 至强6适配优化已就位

7 月6 日，腾讯新一代自研通用多模态大模型混元Hy3正式发布并开源。相比preview版本，它展现出显著强于同尺寸模型且比肩（参数规模2—5倍的）旗舰模型的智能水平，不仅延续了清晰陡峭的能力增长曲线，并且通过进一步提升后训练的算力规模以及数据质量和多样性，在各类任务上再次跃升，以较小尺寸首次比肩国内外大尺寸旗舰模型的效果。英特尔作为混元模型在算力平台领域的重要合作伙伴，也在第一时间完成了Hy3在至强6处理器与Gaudi 2E AI 加速器平台上的适配与优化, 以实际行动来加速优质开源大模型在产业应用中的快速落地。

此次英特尔对Hy3的快速支持与适配优化，包含了针对该模型中多个关键组件与算子的优化，这让至强6处理器平台能够通过充分释放其内置的英特尔AMX（高级矩阵扩展）技术的潜能，为该模型提供更为高效且强劲的推理加速支撑，进而可在推荐配置下，仅使用单台至强6服务器即可部署总参数295B、BF16精度的满血版 Hy3模型。 

至强6平台部署方案

目前，英特尔已在 SGLang 主分支完成针对 Hy3 与至强6处理器硬件特性的专属优化，以最大化发挥这款处理器平台的算力与带宽优势。按照以下步骤，即可完成该模型在至强6平台上的安装与适配：

平台推荐配置：搭载两颗至强6性能核处理器，推荐选用 6978P（120 核）或 6980P（128 核）型号，每颗处理器均需配置为 SNC3 模式，整个平台建议搭配 1TB或以上容量的内存。

• 安装指南参考：https://docs.sglang.io/platforms/cpu_server.html#installation
• 至强® 服务器server启动指南参考：

https://docs.sglang.io/platforms/cpu_server.html#launch-of-the-serving-engine

#启动server命令python -m -sglang.launch_server --model-path HY-3.0_ID --dtype bfloat16 --trust-remote-code --device cpu --disable-overlap-schedule --tp 6

值得一提的是，如果想获得更好的解码性能，可以在server 启动命令中增加 "--enable-torch-compile"。

Gaudi® 2E AI 加速器平台部署方案

英特尔Gaudi 2E AI加速器对Hy3的支持和适配也已就绪，在仅使用单节点4卡高速互联的情况下即可完成该模型的部署与应用，为用户带来更高的灵活性及更低的部署和应用门槛。

按照以下步骤，既可完成Hy3模型在Gaudi 2E AI加速器上的部署：

平台推荐配置：单节点适配方式需要安装至少4块Gaudi 2E PCIe加速卡，基于单卡96GB HBM的配置实现4卡384GB的HBM总容量。

• Gaudi 2E AI加速器针对Hy3的技术资源，现已上传至Github：

https://github.com/HabanaAI/vllm-fork/tree/aice/v1.22.0

• 按照下述步骤操作，即可安装上述链接中提供的vllm-fork及vllm-hpu-extension库：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#10-%E7%8E%AF%E5%A2%83%E9%83%A8%E7%BD%B2
• 再按照下述步骤，用下载得到的Hy3 FP8模型权重目录, 进行转换后即可部署使用该模型：https://github.com/HabanaAI/vllm-fork/blob/aice/v1.22.0/scripts/docs/vllm%E6%8E%A8%E7%90%86%E6%89%8B%E5%86%8C.md#384-fp8%E7%B2%BE%E5%BA%A6%E6%A8%A1%E5%9E%8B%E9%83%A8%E7%BD%B2