凭借卓越性能表现与先天开源优势,DeepSeek正迅速成为全球扩展大模型应用实践的一大“圆心”。作为英特尔在GPU领域的重要布局,英特尔锐炫™显卡既是游戏党与视频生产力工作者的新欢,也可用作计算卡,对DeepSeek提供加速支持,为企业用户部署相关AI应用提供一条全新的高价性比实现路径。具体来说,就是与英特尔®至强®可扩展处理器或英特尔®至强®W处理器搭配,以多卡配置的型态来运行和加速DeepSeek推理任务。
本文将在DeepSeek-R1- Distill-Qwen-32B推理场景下,以面向企业级应用且成本最低可控制在5-6万元人民币的4路英特尔锐炫™A770显卡 + 至强®W处理器的解决方案为例,详细阐述搭建硬件环境、配置驱动与软件、优化参数设置等步骤,手把手教大家部署和配置这一方案。
1、软硬件安装配置与初始化
1.1 硬件安装配置
图. 安装4路英特尔锐炫™ A770显卡的AI工作站
在BIOS设置中,将Re-Size BAR Support设为[Enabled]
1.2 软件安装配置
安装操作系统04.1 LTS(镜像文件可访问https://old-releases.ubuntu.com/releases/22.04.1/ubuntu-22.04.1-desktop-amd64.iso获取)。
~$ lspci | grep 56a0
18:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
36:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
54:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
cc:00.0 VGA compatible controller: Intel Corporation Device 56a0 (rev 08)
~$ wget -qO - https://repositories.intel.com/gpu/intel-graphics.key | sudo gpg --yes --dearmor --output /usr/share/keyrings/intel-graphics.gpg
~$ echo "deb [arch=amd64,i386 signed-by=/usr/share/keyrings/intel-graphics.gpg] https://repositories.intel.com/gpu/ubuntu jammy/lts/2350 unified" | sudo tee /etc/apt/sources.list.d/intel-gpu-jammy.list
~$ sudo apt update
~$ sudo apt-get install -y linux-image-6.5.0-35-generic linux-headers-6.5.0-35-generic linux-modules-6.5.0-35-generic linux-modules-extra-6.5.0-35-generic
~$ sudo apt install intel-i915-dkms
~$ sudo vim /etc/default/grub
GRUB_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 6.5.0-35-generic"
~$ sudo update-grub
~$ sudo reboot
~$ sudo apt install -y intel-opencl-icd intel-level-zero-gpu level-zero intel-media-va-driver-non-free libmfx1 libmfxgen1 libvpl2 libegl-mesa0 libegl1-mesa libegl1-mesa-dev libgbm1 libgl1-mesa-dev libgl1-mesa-dri libglapi-mesa libgles2-mesa-dev libglx-mesa0 libigdgmm12 libxatracker2 mesa-va-drivers mesa-vdpau-drivers mesa-vulkan-drivers va-driver-all vainfo hwinfo clinfo
~$ sudo gpasswd -a $(USER) render
~$ sudo newgrp render
~$ clinfo | grep "Driver Version"
Driver Version 23.43.27642.67
1.3 在英特尔® 至强® W平台上设置
~$ sudo vim /etc/modprobe.d/blacklist.conf
~$ sudo update-initramfs -u
~$ sudo vim /etc/gdm3/custom.conf
]# sudo update-initramfs -u
~$ sudo reboot
1.4 监控工具xpu-smi安装
~$ wget https://github.com/intel/xpumanager/releases/download/V1.2.27/xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb --no-check-certificate
~$ sudo apt install ./xpu-smi_1.2.27_20240103.051106.5eeb3f13.u22.04_amd64.deb
~$ xpu-smi discovery
2、大模型服务与聊天机器人演示
2.1 容器(Docker)安装及服务设置
~$ apt-get install linux-tools-6.5.0-35-generic linux-cloud-tools-6.5.0-35-generic
# Query max turbo frequency, like W3445, Max Turbo Frequency is 4.8GHz:
~$ sudo cpupower frequency-set -d 4.8GHz
~$ sudo xpu-smi config -d 0 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 1 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 2 -t 0 --frequencyrange 2400,2400
~$ sudo xpu-smi config -d 3 -t 0 --frequencyrange 2400,2400
2.2 安装并启动vLLM服务
~$ docker pull intelanalytics/ipex-llm-serving-xpu:2.2.0-b11
~$ sudo bash backend-ipex-docker.sh
~$ docker exec -it ipex-llm-b11 bash
~$ cd workspace & bash vllm-deepseek-r1-distill-qwen-32b-openaikey.sh
2.3 使用Chatbox AI进行性能测试
User> ssh -L 8001:localhost:8001 worker@192.168.10.110
创新不止步:全新24GB锐炫™ 显卡与满血版DeepSeek R1方案正在路上
本部署指南虽然是围绕4路英特尔锐炫™ A770显卡的方案展开,且以DeepSeek-R1-Distill-Qwen-32B版为例,但我们的实践探索并未局限于此。
一方面,该解决方案可对DeepSeek各个蒸馏版提供同样灵活的支持。使用者可通过调整输入模型名称,以及设定并行使用的显卡数量来进行调整(使用--tensor-parallel-size参数来控制)。
另一方面,多路英特尔锐炫™显卡 + 英特尔®至强®可扩展处理器 /至强®W处理器方案的关键目标,还是锁定在DeepSeek- R1-671B这一性能巅峰版本上,其配置与优化方法很快就会与大家见面。预计其技术路径会同时覆盖基于KTransformer,能更充分发挥至强® 处理器内置AI加速技术AMX潜能的方案,以及GPU配置密度更高的单机16路英特尔锐炫™ 显卡的方案。
另一个值得期待的进展,就是专为生产力应用打造的新一代英特尔锐炫™显卡 B580 24G显存版本也正向我们走来,其4张卡即可提供96GB的显存容量,意味着用户可在单机中更轻松地部署更大参数量的DeepSeek服务(例如DeepSeek- R1-671B版本),进而能在实战中以较低的成本和较为便捷的部署方式,开启不缩水的DeepSeek服务。
好文章,需要你的鼓励
AI正在彻底改变营销行业。IDC预测到2028年,五分之三的营销功能将由AI处理。传统搜索引擎优化正被"生成式引擎优化"取代,品牌需要在AI回答中被提及而非仅仅排名靠前。AI代理将实现自主商务交易,营销、销售和客服边界正在消失。78%的营销人员预计三年内四分之一的工作将被自动化。品牌实力和第一方数据成为关键资产,企业必须重新构想AI中介世界中的客户关系。
布朗大学研究团队开发AssertBench测试工具,首次系统评估AI在面对用户错误引导时的坚持能力。通过对比AI在正面、负面用户框架下的反应差异,研究发现多数模型存在"讨好倾向",容易为迎合用户而放弃正确判断。研究还发现知识不足的AI反而更固执的悖论现象,为AI训练和应用提供重要启示。
HPE在2025年Discover大会上发布GreenLake Intelligence代理式AI框架,将AI代理集成到网络、存储管理等各个系统中。虽然被称为"自主式",但仍需人工监督决策。HPE高管表示,在明确定义的单一领域内AI代理已实现自主运行,但企业全面自主化仍需时间。此外,HPE还发布支持英伟达Blackwell GPU的新硬件系统,扩大AI工厂联盟合作。
UC圣地亚哥和西蒙弗雷泽大学联合开发了GMT系统,这是首个能让机器人掌握多种人类动作的通用控制器。通过自适应采样和专家混合架构,单一系统可同时处理走路、跳舞、武术等复杂技能,在真实机器人上展现出卓越的稳定性和流畅性,为通用人形机器人的实现迈出关键一步。