【大语言模型_4】源码编译vllm框架cpu版

背景：

       通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因此需要本地编译。

系统环境        操作系统：UOS1070e

       python版本：3.10

编译步骤       一、安装gcc/g++/cmake

       1、下载源码： github /vllm-project/vllm

  安装环境准备

        1、gcc/g++ 安装版本要求12.0版本及以上

        2、 cmake版本要求3.26及以上

        因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装

        1、gcc/g++源码安装：【运维】UOS1070e操作系统源码编译gcc-CSDN博客

        2、cmake源码安装：【运维】源码编译安装cmake-CSDN博客    

      二、安装numctl-devel yum install numactl-devel # 备注 根据官方提供需要安装apt-get install libnuma-dev 对于基于 Red Hat 的系统（如 CentOS 和 Fedora），NUMA 相关的开发库通常包含在 numactl-devel 软件包中，而不是 libnuma-devel。选择安装 numactl-devel即可 三、pip下载依赖项 pip install --upgrade pip pip install "cmake>=3.26" wheel packaging ninja "setuptools-scm>=8" numpy # 进入vllm源码根目录 pip install -v -r requirements-cpu.txt --extra-index-url download.pytorch.org/whl/cpu  四、源码开始编译vllm VLLM_TARGET_DEVICE=cpu python setup.py install 错误排查：

1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误

解决方法：安装torchvisioncpu版本

下载路径： download.pytorch.org/whl/torchvision

参考链接：

1、本地vllm部署DeepSeek，但CPU： zhuanlan.zhihu /p/22968294287

2、报错，operator torchvision::nms does not exist： download.csdn.net/blog/column/7248164/143227045

3、vllm中文网站：安装 | vLLM 中文站