主页 > 创业  > 

本地部署DeepSeekR1+界面可视化open-webui【ollama容器+open-webui容器】

本地部署DeepSeekR1+界面可视化open-webui【ollama容器+open-webui容器】
本地部署DeepSeek R1 + 界面可视化open-webui

本文主要讲述如何用ollama镜像和open-webui镜像部署DeepSeek R1, 镜像比较方便我们在各个机器之间快速部署。

显卡推荐 模型版本CPU内存GPU显卡推荐1.5B4核+8GB+非必需4GB+RTX1650、RTX20607B、8B8核+16GB+8GB+RTX3070、RTX406014B12核+32GB+16GB+RTX4090、RTX508032B16核+64GB+24GB+A100 40GB70B32核+128GB+多卡2×A100 80GB671B64核+512GB+多卡8×A100/H100

以上配置仅供参考

安裝部署ollama镜像

进入 ollama镜像官网 | hub.docker /r/ollama/ollama,选择Download 镜像是部署在ubuntu系统上的,请确保已经安装好docker和NVIDIA Container Toolkit等系统环境。

拉取启动镜像

创建一个目录,用来保存ollama下载下来的模型

mkdir -p ollama/data cd ollama/

只有CPU的情况下:

sudo docker run -d -v ./data:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

有GPU的情况下:

sudo docker run -d --gpus=all -v ./data:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

制作成docker-compose 文件管理镜像

version: '3.8' services: ollama: image: ollama/ollama container_name: ollama restart: always volumes: - ./data:/root/.ollama ports: - "11434:11434" 安裝部署open-webui镜像 Open WebUI GithubOpen WebUI Document echo 'export OLLAMA_HOST=0.0.0.0' >> ~/.bashrc source ~/.bashrc 拉取并启动镜像 启动 docker会先拉取镜像,再启动 sudo docker run --network=host -v /work/open-webui/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

制作成docker-compose 文件管理镜像

version: '3.8' services: open-webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui restart: always network_mode: host volumes: - /work/open-webui/open-webui:/app/backend/data environment: - OLLAMA_BASE_URL=http://127.0.0.1:11434 # Optionally add ports or other configurations if needed ports: - "8080:8080"

启动镜像

sudo docker-compose up

进入设置界面,配置ollama服务地址 链接过程中遇到故障 服务器连接问题

下载模型

进入到 open-webui的主页,点击 + 号,添加模型 搜索模型,输入deepseek-r1:32b,或其他版本的模型,下载模型需要等待,请耐心等待模型下载完整。

开始进入搜嘎模型:

END


标签:

本地部署DeepSeekR1+界面可视化open-webui【ollama容器+open-webui容器】由讯客互联创业栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“本地部署DeepSeekR1+界面可视化open-webui【ollama容器+open-webui容器】