MaxKB+Ollama+DeepSeek本地部署

本地部署AI大模型

通过ollama部署本地AI大模型，Ollama是管理和部署大模型的一个工具，它可以帮助我们在本地更加方便并快速的部署和使用各种大模型

下面是我通过虚拟机CentOS7.9.2009版本进行演示

1、安装和配置Ollama 1.1 下载Ollama安装包

Ollama同时支持macOS、Linux和Windows操作系统

官网：Download Ollama on Linux

教程：快速入门 - Ollama 中文文档

Git官网：ollama/docs/linux.md at main · ollama/ollama · GitHub

1.1.1 Linux操作系统命令行安装 curl -fsSL ollama /install.sh | sh ​ # 如果安装不成功，可以开启VPN代理 export https_proxy=http://宿主机IP:port 1.1.2 Linux操作系统离线安装 # 安装前要注意查看自己的CPU是什么架构的 uname -m ​ # 使用curl下载 curl -L ollama /download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz ​ # 如果curl下载不了，可能要先VPN翻墙，可以通过宿主机的VPN实现翻墙 export https_proxy=http://宿主机的IP:port curl -L ollama /download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz ​ # 直接使用借助宿主机进行下载安装包，这是amd架构即x86 ollama /download/ollama-linux-amd64.tgz ​ # arm架构 ollama /download/ollama-linux-arm64.tgz ​ # 解压 sudo tar -C /usr/local/ollama -xzf ollama-linux-amd64.tgz 1.2 将ollama服务使用systemctl进行管理 cat << EOF | tee /usr/lib/systemd/system/ollama.service ​ [Unit] Description=Ollama Service After=network.target ​ [Service] Environment=OLLAMA_HOST=0.0.0.0:11434 ExecStart=/usr/local/ollama/bin/ollama serve Restart=on-failure User=root Group=root ​ [Install] WantedBy=multi-user.target ​ EOF ​ # 使用systemctl管理ollama服务 systemctl enable --now ollama systemctl status ollama 1.3 Ollama语法

可以从官网教程看到一些Ollama的用法，使用浏览器输入http://ip:11434，可以从浏览器中看到Ollama is running字样

ollama server：启动ollama服务，当然我现在已经使用systemctl管理

ollama list：查看下载的大模型

ollama pull llama3.2：下载AI大模型llama3.2

ollama rull llama3.2：下载AI大模型并运行

ollama rm llama3.2：删除大模型

ollama stop llama3.2：停止llama大模型

ollama ps：列出当前已加载的模型

/exit or /bye：退出模型对话框

配置大模型下载的路径：export OLLAMA_MODELS=/models

2、安装和配置UI界面

我这里使用docker直接去安装图形化UI界面，我已两个流行的AI web界面为例

2.1 MaxKB

基于大语言模型和RAG的知识库问答系统，操作系统支持：Ubuntu 22.04 / CentOS 7.6 64 位系统，所以要其他操作系统要借助Docker进行安装

官网：MaxKB - 基于大模型和 RAG 的知识库问答系统 - 官网

# Linux 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud /1panel/maxkb ​ # Windows 操作系统 docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud /1panel/maxkb

这个过程需要的时间相对较长，需要耐心等待

访问

通过浏览器http://ip:8080进行访问

用户名：admin，密码：MaxKB@123..

2.2 Open Web UI

官网：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

# 如果ollama部署到当前虚拟机中 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main ​ # 如果ollama部署到其他要制定ollama网址 docker run -d -p 3000:8080 -e OLLAMA_BASE_URL= example -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main 3、使其可以在公网上访问

要实现该功能，可以借助内网穿透工具，可以使用ngrok工具，当然也可以使用frp（部署可能比较复杂，需要借助有公网IP的服务器），可以在我笔记中的notepad/linux_file/config_language/frp_configure.md文件中看到