在UBUNTU下搭建Deepseek

在UBUNTU下搭建Deepseek 一、安装UBUNTU

这个就不多说了，无外乎下载UBUNTU的iso，然后用UltraIso制作U盘，然后重启设置启动盘，安装…

二、安装Ollama curl -sSfL ollama /install.sh | sh

这里可能需要你先安装curl工具，安装就是了，然后再进行上面的安装。

lucky@lucky-Ubuntu:~$ sudo apt install curl [sudo] lucky 的密码： 正在读取软件包列表... 完成 正在分析软件包的依赖关系树... 完成 正在读取状态信息... 完成 下列软件包是自动安装的并且现在不需要了： libllvm17t64 python3-netifaces 使用'sudo apt autoremove'来卸载它(它们)。 下列【新】软件包将被安装： curl 升级了 0 个软件包，新安装了 1 个软件包，要卸载 0 个软件包，有 0 个软件包未被升级。 需要下载 226 kB 的归档。 解压缩后会消耗 534 kB 的额外空间。 获取:1 http://mirrors.tuna.tsinghua.edu /ubuntu noble-updates/main amd64 curl amd64 8.5.0-2ubuntu10.6 [226 kB] 已下载 226 kB，耗时 1秒 (313 kB/s) 正在选中未选择的软件包 curl。 (正在读取数据库 ... 系统当前共安装有 152081 个文件和目录。) 准备解压 .../curl_8.5.0-2ubuntu10.6_amd64.deb ... 正在解压 curl (8.5.0-2ubuntu10.6) ... 正在设置 curl (8.5.0-2ubuntu10.6) ... 正在处理用于 man-db (2.12.0-4build2) 的触发器 ...

安装Ollama：

lucky@lucky-Ubuntu:~$ curl -sSfL ollama /install.sh | sh >>> Installing ollama to /usr/local >>> Downloading Linux amd64 bundle ######################################################################## 100.0% >>> Creating ollama user... >>> Adding ollama user to render group... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service. >>> Installing NVIDIA repository... >>> Installing CUDA driver... 正在选中未选择的软件包 cuda-keyring。 (正在读取数据库 ... 系统当前共安装有 152088 个文件和目录。)

还有很多就不展示了，总之安装好了。最后几句话注意到了：

linux-headers-6.11.0-17-generic 已经是最新版 (6.11.0-17.17~24.04.2)。 linux-headers-6.11.0-17-generic 已设置为手动安装。 下列软件包是自动安装的并且现在不需要了： libllvm17t64 python3-netifaces 使用'sudo apt autoremove'来卸载它(它们)。 升级了 0 个软件包，新安装了 0 个软件包，要卸载 0 个软件包，有 0 个软件包未被升级。 >>> Reboot to complete NVIDIA CUDA driver install.

就是说，重启之后NVIDIA的CUDA才可以装上驱动。这个比在windows下感觉会智能一些，能够发挥出显卡的优势。

看看版本，我的比较奇葩。

lucky@lucky-Ubuntu:~$ ollama -v ollama version is 0.0.0

我的版本咋还是000了？

三、加载Deepseek大模型

看看能不能装deepseek吧，我这里也没有专门指定，我在windows下是指定了32b版本，后来看，我4070tis的达子显卡，跑这个32b的有些吃力。那我就让他自己给我选吧，我就没有加model号。

ucky@lucky-Ubuntu:~$ ollama run deepseek-r1 pulling manifest pulling 96c415656d37... 100% ▕████████████████████████████████████████████████████████████████████████▏ 4.7 GB pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████████████████████▏ 387 B pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████████████████████▏ 1.1 KB pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████████████████████▏ 148 B pulling 40fb844194b2... 100% ▕████████████████████████████████████████████████████████████████████████▏ 487 B verifying sha256 digest writing manifest success

很好，到底给我安装的哪个版本呢？

>>> /? Available Commands: /set Set session variables /show Show model information /load <model> Load a session or model /save <model> Save your current session /clear Clear session context /bye Exit /?, /help Help for a command /? shortcuts Help for keyboard shortcuts Use """ to begin a multi-line message. >>> /show Available Commands: /show info Show details for this model /show license Show model license /show modelfile Show Modelfile for this model /show parameters Show parameters for this model /show system Show system message /show template Show prompt template >>> /show info Model architecture qwen2 parameters 7.6B context length 131072 embedding length 3584 quantization Q4_K_M Parameters stop "<｜begin▁of▁sentence｜>" stop "<｜end▁of▁sentence｜>" stop "<｜User｜>" stop "<｜Assistant｜>" License MIT License Copyright (c) 2023 DeepSeek

估计应该是7b的model吧。 问个话试一试，感觉的确比在windows下流畅太多了。

>>> 你可以告诉我中国的24节气是哪些吗？ <think> 好，用户现在问的是“你可以告诉我中国的24节气是哪些吗？”。这是一个比较常见的问题，应该是想了解中国的传统农耕文化。 首先，我需要确认用户的需求。他可能是在学习中国文化，或者有相关需求，比如做相关的项目或报告。我应该提供一个详细且清晰的列表，并解释每 个节气的意义和相关习俗。 接下来，我要组织信息，确保24个节气都包含在内，并按照时间顺序排列。同时，每个节气要简要说明其特点，这样用户能够更好地理解和记忆。 此外，考虑到中文表达习惯，我需要用符合中文习惯的词汇来描述每个节气的含义和相关习俗，比如“农耕”、“气候变化”等关键词。 最后，确保回答结构清晰，信息准确，并且语言简洁明了，让用户容易理解。同时，保持语气友好，让用户感受到亲切和支持。 总结一下，我会列出24个节气，每个都有简短的解释，帮助用户快速掌握中国传统文化中的重要部分。 </think> 当然可以！中国的24节气是一个反映四季变化、指导农耕生产和人们生活的重要传统体系。以下是24个节气及其大致时间： 1. **立春**：2月3日左右 特点：立春是二十四节气中的第一个节气，标志着春天正式到来，天气转暖。 2. **雨水**：2月10日左右 特点：雨水节气表示天气开始由阴雨转晴朗，降水逐渐增加。 3. **惊蛰**：2月19日左右 特点：惊蛰是春季的第三个节气，气候温暖，草木萌发，但风力较大，容易使植物受到损害。

好了，太晚了，不玩了，睡觉去~！ 明天还要给这里搞成图形化，用WEBUI，还要给这里设置成可局域网内提供服务的。

ollama服务设置

为了能够让deepseek大模型在局域网甚至公网上提供服务，那么需要ollama能够提供网络服务。 在windows上是设置环境变量（可参看我的前面的windows下的Deepseek搭建文章），在linux下一样也是设置。 设置OLLAMA_HOST=0.0.0.0环境变量，从而允许远程访问。 需要用gedit文件编辑器修改ollama.service文件

sudo gedit /etc/systemd/system/ollama.service

如果没有gedit编辑器，那么就安装呗，总之我觉得这个文件编辑器比系统自带的vi好用，亲民。当然，那种编程码农除外。

sudo gedit /etc/systemd/system/ollama.service

好啦，安装好了。打开文件之后这个样子

改为：

重新加载并重启ollama服务: sudo systemctl daemon-reload sudo systemctl restart ollama 验证Ollama服务是否正常运行

sudo netstat -tulpn | grep ollama