DeepSeek辅助测试测试一--DeepSeek加MaxKB知识库本地部署

文章目录 前言任务拆解最终目标两种技术路径对比知识库检索增强（RAG） + 大语言模型 构建知识库加本地部署DeepSeek目前的问题

前言

开工已经两周啦，开始慢慢的进入工作状态了，新的一年大家一起加油吧~

任务拆解 最终目标

训练一个关于测试的垂直领域的专用模型或对话系统（Chatbot）。

两种技术路径对比 知识库检索增强（RAG） + 大语言模型领域微调（Fine-tuning） + 知识库辅助

这里我目前选择的是技术路线1，原因如下：

RAG + 大语言模型是能最快落地应用的，不需要花费精力标注数据以及算力要求来训练模型目前我的知识库还不全面，需要频繁更新，技术路线1适合知识更新频繁或数据标注不足的场景 知识库检索增强（RAG） + 大语言模型 使用Dify部署，大语言模型接口＋云端知识库。一开始是用的这种方法，优点就是便捷，但是后面因为Dify知识库的限制，本地上传文档单文档的上传大小限制为 15MB，且免费版本文件上传数量有限，遂放弃。本地部署知识库加大语言模型，可行，MaxKB知识库单文档的上传大小限制为 100MB且不限制上传数量。这种模式大模型、知识库和文档全部运行在本地，所以公司内的业务数据不会泄密，个人隐私不会泄密。 构建知识库加本地部署DeepSeek

具体我是参照的这篇文章👉喂饭级教程！零代码搭建本地个人知识库 ，支持GPT4、Llama3、Kimi等十几种大模型 其中Ollma 安装 deepseek-r1 模型可参照这篇文章👉【DeepSeek应用】DeepSeek R1 本地部署（Ollama+Docker+OpenWebUI） Docker汉化👉Docker Desktop 的安装与汉化指南 PS:我为啥不自己吧安装过程记录下来呢？Emmm，不好意思我忘了，下次一定！ PPS：我用的clash所以不要配置镜像，之前使用conda时配置国内镜像下包总是会出现莫名其妙的网络错误，所以后来我都不配置镜像了，个人经验，如果没有梯子还是老实配镜像吧。

这是我根据教程配完的Chatbot：

下面是我在安装过程中遇到的几个问题：

docke下载后docker pull hello-world失败报错如下： Unable to find image 'hello-world:latest' locally docker: Error response from daemon: Get " registry-1.docker.io/v2/": EOF. See 'docker run --help'.

我遇到问题的情况是登陆了Docker，但是界面上还是显示未登录状态如下： 解决办法：退出重新登录，页面出现如下状态即可：

Ollama下载DeepSeek-R1 7b报错： Error: model requires more system memory (5.5 GiB) than is available (3.9 GiB)

原因是电脑的内存不够用了，我的轻薄本内存为16g；解决办法：关闭了一些网页和应用。同样在MaxKB里配置Chat

目前的问题 本地部署运行起来速度太慢了，若是16g内存的轻薄本需要关闭大部分应用，在实际的应用中非常不方便。问到需要引用知识库的文件的情况时，生成结果的速度太慢了且不全。 解决办法：考虑本地知识库加大语言模型接口的方法Chatbot的个性化配置以及知识库的分段需要优化