【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决
- 其他
- 2025-08-26 07:57:01

背景:
本地下载了DeepSeek-R1-Distill-Qwen-7B模型后,通过ollama create DeepSeek-R1-Distill-Qwen-7B -f ds7b.mf加载模型启动后回答混乱,无法使用。
解决方法重新下载模型,选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
重新编写ds7b.mf文件,文件内容如下:
FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf TEMPLATE """{{- if .System }}{{ .System }}{{ end }} {{- range $i, $_ := .Messages }} {{- $last := eq (len (slice $.Messages $i)) 1}} {{- if eq .Role "user" }}<|User|>{{ .Content }} {{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }} {{- end }} {{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }} {{- end }}""" PARAMETER stop "<|begin▁of▁sentence|>" PARAMETER stop "<|end▁of▁sentence|>" PARAMETER stop "<|user|>" PARAMETER stop "<|Assistant|>"再次加载模型后启动正常
【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决由讯客互联其他栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决”