主页 > 电脑硬件  > 

FastGPT配置文件及OneAPI程序:


FastGPT配置文件及OneAPI程序:百度网盘 请输入提取码 提取码:wuhe

创建fastgpt目录:mkdir fastgpt

切换到fastgpt目录:cd fastgpt

下载docker-compose文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml

下载config文件:curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

docker-compose文件github:https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml

config文件github:https://github.com/labring/FastGPT/blob/main/projects/app/data/config.json

切换fastgpt目录:cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得替换为你自己的用户名

拉取镜像:docker-compose pull

在后台运行容器:docker-compose up -d

FastGPT的页面:http://localhost:3020/

登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

ChatGLM3官方的一键包链接:百度网盘 请输入提取码 提取码:glut

用docker部署m3e模型,默认用CPU运行: docker run -d -p 6008:6008 --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 使用GPU运行: docker run -d -p 6008:6008 --gpus all --name=m3e-large-api registry.cn-hangzhou.aliyuncs.com/fastgpt_docker/m3e-large-api:latest 原镜像: docker run -d -p 6200:6008 --name=m3e-large-api stawky/m3e-large-api:latest

查看被系统保留的端口: netsh int ipv4 show excludedport tcp 保留端口给程序使用: netsh int ipv4 add excludedportrange protocol=tcp startport=<起始端口> numberofports=<排除端口数量>

测试m3e的api: curl --location --request POST 'https://localhost:6008/v1/embeddings' \ --header 'Authorization: Bearer sk-aaabbbcccdddeeefffggghhhiiijjjkkk' \ --header 'Content-Type: application/json' \ --data-raw '{ "model": "m3e", "input": ["laf是什么"] }' localhost需要替换成你的ip地址,ip地址可以在你连接的网络的属性里查看,或者在cmd里使用:ipconfig查看WLAN或者以太网那一栏。注意,ip地址要填ipv4的地址,不要填成ipv6的地址

OneAPI网站:http://localhost:3000/

OneAPI网页后,使用root用户和默认密码123456登录

chatglm3的Base URL:http://localhost:8000 localhost修改为你的本地ip地址

m3e的Base URL:http://localhost:6008 localhost记得修改为你的本地ip地址

m3e密钥:sk-aaabbbcccdddeeefffggghhhiiijjjkkk

docker-compose文件修改OPENAI_BASE_URL:http://localhost:3000/v1 localhost记得替换为你的本地ip地址

docker-compose文件修改CHAT_API_KEY:填入从OneAPI令牌复制的key

修改config文件ChatModels: { "model": "chatglm3", "name": "chatglm3", "maxContext": 4000, "maxResponse": 4000, "quoteMaxToken": 2000, "maxTemperature": 1, "vision": false, "defaultSystemChatPrompt": "" }, ChatGLM3-6B支持的上下文长度为8k,你可以将maxContext和maxResponse改为8000 可以在defaultSystemChatPrompt里设置你的系统默认提示词

修改config文件QAModels: { "model": "chatglm3", "name": "chatglm3", "maxContext": 4000, "maxResponse": 4000, "price": 0 }

修改config文件VectorModels: { "model": "m3e", "name": "m3e", "price": 0.1, "defaultToken": 500, "maxToken": 1800 } QAModels和VectorModels都添加好后,记得在括号的前面加个英文逗号,不然config文件无法生效

重新更新配置文件,依次输入命令: cd \wsl.localhost\Ubuntu\home\user-name\fastgpt user-name记得换成你的Ubuntu用户名 docker-compose pull docker-compose up -d

进入FastGPT网页:http://localhost:3020/ 登录用户名为root,密码为docker-compose文件里DEFAULT_ROOT_PSW,默认密码1234

标签:

FastGPT配置文件及OneAPI程序:由讯客互联电脑硬件栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“FastGPT配置文件及OneAPI程序: