主页 > 人工智能  > 

huggingface下载模型到本地缓存环境变量配置详解

huggingface下载模型到本地缓存环境变量配置详解

1.安装huggingface-cli 命令行工具,进行模型文件下载

      pip install -U huggingface_hub

     huggingface-cli --help 帮助命令

2.从huggingface下载模型方法

      方法1: git clone 下载模型

     方法2:huggingface-cli  工具下载模型           方法3: 代码中调用api自动下载到缓存的本地目录      方法4:使用ollam 下载huggingface 模型(备注:模型必须是GGUF格式):                ollama run hf.co/{username}/{repository}               eg: ollama run hf.co/Talek02/bert-base-uncased-Q4_K_M-GGUF

    以上方法都需要首先安装针对大文件存储(lfs)下载传输的依赖库:      pip install hf_transfer      安装 lfs       git lfs install

3.配置缓存环境变量

从huggingface下载预训练模型,本地缓存设置:

                               windows系统,默认预训练模型会被下载并缓存在本地到C:\Users\用户名 \.cache\huggingface\hub目录下,这是由环境变量TRANSFORMERS_CACHE指定的默认目录。

可以按照不同优先级改变下面的环境变量,以便指定不同的缓存目录:

环境变量(默认):HUGGINGFACE_HUB_CACHE或TRANSFORMERS_CACHE

环境变量 :HF_HOME

环境变量:XDG_CACHE_HOME + /huggingface

设置自己的HF_HOME,指定自己的本地下载模型仓库地址,环境变量:

设置下载lfs(大文件存储)环境变量,这个很重要,不然会出现下载大文件Read timeout,trying to resume download异常。必须指定hf_transfer,当使用huggingface_hub的时候 HF_HUB_ENABLE_HF_TRANSFER=1

总共需要设置这些环境变量,当然还可以设置token,可以根据需要设置  

4.从huggingface下载大模型,(无论是使用huggingface-cli命令行还是调用api):

从huggingface下载大模型 从huggingface下载数据集

标签:

huggingface下载模型到本地缓存环境变量配置详解由讯客互联人工智能栏目发布,感谢您对讯客互联的认可,以及对我们原创作品以及文章的青睐,非常欢迎各位朋友分享到个人网站或者朋友圈,但转载请说明文章出处“huggingface下载模型到本地缓存环境变量配置详解