hf-mirror-cli 介绍

由于 huggingface的仓库地址位于海外，每次下载dataset和model 太慢了，于是抽空开发了一个可以在windows开发环境，快速拉取huggingface 平台上的数据工具

使用hugingface-cli 国内镜像，可以快速下载hugingface上的模型

兼容hugingface-cli的用法

功能说明

• 支持环境检测包含网络，磁盘，镜像地址是否可用
• 支持网络容错，在断网异常情况下，默认进行重试3次
• 支持并发执行下载，默认最大并发为10
• 支持断点续传
• 在国内镜像无法使用的情况下支持从官网拉取
• 打包可执行文件后，已经内置了运行环境不需要配置python环境和安装依赖

1. 使用教程

1. 第一种使用方法

a. 安装 pip install hf-cli

 pip install hf-cli

b. 直接使用

 hf-cli Intel/dynamic_tinybert

或者

hf-cli --model-id Intel/dynamic_tinybert

c. 遇到需要授权才能访问的model

 hf-cli google/gemma-2b-it --token hf的token  --username 用户名

d. 使用效果

2. 默认使用的国内镜像地址

默认的不用配置，如果需要自定义 配置环境变量HF_ENDPOINT="镜像地址"

默认为 https://hf-mirror.com/

站长@padeoe

3. 常见问题

• 如果报错

严重告警：状态码401,模型model_id：google/gemma-2b-it未授权访问或模型ID不存在，请使用参数--token和--username

上面的报错 要么 模型Id输入错误，要么需要提供用户名和toke 需要登录授权才能下载使用hf-mirror-cli 模型ID Access_Token，在官网这里获取Access Token

> hf-mirror-cli google/gemma-2b-it --token HF的token --username 用户名

或

python .\hf-mirror-cli.py google/gemma-2b-it --token HF的token --username 用户名

4. 下载效果

交流群