【Hugging Face 下载中断】Git LFS 如何下载指定文件、单个文件夹？

Hugging Face 下载中断、Git LFS 如何下载指定文件、单个文件夹

在处理大型模型或数据集时，我们经常使用 Git Large File Storage (LFS) 来管理这些大文件。然而，下载过程中可能会遇到中断，需要重新下载特定文件或文件夹。本文将介绍如何在 Hugging Face 上使用 Git LFS 下载指定文件或单个文件夹。

遇到下载中断

在使用 git clone 命令时，如果目标路径已存在且不为空，你可能会看到以下错误：

bash 复制代码

fatal: destination path 'Flux_xxx(想要下载的模型)' already exists and is not an empty directory.

为了解决这个问题，你可以尝试以下几种方法：

1. 删除已存在的目录

如果确定可以删除该目录，可以先删除它，然后重新克隆：

bash 复制代码

rm -rf Flux_xxx
git clone https://huggingface.co/Flux_xxx

2. 克隆到另一个目录

如果你想保留原有的目录，可以克隆到另一个目录：

bash 复制代码

git clone https://huggingface.co/Flux_xxx new_directory_name

3. 拉取缺失的文件（👍推荐）

如果已经克隆了部分内容，可以使用 git lfs 来拉取缺失的大文件。首先确保你已经安装了 git-lfs：

bash 复制代码

git lfs install

然后，你可以使用 git lfs pull 命令来拉取缺失的文件：

bash 复制代码

cd Flux_xxx
git lfs pull --include="path/to/missing/folder/*"

这里的 --include 选项用于指定需要拉取的文件或文件夹路径，即 hugging face 上的指定文件夹或文件名。

4. 检查并拉取所有 LFS 文件

如果你想确保所有 LFS 跟踪的文件都被拉取，可以使用以下命令：

bash 复制代码

git lfs fetch --all
git lfs pull --all

5. 重新克隆并使用 `git lfs`

如果上述方法都不适用，可以尝试重新克隆仓库，并在克隆过程中使用 git lfs：

bash 复制代码

rm -rf Flux_xxx
git clone --recursive https://huggingface.co/Flux_xxx
cd Flux_xxx
git lfs install
git lfs pull

可能遇到的问题

在尝试使用 git-lfs pull 命令时，你可能会看到以下错误：

bash 复制代码

Error updating the git index:
error: transformer_opset=17/transformer.onnx: cannot add to the index - missing --add option?
fatal: Unable to process path transformer_opset=17/transformer.onnx

这个错误表明在尝试更新 git 索引时遇到了问题。具体来说，错误信息指出在将文件 transformer_opset=17/transformer.onnx 添加到索引时缺少了 --add 选项。

解决方案

文件路径错误 ：确保 transformer_opset=17/transformer.onnx 是正确的文件路径，并且该文件存在于你的工作目录中。
文件已被跟踪 ：如果文件已经被 Git 跟踪，那么 git-lfs pull 应该会自动处理它，不需要额外的 --add 选项。
Git LFS 配置问题 ：可能是 Git LFS 的配置有问题，或者 .gitattributes 文件中对该文件的 LFS 跟踪设置不正确。
权限问题：可能是当前用户没有足够的权限来更新索引或操作文件。

尝试添加文件到暂存区

可以尝试以下步骤来解决这个问题：

bash 复制代码

git add transformer_opset=17/transformer.onnx
git-lfs track transformer_opset=17/transformer.onnx
git-lfs pull --include=transformer_opset=17

如果问题仍然存在，你可能需要检查 .gitattributes 文件和 Git LFS 的配置，或者查看是否有其他的错误信息可以帮助诊断问题。

结论

通过上述方法，你应该能够解决在 Hugging Face 上下载过程中遇到的问题，并成功拉取所有缺失的文件。确保你正确配置了 Git LFS，并且有足够的权限来操作文件和索引。如果你遇到任何问题，不要犹豫，检查错误信息并尝试相应的解决方案。

参考博客：https://github.com/git-lfs/git-lfs/issues/1351

【Hugging Face 下载中断】Git LFS 如何下载指定文件、单个文件夹？