将Git LFS大文件转换为普通文件

Git LFS(Large File Storage)常用于大文件的管理,比如大型的预训练模型、数据集等内容,由于GitHub对上传文件大小的限制,太大的文件一般使用LFS格式上传

将GitHub、Hugging Face等网站上的LFS格式的大文件转换为普通文件的方法如下

这里以Hugging Face上的三个数据集的大文件夹举例:

可见其中的images_partaa、images_partab、images_partac三个文件都是LFS格式,并且都是几十G的大文件。

要用到cat命令 ,这里建议使用Linux系统 ,如果是Windows+WSL也是可以的

我的环境是Windows 11+WSL2(Ubuntu 22.04)

1.首先将需要使用的文件下载到本地

如果三个文件都需要使用的话,就要下载到本地的同一个文件夹下面

2.执行以下命令将需要的文件放到一个压缩包里面,名为images

cpp 复制代码
cat images_parta* > images.zip

在Linux系统中,images_partaa、images_partab、images_partac这三个文件名可以被images_parta*同时检索到

3.解压上面得到的images.zip压缩包即可得到常用的格式的文件

说明:

由于文件实在太大,这个转换的命令可能会运行很久,期间命令行的光标一直在闪,生成的images.zip文件在转换结束前的大小一直都是0KB,需要耐心等待

Windows系统下会有点问题

注意:我试过直接把下载得到的images_partaa、images_partab、images_partac这三个文件的名字改为.zip后缀的,虽然WinRAR软件可以打开并查看里面的图片文件,但是不能直接复制、解压,会报错是文件已损坏,具体原因不太清楚。

如果大家在Windows系统下有其他的解决办法,欢迎与我交流。

相关推荐
liux352844 分钟前
DevOps 实践指南:Git 版本控制从入门到精通
git
一念&16 小时前
Git 与 GitHub 的对比与使用指南
git·github
我是李武涯18 小时前
svn与git Merge重要区别讲解
git·svn
ん贤19 小时前
Git分支
git
迷你二鹏1 天前
前端之Git
前端·git
哈里谢顿1 天前
常见 git push 问题及解决方案
git
MarkGosling1 天前
【开源项目】轻量加速利器 HubProxy 自建 Docker、GitHub 下载加速服务
运维·git·docker·容器·开源·github·个人开发
Aomnitrix1 天前
【分布式版本控制系统】Git的使用
分布式·git
向上的车轮2 天前
SVN与GIT的区别,分别使用与哪些管理场景?
git·svn
java叶新东老师2 天前
git 提交时排除一个或多个文件
大数据·git·elasticsearch