将Git LFS大文件转换为普通文件

Git LFS(Large File Storage)常用于大文件的管理,比如大型的预训练模型、数据集等内容,由于GitHub对上传文件大小的限制,太大的文件一般使用LFS格式上传

将GitHub、Hugging Face等网站上的LFS格式的大文件转换为普通文件的方法如下

这里以Hugging Face上的三个数据集的大文件夹举例:

可见其中的images_partaa、images_partab、images_partac三个文件都是LFS格式,并且都是几十G的大文件。

要用到cat命令 ,这里建议使用Linux系统 ,如果是Windows+WSL也是可以的

我的环境是Windows 11+WSL2(Ubuntu 22.04)

1.首先将需要使用的文件下载到本地

如果三个文件都需要使用的话,就要下载到本地的同一个文件夹下面

2.执行以下命令将需要的文件放到一个压缩包里面,名为images

cpp 复制代码
cat images_parta* > images.zip

在Linux系统中,images_partaa、images_partab、images_partac这三个文件名可以被images_parta*同时检索到

3.解压上面得到的images.zip压缩包即可得到常用的格式的文件

说明:

由于文件实在太大,这个转换的命令可能会运行很久,期间命令行的光标一直在闪,生成的images.zip文件在转换结束前的大小一直都是0KB,需要耐心等待

Windows系统下会有点问题

注意:我试过直接把下载得到的images_partaa、images_partab、images_partac这三个文件的名字改为.zip后缀的,虽然WinRAR软件可以打开并查看里面的图片文件,但是不能直接复制、解压,会报错是文件已损坏,具体原因不太清楚。

如果大家在Windows系统下有其他的解决办法,欢迎与我交流。

相关推荐
weixin-a153003083163 小时前
git常用命令
git
前端小干将5 小时前
开发过程中,git常用命令
git
西柚啊6 小时前
Git常用命令总结
前端·git
云梦谭7 小时前
Git 配置 GPG 提交签名
git·gpg
李艺为10 小时前
Ubuntu下展锐刷机工具spd_dump使用说明
android·linux·git·ubuntu
掘根16 小时前
Git分支管理
git
极小狐16 小时前
极狐GitLab 项目 API 的速率限制如何设置?
大数据·运维·git·elasticsearch·gitlab
残月只会敲键盘17 小时前
Git 命令速查手册
大数据·git·elasticsearch
掘金沸点顶流18 小时前
同一台电脑配置多个 git 账户(github, gitee, gitlab等)
git
苦逼IT运维1 天前
Git LFS 学习笔记:原理、配置、实践与心路历程
笔记·git·学习