将Git LFS大文件转换为普通文件

Git LFS(Large File Storage)常用于大文件的管理,比如大型的预训练模型、数据集等内容,由于GitHub对上传文件大小的限制,太大的文件一般使用LFS格式上传

将GitHub、Hugging Face等网站上的LFS格式的大文件转换为普通文件的方法如下

这里以Hugging Face上的三个数据集的大文件夹举例:

可见其中的images_partaa、images_partab、images_partac三个文件都是LFS格式,并且都是几十G的大文件。

要用到cat命令 ,这里建议使用Linux系统 ,如果是Windows+WSL也是可以的

我的环境是Windows 11+WSL2(Ubuntu 22.04)

1.首先将需要使用的文件下载到本地

如果三个文件都需要使用的话,就要下载到本地的同一个文件夹下面

2.执行以下命令将需要的文件放到一个压缩包里面,名为images

cpp 复制代码
cat images_parta* > images.zip

在Linux系统中,images_partaa、images_partab、images_partac这三个文件名可以被images_parta*同时检索到

3.解压上面得到的images.zip压缩包即可得到常用的格式的文件

说明:

由于文件实在太大,这个转换的命令可能会运行很久,期间命令行的光标一直在闪,生成的images.zip文件在转换结束前的大小一直都是0KB,需要耐心等待

Windows系统下会有点问题

注意:我试过直接把下载得到的images_partaa、images_partab、images_partac这三个文件的名字改为.zip后缀的,虽然WinRAR软件可以打开并查看里面的图片文件,但是不能直接复制、解压,会报错是文件已损坏,具体原因不太清楚。

如果大家在Windows系统下有其他的解决办法,欢迎与我交流。

相关推荐
zhangfeng1133几秒前
scp 命令的使用方法 什么软件支持 .git bash xshell .openssh
开发语言·git·bash
_君莫笑8 小时前
大厂Git使用规范
git
无心水15 小时前
【Hermes:安全、权限与生产环境】39、智能体也会犯错?Hermes 纠错、回滚与遗忘机制全指南 —— 让 AI 的错误像 Git 一样可逆可控
人工智能·git·安全·mcp协议·openclaw·hermes·honcho
南境十里·墨染春水19 小时前
linux学习进展 git详解
linux·git·学习
zhangfeng113320 小时前
CodeBuddy ai对话框上面的git docs terminal Rulds 干嘛用的,以thinkphp fastadmin 为例,插件市场
人工智能·git·编程
OYangxf21 小时前
Git Conflict Resolution
大数据·git·elasticsearch
高斯林.神犇21 小时前
Git全套流程
git
次元工程师!1 天前
LangFlow开发(一)—安装和部署
git·python·大模型·langflow
怣疯knight1 天前
【无标题】
git
Jim-zf1 天前
git 锁文件
git