Linux大文件分割小文件

冲上云霄的Jayden2024-04-06 20:52

背景

有一份27G大文件需要从服务器下载到本地电脑，文件太大，传输容易中断，xshell限制超过4G文件无法下载。

解决办法：把27G大文件分割成3G大小的小文件。

看看文件大小：

bash 复制代码

# ll -h|grep Chinese_Wav.fix.zip 
-rw-------  1 root root  27G Mar 14 14:21 Chinese_Wav.fix.zip

分割文件

开始分割文件，使用cat和split命令：

bash 复制代码

cat Chinese_Wav.fix.zip |split -b 3G - /tmp/0_Chinese_Wav.fix/split.zip

split 命令参数：

-b 分割后每个文件大小，这里设置3G

/tmp/0_Chinese_Wav.fix/split.zip 是分割后文件名称，，split命令自动在文件名称后增加aa、ab等顺序参数

分割后效果：

bash 复制代码

# ll -h
total 27G
drwxr-xr-x   2 root root 4.0K Apr  1 20:18 ./
drwxrwxrwx 779 root root 880K Apr  2 09:33 ../
-rw-r--r--   1 root root 3.0G Apr  1 20:15 split.zipaa
-rw-r--r--   1 root root 3.0G Apr  1 20:15 split.zipab
-rw-r--r--   1 root root 3.0G Apr  1 20:16 split.zipac
-rw-r--r--   1 root root 3.0G Apr  1 20:16 split.zipad
-rw-r--r--   1 root root 3.0G Apr  1 20:17 split.zipae
-rw-r--r--   1 root root 3.0G Apr  1 20:17 split.zipaf
-rw-r--r--   1 root root 3.0G Apr  1 20:18 split.zipag
-rw-r--r--   1 root root 3.0G Apr  1 20:18 split.zipah
-rw-r--r--   1 root root 2.3G Apr  1 20:18 split.zipai

传输&合并文件

传输到本地，这里使用的客户端是xshell：

bash 复制代码

# sz split.zipa*

分割文件合并成大文件：

bash 复制代码

# 合并大文件
$ cat split.zipa*>chinese.wav.fix.zip
#查看文件
$ ll -h
total 27G
-rw-r--r-- 1 Administrator 197121 27G  4月  2 09:25 chinses_wav.fix.zip
# 校验ZIP文件
unzip -t chinses_wav.fix.zip

合成大文件后可以正常使用了。