rsync 大数据量同步中断问题

问题现象

使用 rsync 同步 TB 级目录(含数百万小文件),命令如下:

bash 复制代码
rsync -avz --delete --size-only --bwlimit=30M -e "ssh -p 19098" /src/ user@remote:/dest/

同步数小时后随机中断,报错:

lua 复制代码
rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20)
rsync: write error: Broken pipe (32)

重新运行又从头开始,反复失败,永远无法完成。

原因分析

rsync 默认不保留部分传输的文件。一旦连接中断(SSH 超时、网络闪断),未完成的文件会丢失,下次同步需重新传输该文件。若大文件中断多次,或扫描阶段因小文件过多导致空闲超时,整个任务将陷入死循环。

根本原因:未启用断点续传。

解决方案

同时优化 SSH 保活:

bash 复制代码
rsync -avz --delete --size-only \
      --partial --partial-dir=.rsync-partial \
      --bwlimit=30M \
      -e "ssh -p 19098 -o ServerAliveInterval=60 -o ServerAliveCountMax=3" \
      /src/ user@remote:/dest/

添加 --partial --partial-dir=.rsync-partial 参数。

  • --partial:保留已传输的文件片段,中断后下次可继续。
  • --partial-dir:指定临时目录存放碎片,避免与完整文件混淆。

其他参数说明:

参数 作用
--partial 保留部分传输的文件,实现断点续传
--partial-dir 指定碎片目录,避免残留
-o ServerAliveInterval=60 SSH 保活,防止空闲超时断开
--bwlimit 限速,避免占满业务带宽
--size-only 只比较大小,加快增量扫描

效果

中断后重新执行相同命令,rsync 自动从断点继续,不再从头开始。最终成功完成全部数据同步。

附脚本:

bash 复制代码
#!/bin/bash

# 配置参数 - 按需修改
REMOTE_IP="192.168.0.3"
SSH_PORT="22"
REMOTE_BASE="/remote-backup-dir"

# 待同步的本地源目录列表
SOURCE_DIRS=(
    "/minio/source-dir1"
    "/minio/source-dir2"
    "/minio/source-dir2"
)

# 循环执行 rsync 同步
echo "========== 开始批量目录同步 =========="
for src_dir in "${SOURCE_DIRS[@]}"; do
    # 提取目录名,拼接远端目标路径
    dir_name=$(basename "${src_dir}")
    dest_dir="${REMOTE_IP}:${REMOTE_BASE}/${dir_name}/"

    echo -e "\n正在同步: ${src_dir}/  -->  ${dest_dir}"
    rsync -avz --delete --size-only --partial --partial-dir=.rsync-partial  --bwlimit=30M  -e "ssh -p ${SSH_PORT}" "${src_dir}/" "${dest_dir}"

    # 判断同步结果
    if [ $? -eq 0 ]; then
        echo "✅ ${src_dir} 同步完成"
    else
        echo "❌ ${src_dir} 同步失败"
    fi
done

echo -e "\n========== 全部同步任务结束 =========="
相关推荐
深入云栈12 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构
ServBay13 小时前
PHP 8.6 最新发布:语法更新、实用函数与升级要点
后端·php
我不会起名字32214 小时前
Agent 总调错工具?MCP 接进 Go 后端的 4 个约束
后端·go·agent·mcp
考虑考虑14 小时前
git刷新远程分支列表
git·后端·gitlab
十有八七14 小时前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
王晋15714 小时前
第一次使用银河麒麟:从 Windows 迁移到国产 Linux 桌面的入门指南
后端
用户460438522508615 小时前
关于 Paimon-Rust 的写操作(细节)
后端
掘金酱16 小时前
AI 带来的新生意|稀土掘金 X-Lab 年度大会招募开启
前端·后端·vibecoding
nice_lcj52016 小时前
【从零理解计算机网络 · 02】分层模型:别背 OSI 七层,看数据怎么被“打包“和“拆包“
java·后端·tcp/ip·计算机网络·面试·osi·分层模型