Linux下rsync + inotify 实时文件同步方案

一、核心组件概述

1. inotify

inotify是 Linux 内核提供的文件系统变化监控机制,inotify-tools是用户态工具,用于持续监控文件或目录的数据变化(增删改)。

  • 监控事件:create、delete、modify、move、attrib 等

  • 常用命令:inotifywait

  • 特点:事件驱动,无需轮询,性能高

2. rsync

rsync是一款高效的文件数据同步与传输工具。

对比项 cp rsync
跨节点 ❌(需 scp) ✅ 原生支持远程同步
数据传输 全量拷贝 差异(增量)同步​
压缩传输 ❌ ✅ 默认/可选压缩
断点续传 ❌ ✅
权限/软链保留 有限 ✅ 丰富参数支持

rsync 默认采用 差异同步算法:只传输源与目标之间发生变化的数据块。


二、rsync 差异同步原理简述

假设源文件 A、目标文件 B,rsync 会:

  1. 比对文件块 checksum

  2. 仅传输存在差异的数据块

  3. 在目标端重组文件

复制代码

纯文本

纯文本

复制代码
A 文件(源)                     B 文件(目标)
a 1                             a 1
b 7                             b 7
c 3   ──差异同步──▶ 仅同步 c/e/f 变更块
d 4                             d 4
e 99  ← 修改
f 66  ← 修改

结果:不需要全量拷贝,仅同步变动部分,节省带宽与时间。


三、rsync + inotify 组合原理

复制代码

text

text

复制代码
inotify 监控目录变化
        │
        ▼
    事件触发
        │
        ▼
  rsync 增量同步
        │
        ▼
     目标端数据保持一致

Shell 脚本逻辑:

复制代码

bash

bash

复制代码
inotifywait -mrq --format '%w%f' -e modify,create,delete,move /src \
| while read file; do
    rsync -az --delete /src/ remote:/dst/
done
  • inotifywait:阻塞监听文件事件

  • 一旦触发 → 调用 rsync执行增量同步

  • 实现准实时、跨节点数据同步


四、rsync 清空目录的特殊用法

rsync 的同步目标是"使目标 == 源",因此可利用空目录快速清空目标目录:

复制代码

bash

bash

复制代码
# 创建一个空目录
mkdir /tmp/empty

# 将空目录同步到 /data ,达到清空 /data 的效果
rsync -a --delete /tmp/empty/ /data/

⚠️ 生产环境慎用 --delete,建议先 --dry-run测试


五、rsync 常见使用场景示例

1. 本地同步

复制代码

bash

bash

复制代码
rsync -avz /data/logs/ /backup/logs/

2. 跨节点同步(SSH)

复制代码

bash

bash

复制代码
rsync -avz /data/ root@node2:/data/

3. 作为守护进程(rsync server)

复制代码

bash

bash

复制代码
rsync -avz /data/ rsync_backup@backup::data_module

4. 结合 inotify 实时同步脚本示例

复制代码

bash

bash

复制代码
#!/bin/bash
SRC=/data/wwwroot/
DEST=root@node2:/data/wwwroot/
INOTIFY_CMD="inotifywait -mrq -e modify,create,delete,move $SRC"

$INOTIFY_CMD | while read dir event file; do
    rsync -az --delete $SRC root@node2:/data/wwwroot/
done

六、rsync 常用参数说明

参数 含义
-a 归档模式(递归+保留权限/时间/软链等)
-v 显示过程
-z 传输时压缩
-r 递归
--delete 目标比源多出的文件删除(镜像同步)
--exclude 排除指定文件
--bwlimit 限速(KB/s)
-P 显示进度 + 断点续传
--dry-run 模拟运行

七、典型应用场景总结

  • ✅ 网站代码实时同步(发布机 → 业务节点)

  • ✅ 日志集中收集

  • ✅ 灾备数据增量同步

  • ✅ 替代 scp 做大数据传输

  • ✅ 配合 inotify 实现准实时文件分发

相关推荐
少司府6 小时前
嵌入式外设篇(二)GPIO·二:GPIO输出与LED控制
linux·stm32·单片机·嵌入式硬件·mcu·51单片机·系统
H.莓飛6 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
Rabitebla7 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
发疯的技术鼠8 小时前
03-优先级与调度
linux
无足鸟ICT10 小时前
【RHCA+】sosreport(收集诊断文档)
linux·运维·服务器
GeW10 小时前
世界目光聚焦中国:底层技术、Linux、数据库的破局逻辑
linux·数据库
IT大白鼠10 小时前
当 AI 开始自动化渗透:FBI ARTEX 警报的防守对策
运维·人工智能·自动化
Decay__11 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
A-刘晨阳11 小时前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
tonydf11 小时前
没完了,Nginx又报新漏洞!
运维·nginx