基于rsync+inotify-tools 同步geo主从节点的artifacts文件

文章目录

    • [1. 背景](#1. 背景)
    • [2. 操作](#2. 操作)
      • [2.1 geo主节点查看仓库的路径](#2.1 geo主节点查看仓库的路径)
      • [2.2 安装 inotify-tools](#2.2 安装 inotify-tools)
      • [2.3 主从免密](#2.3 主从免密)
      • [2.4 编写同步脚本](#2.4 编写同步脚本)
      • [2.5 同步文件](#2.5 同步文件)
    • [3. 验证](#3. 验证)

1. 背景

由于某个repo的主从artifacts目录偏差非常严重(主节点100G,从节点10G),为了保证主从目录数据的一致性,通过rsync同步来实现。

此外,由于rsync仅仅是同步了主从节点的artifacts文件,其实际并未操作数据库,因为对数据库本身数据不会造成任何影响。

2. 操作

2.1 geo主节点查看仓库的路径

获取当前repo的hash路径:

Menu -> Admin -> Project -> Select Project-> Gitaly相对路径

eg:

Gitaly相对路径是**@hashed/4a/44/4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5.git**

则此项目的artifacts路径是:/var/opt/gitlab/gitlab-rails/shared/artifacts/4a/44/4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5

2.2 安装 inotify-tools

该工具可以实时监听某个目录的变化,同时触发rsync进行同步。

复制代码
yum install -y inotify-tools

2.3 主从免密

复制代码
ssh-keygen #一路回车即可
ssh-copy-id -i ~/.ssh/id_rsa.pub root@secondary_ip #输入从节点的密码即可

2.4 编写同步脚本

cd /usr/local/src/

cat inotify.sh

复制代码
HOST_IP=10.100.0.2 #从节点ip
MONITOR_DIR=/var/opt/gitlab/gitlab-rails/shared/artifacts/4a/44/4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5 #主节点上repo的artifacts目录
DES=/var/opt/gitlab/gitlab-rails/shared/artifacts/4a/44/4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5 #从节点上的目标路径
USE=root
CMD=/usr/bin/inotifywait
${CMD} -mrq --timefmt '%Y%m%d %H:%M' --format '%T %w%f%e' -e modify,delete,create,attrib ${MONITOR_DIR} | while read files
do
/opt/gitlab/embedded/bin/rsync -avzP ${MONITOR_DIR}/ --delete --timeout=100  ${USE}@${HOST_IP}:$DES
echo "${files} was rsynced" >>/tmp/rsync.log 2>&1
done

2.5 同步文件

复制代码
cd /usr/local/src/
nohup bash inotify.sh & 
tail -f nohup.out #查看同步的文件信息

3. 验证

通过tree、du -sh等命令查看文件数量和大小。

相关推荐
运维开发王义杰13 小时前
信息安全:GitLab与AWS OIDC集成的深度解析,IAM信任策略中的条件配置
云计算·gitlab·aws
运维开发王义杰13 小时前
GitLab CI: 告别EC2 Instance Profile,拥抱OIDC
ci/cd·gitlab
Doris_LMS2 天前
Git在idea中的实战使用经验(二)
linux·运维·gitlab·idea
CHENBT_2 天前
mac idea 配置了Gitlab的远程地址,但是每次pull 或者push 都要输入密码,怎么办
gitlab
starvapour2 天前
在windows server 2022搭建gitlab……但是失败了
windows·gitlab
张3蜂2 天前
GitLab Boards 深度解析:选型、竞品、成本与资源消耗
gitlab
烟花的学习笔记2 天前
【科普向-第七篇】Git全家桶介绍:Git/Gitlab/GitHub/TortoiseGit/Sourcetree
git·gitlab·github·tortoisegit·嵌入式软件开发·sourcetree
张3蜂2 天前
Jira vs. GitLab Issues vs. Redmine:终极选型与成本分析
gitlab·jira·redmine
Doris_LMS3 天前
Git在idea中的实战使用经验(一)
java·git·gitlab·idea
未来可期wlkq3 天前
gitlab中回退代码,CI / CD 联系运维同事处理
ci/cd·gitlab