RSYNC远程同步

ELK+filebeat+kafka

复制代码
input
bootstrap_servers =>"192.168,233.21:9092,192.168.233.22:9092,192.168.233.23:9092
topic =>"nginx1"
type => "nginx kafka"
codec =>"ison"
auto_offset_reset => "latest"
#拉取最新数据,前面不管,从头开始earliest
decorate_events =>true
#传递给es数据库时,额外的添加kafka的属性数据
      }
      }
      output {
if "access" in [tags]{
elasticsearch {
hosts =>["192.168.233.10:9200","192.168.233.20:9200"]
index=>"nginx access-%{+YYYY.MM.dd}"
}
}
if "error" in [tags]{
elasticsearchf  {
hosts =>["192.168.233.10:9200","192.168.233.20:9200"]
index =>"nginx error-%{+YYYY.MM.dd}
}
}

配置nginx里filebeat

复制代码
[root@nginx20 filebeat]# vim filebeat.yml
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/access.log
  tags: ["access"]
​
- type: log
  enabled: true
  paths:
    - /usr/local/nginx/logs/error.log
  tags: ["error"]
​
output.kafka:
  enabled: true
  # The Logstash hosts
  hosts: ["192.168.65.11:9092","192.168.65.12:9092","192.168.65.13:9092"]
  topic: "nginx2"
  
  [root@nginx2 filebeat]# ./filebeat -e -c filebeat.yml 
​

在logstash里添加配置文件kafka.conf

复制代码
[root@test43 conf.d]# vim kafka.conf
input  {
      kafka {
bootstrap_servers =>"192.168,65.11:9092,192.168.12.12:9092,192.168.65.13:9092
      topics => "nginx2"
      type => "nginx_kafka"
      codec =>"json"
      auto_offset_reset => "latest"
      decorate_events => true
      }
      }
output {
      if "access" in [tags] {
      elasticsearch {
      hosts =>["192.168.65.44:9200","192.168.65.45:9200"]
      index=>"nginx_access-%{+YYYY.MM.dd}"
      }
}
      if "error" in [tags]{
      elasticsearchf  {
      hosts =>["192.168.65.44:9200","192.168.65.45:9200"]
      index =>"nginx_error-%{+YYYY.MM.dd}" 
        }
    }
}
wq!
​
[root@test43 conf.d]# logstash -f kafka.conf --path.data /opt/test5 &
​
复制代码
创建主题
[root@mysql1 opt]# kafka-topics.sh --create --bootstrap-server 192.168.65.11:9092,192.168.65.12:9092,192.168.65.13:9092 --replication-factor 2 --partitions 3 --topic test8
​
查看主题
[root@mysql1 opt]# kafka-topics.sh --list --bootstrap-server 192.168.65.11:9092,192.168.65.12:9092,192.168.65.13:9092
nginx2
test8
test9
​
生产消息
[root@mysql1 opt]# kafka-console-producer.sh --broker-list 192.168.65.11:9092,192.168.65.12:9092,192.168.65.13:9092 --topic test8
>w
>b
>l
​
消费消息
[root@mysql2 ~]# kafka-console-consumer.sh --bootstrap-server 192.168.65.11:9092,192.168.65.12:9092,192.168.65.13:9092 --topic test8 --from-beginning
w
b
l
​

RSYNC远程同步

上行:客户端同步到服务端

下行:服务端同步到客户端

scp远程复制

开源的快速备份的工具,一般是系统自带的。

可以在不同主机之间同步整个目录树(目录)

在远程同步的任务中,负责发起rsync的叫做发起端,也就是服务端,负责响应同步请求的,就是客户端

rsync特点

1、支持拷贝文件,链接文件等等

2、可以同步整个目录

3、可以支持保留源文件或者目录的权限等等

4、可以实现增量同步

同步方式

1、完整备份

2、增量备份

常用的选项

1、-a 归档模式,保留权限

2、 -v 显示同步的详细过程

3、 -z 压缩,在传输的过程中对文件进行压缩

4、 -H 同步硬链接

5、 --delete 同步删除文件

6、 -l 同步快捷方式 连接文件

7、 -r 递归,所有

实验

192.168.65.43 服务端

192.168.65.44 客户端

inotify-tools

用inotify实现监控

inotify watch 监控变化

inotify wait 监控修改 创建 移动 删除 属性修改(权限修改,所有者,所在组)如果发生变动,立即输出结果

客户端获取服务端信息

客服端44服务端43

复制代码
[root@test43 ~]# vim /etc/rsyncd.conf 
# /etc/rsyncd: configuration file for rsync daemon mode
​
# See rsyncd.conf man page for more options.
​
# configuration example:
​
 uid = root
 gid = root
 use chroot = yes
#是否禁锢在源目录
 address = 192.168.65.43
#监听地址
port 873
# max connections = 4
 pid file = /var/run/rsyncd.pid
 log file = /var/log.rsyncd.log
hosts allow = 192.168.65.0/24
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
#压缩同步文件
[test]
#共享模块的名称,通过模块的名称进行同步
path = /opt/test
#源目录,就是同步的目录
#comment = test
#备注信息
read only = no
#源目录,客户端可以读也可以写
auth users = backuper
#授权登录的账户名称
secrets file = /etc/rsyncd_users.db
#授权登录用户的密码文件
wq!                                                                                   
​
[root@test43 ~]#  vim /etc/rsyncd_users.db   #设置远程同步的密码
backuper:123456
~                 
[root@test43 ~]# chmod 600 /etc/rsyncd_users.db   #赋权只能给600的权限
[root@test43 ~]# mkdir /opt/test               #创建目录后要赋权
[root@test43 ~]# chmod 777 /opt/test
[root@test43 ~]# netstat -antp | grep 873
[root@test43 ~]# netstat -antp | grep rsync
[root@test43 ~]# systemctl restart rsyncd
[root@test43 ~]# netstat -antp | grep rsync
tcp        0      0 192.168.65.43:873       0.0.0.0:*               LISTEN      33058/rsync         
[root@test43 ~]# netstat -antp | grep 873
tcp        0      0 192.168.65.43:873       0.0.0.0:*               LISTEN      33058/rsync         
​
[root@test43 opt]# cd test
[root@test43 test]# ls
[root@test43 test]# echo 123 456 789
123 456 789
[root@test43 test]# echo 123 > 123
[root@test43 test]# echo 456 > 456
​
#在指定44客户端查看
[root@test44 opt]# rsync -avz backuper@192.168.65.43::test /opt
Password: 
receiving incremental file list
./
123
456
​
sent 65 bytes  received 175 bytes  96.00 bytes/sec
total size is 8  speedup is 0.03
​
客户端同步到服务端

44是客户端43是服务端

复制代码
[root@test44 opt]# inotifywait -mrq -e modify,create,move,delete /opt/dly
m 持续监控
r递归整个目录 只要有变化包含子目录的变化全部记录
q 简化输出的信息
e 指定监控时间
[root@test44 opt]# tar -xf inotify-tools-3.14.tar.gz
[root@test44 opt]# yum -y install make
[root@test44 opt]# cd inotify-tools-3.14/
[root@test44 opt]# make -j 4 && make install
[root@test44 opt]# mkdir dly   #创建目录
[root@test44 opt]# chmod 777 dly   #赋权
[root@test44 opt]# cd dly  
[root@test44 dly]# touch 123      
[root@test44 dly]# mv 123 456
设置免密
[root@test44 dly]# rsync -avz --password-file=/etc/server.pass backuper@192.168.65.43::test /opt
#持续监控整个目录
[root@test44 opt]# inotifywait -mrq -e modify,create,move,delete, /opt/dly
/opt/dly/ CREATE 123
/opt/dly/ MOVED_FROM 123
/opt/dly/ MOVED_TO 456
​
#监控变化的配置文件
[root@test44 opt]# vim inotify.sh
#!/bin/bash
inotify_cmd="inotifywait -mrq -e modify,create,move,delete, /opt/dly"
rsync_cmd="rsync -azH --delete --password-file=/etc/server.pass /opt/dly backuper@192.168.65.43::test/"
$inotify_cmd | while read DIRECTORY EVENT FILE
do
  if [ $(pgrep rsync | wc -l) -le 0 ]
  then
    $rsync_cmd
    fi
  done  
#--delete全同步(两边的目录全部一致)
wq!
​
[root@test44 opt]# chmod 777 inotify.sh   #赋权
[root@test44 opt]# ./inotify.sh     #启动监控
#再开一个相同虚拟机
[root@test44 dly]# touch xy102
[root@test44 dly]# echo 123 > xy102
#写入的内容会同步到test43
[root@test43 test]# cd dly
[root@test43 dly]# ls
456  xy102
[root@test43 dly]# cat xy102
123
#在44主机上写入
[root@test44 dly]# touch test1
#在43上查看
[root@test43 dly]# ll
总用量 4
-rw-r--r--. 1 root root 0 8月   6 14:15 456
-rw-r--r--. 1 root root 0 8月   6 15:00 test1
-rw-r--r--. 1 root root 4 8月   6 14:58 xy102
#在客户端上的操作会同步到服务端,服务端的操作不对客户端造成影响

1

相关推荐
bluefox19793 小时前
使用 Oracle.DataAccess.Client 驱动 和 OleDB 调用Oracle 函数的区别
开发语言·c#
鲤籽鲲5 小时前
C# MethodTimer.Fody 使用详解
开发语言·c#·mfc
工业3D_大熊5 小时前
3D可视化引擎HOOPS Luminate场景图详解:形状的创建、销毁与管理
java·c++·3d·docker·c#·制造·数据可视化
yngsqq6 小时前
c#使用高版本8.0步骤
java·前端·c#
hccee9 小时前
C# IO文件操作
开发语言·c#
广煜永不挂科10 小时前
Devexpress.Dashboard的调用二义性
c#·express
初九之潜龙勿用12 小时前
C#校验画布签名图片是否为空白
开发语言·ui·c#·.net
吾与谁归in14 小时前
【C#设计模式(13)——代理模式(Proxy Pattern)】
设计模式·c#·代理模式
吾与谁归in14 小时前
【C#设计模式(14)——责任链模式( Chain-of-responsibility Pattern)】
设计模式·c#·责任链模式
神仙别闹15 小时前
基于C#和Sql Server 2008实现的(WinForm)订单生成系统
开发语言·c#