(三十二)大数据实战——Maxwell安装部署及其应用案例实战

前言

Maxwell是一个开源的MySQL数据库binlog解析工具,用于将MySQL数据库的binlog转换成易于消费的JSON格式,并通过Kafka、RabbitMQ、Kinesis 等消息队列或直接写入文件等方式将其输出。本节内容主要介绍如何安装部署Maxwell以及如何使用Maxwell完成数据的同步,这里主要以同步数据到kafka服务器为例。关于java、mysql和kafka的安装,这里不在介绍,请关注作者往期博客内容。

正文

①上传Maxwell安装包到hadoop101服务器的/opt/software目录

②解压Maxwell安装包到/opt/module目录

复制代码
tar -zxvf maxwell-1.29.2.tar.gz -C /opt/module

③配置Maxwell环境变量并使其生效

④ 在/etc/my.cnf中修改配置文件,开启mysql的binlog日志功能

复制代码
#开启mysql binlog日志
server_id=1
log-bin=mysql-bin
binlog_format=row
#具体到某一个数据库,不配置的话是所有的数据库
binlog-do-db=maxwell_test

⑤重启mysql,在/var/lib/mysql目录下查看是否会有binlog日志文件

⑥ 初始化Maxwell元数据库

  • 在MySQL中建立一个maxwell库用于存储Maxwell的元数据
  • 设置mysql用户密码安全级别
  • 分配一个账号可以操作该数据库
  • 授权
  • 刷新用户权限

⑦ Maxwell启动工作进程

  • 使用命令行启动

    maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --producer=stdout

参数说明:

--user 连接mysql的用户

--password 连接mysql用户的密码

--host mysql 安装的主机名

--producer 生产者模式(stdout:控制台 kafka:kafka 集群)

  • 通过定制化配置文件启动

⑧ 启动maxwell监控同步,向测试数据库maxwell_test中的test表中写入数据,查看控制台输出

  • 启动maxwell监控
  • 创建maxwell_test数据库,在test表中添加数据
  • 查看控制台输出

⑨ 使用kafka接收maxwell的监控数据

  • 启动kafka集群
  • 启动Maxwell监控binlog

    maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --producer=kafka --kafka.bootstrap.servers=hadoop101:9092 --kafka_topic=maxwell

  • 向test_maxwell 库的test 表中插入一条数据、
  • 开启一个kafka消费者者,查看控台台日志,成功在maxwell中消费到了消息

⑩ 使用kafka自定义多分区接收maxwell的监控数据

  • 定制化启动maxwell进程,修改config.properties配置文件
  • 手动创建3个分区的topic主题maxwell_kafka

    kafka-topics.sh --bootstrap-server hadoop101:9092 --create --topic maxwell_kafka --partitions 3 --replication-factor 3

  • 启动maxwell进程监控
  • 启动kafka消费者,消费到了数据

⑪ maxwell监控特定表的binlog日志

  • 启动进程命令

    maxwell --user='maxwell' --password='maxwell' --host='hadoop101' --filter 'exclude: .,include:maxwell_test.test' --producer=stdout

-- filter:可以设置过滤监控的数据库和表

⑫maxwell全量监控binlog日志

  • 在maxwell的元数据库maxwell中插入一条数据,代表执行一个maxwell_test数据库test表全量监控同步的任务

    insert into maxwell.bootstrap(database_name,table_name) values('maxwell_test','test');

  • 查看控制台,全量任务已同步

结语

至此,关于Maxwell安装部署及其应用案例实战到这里就结束了,我们下期见。。。。。。

相关推荐
isfox16 分钟前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台2 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码3 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据3 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk55517 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界21 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)1 天前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据