Docker部署Logstash同步Mysql数据到ES

1、准备配置文件文件夹

2、部署logstash & elasticsearch

bash 复制代码
docker pull docker.elastic.co/logstash/logstash:7.15.0
## 替换{你的ES地址}为ES地址
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0
bash 复制代码
docker pull docker.elastic.co/elasticsearch/elasticsearch:7.15.0
## 配置文件如果需要修改,修改完后删除重新启动容器
docker run -d --name elasticsearch -v D:\elasticsearch\config\:/usr/share/elasticsearch/config -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.15.0

页面访问 ip:9200端口,出现下面页面部署成功

3、准备驱动文件

4、编辑配置文件

bash 复制代码
input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/mysql-connector-j-8.0.33.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://{你的MYSQL地址}/{你的数据库}"
    jdbc_user => "{数据库账号}"
    jdbc_password => "{数据库密码}"
    statement => "SELECT * FROM user"
    jdbc_paging_enabled => true		 # 开启分页
    jdbc_page_size => 2000			 # 分页每页条数
    schedule => "*/5 * * * * * UTC"  # 每5s执行一次
  }
}
output {
  elasticsearch {
      hosts  => ["{你的ES地址}"]         				# ElasticSearch 的地址和端口
      index  => "user"         							# 指定索引名,如果不存在es会自动创建
      document_id => "%{id}"
      codec  => "json"
  }
}

5、删除容器、重新启动

bash 复制代码
docker rm -f logstash
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0

6、查看日志

bash 复制代码
docker logs -f logstash

成功日志

相关推荐
nice_lcj5201 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
Decay__2 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
岳涛4 小时前
考古|ES 0.90 的 _ttl 让文档到期自动删,2.0 起引擎只做引擎,5.0 清掉内置字段
elasticsearch
wuyk5555 小时前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
开开心心就好6 小时前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
岳涛6 小时前
时序|ES 9.1 存下写坏的文档,响应码从 400 变成 201,写入端仍当它成功
elasticsearch
AI开源软件7 小时前
Kubernetes 网络实战:打通 Pod、Service 与集群外任务调度器的双向调用
docker·nacos·kubernetes·xxl-job·calico·微服务部署·ruoyi office
Elasticsearch8 小时前
九条 ES|QL 查询,揭示你的 Foundry agent 的词元消耗去向
elasticsearch
csdn_aspnet11 小时前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
月夏12 小时前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker