es数据同步

Logstash 是 Elastic 技术栈中的一个技术,它是一个数据采集引擎,可以从数据库采集数据到 ES 中。可以通过设置 自增 ID 主键 或 更新时间 来控制数据的自动同步:

自增 ID 主键:Logstatsh 会有定时任务,如果发现有主键的值大于先前同步记录的主键值,就会将对应的增量数据同步到 ES 中

更新时间:其实原理与主键类似,不过如果设置使用主键作为依据的话,那么数据库的数据更新就不会被识别从而更新到 ES 中。

一、安装

下载地址:Past Releases of Elastic Stack Software | Elastic

注意:使用Logstatsh的版本号与elasticsearch版本号需要保持一致

二、上传并解压

可以在linux下运行,也可以在windows下运行,本文仅尝试win系统,就不再linux尝试了

三、修改配置文件

新建一个文件 /logstash-7.9.1/config/logstash-esconvert.conf

复制代码
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
   elasticsearch {
    hosts => ["http://1.2.3.4:9200"]
    index => "es_cust_data"
    user => "elastic"
    password => "elastic"
  }
}

output {
  elasticsearch {
    hosts => ["http://10.20.30.40:9200"]
    index => "es_cust_data"
    user => "elastic"
    password => "elastic"
	#document_type => "_doc"
    #document_id => "%{[@metadata][_id]}"
  }
}

四、执行命令

在安装路径下执行

复制代码
.\bin\logstash -f .\config\logstash-esconvert.conf

等待执行结果即可,就会从input端同步索引数据到 output端了

一定要注意两个es环境的索引字段要保持一致哈

相关推荐
bksczm13 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
黑十14 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend15 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
镰刀韭菜15 小时前
用 AI 做数据分析时,怎么保住自己的思考力
sql·数据分析·学习方法·提示工程·ai应用
Databend15 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
Elasticsearch15 小时前
使用 Codex 来写入 PDF 文件并创建 AI Agent 对它进行问答
elasticsearch
kyle~15 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司16 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
老纪的技术唠嗑局16 小时前
OceanBase AI数据大会,我会这么逛
数据库
星恒随风16 小时前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql