Windows系统下将MySQL数据库表内的数据全量导入Elasticsearch

目录

下载安装Logstash

配置Logstash配置文件

运行配置文件

查看导入结果


使用Logstash将sql数据导入Elasticsearch

下载安装Logstash

官网地址

选择Windows系统,需下载与安装的Elasticsearch相同版本的,下载完成后解压安装包。

配置Logstash配置文件

在config文件夹下新建一个名为 sql.conf的文件,内容如下

XML 复制代码
input {
    stdin {
}
    jdbc {
        # 配置数据库信息
        jdbc_connection_string => "jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=UTF-8&serverTimezone=Asia/Shanghai"
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_user => "root"
        jdbc_password => "root"
        jdbc_paging_enabled => "true"
        #jdbc_validate_connection => true
        jdbc_page_size => "50000"
        jdbc_default_timezone => "Asia/Shanghai"
  	    # mysql驱动所在位置
        jdbc_driver_library => "C:/mysql/mysql-connector-java/8.0.29/mysql-connector-java-8.0.29.jar"
        驱动地址也可不填,但是需要将驱动放进 logstash-core\lib\jars 文件夹下
        #sql执行语句
        statement => "SELECT * FROM test"
    }
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "test_index"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

文件分为input 和output两部分。input 部分从mysql读取数据,output部分向ES插入数据。

运行配置文件

bash 复制代码
bin\logstash -f config\sql.conf

命令行显示数据插入则表示成功。

查看导入结果

利用Kibana查看Elasticsearch中是否成功创建索引,以及索引中的文档数。

相关推荐
千寻技术帮6 小时前
10454_基于Springboot的企业购销链管理系统
spring boot·mysql·vue·毕业设计·进销存
bksczm7 小时前
Redis Cluster 分片集群详解:槽路由、故障判定与扩缩容
数据库·redis·分布式
ServBay9 小时前
AI编程越来越强,为什么软件漏洞却是一个没少?MySQL又爆高危漏洞了
后端·mysql
黑十9 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
FungLeo9 小时前
FengCMS · PHP+MySQL 升级实录 · Web 入口收敛:Apache/Nginx 白名单挡住配置、安装 SQL、上传脚本直连
前端·mysql·php·安全加固·fengcms
Databend10 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend10 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
Elasticsearch10 小时前
使用 Codex 来写入 PDF 文件并创建 AI Agent 对它进行问答
elasticsearch
kyle~10 小时前
SQLite -- 低成本持久化能力
数据库·sqlite
上海潭龙东海科技有限公司10 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构