【ElasticSearch】logstash-conf文件mysql多数据源配置

logstash-conf文件mysql多数据源导入es配置说明

复制代码
# input plugin 输入插件,接收事件源
input {
    jdbc {
        # 定义类型_1 
        type => "type_1"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
        # 定义类型_2 
        type => "type_2"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
          # 定义类型_3 
        type => "type_3"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
 
 
#output plugin  输出插件,将事件发送到特定目标。
output {
    if [type] == "type_1" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    if [type] == "type_2" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    else{
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # 索引(每天生成一个索引)
            index => "xxx_%{+YYYYMMdd}"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
        }
    }
}
相关推荐
island13147 分钟前
【C++框架#5】Elasticsearch 安装和使用
开发语言·c++·elasticsearch
阿里嘎多哈基米4 小时前
ES——(一)基本概念
elasticsearch·kibana·倒排索引·dsl·非结构化数据
C_V_Better8 小时前
Elasticsearch 创建索引别名的正确姿势
大数据·elasticsearch
shallwe小威18 小时前
SpringBoot集成ElasticSearch
数据库·spring boot·elasticsearch
Elastic 中国社区官方博客19 小时前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索
liliangcsdn20 小时前
Mac本地docker安装Kibana+ElasticSearch
elasticsearch·macos·docker
AAA修煤气灶刘哥1 天前
ES数据同步大乱斗:同步双写 vs MQ异步,谁才是王者?
分布式·后端·elasticsearch
u0104058361 天前
电商导购平台的搜索引擎优化:基于Elasticsearch的商品精准推荐系统
elasticsearch·搜索引擎·jenkins
在未来等你1 天前
Elasticsearch面试精讲 Day 16:索引性能优化策略
大数据·分布式·elasticsearch·搜索引擎·面试
咖啡Beans1 天前
SpringBoot集成ELK实现数据存储和日志管理
spring boot·elasticsearch·kibana