【ElasticSearch】logstash-conf文件mysql多数据源配置

logstash-conf文件mysql多数据源导入es配置说明

复制代码
# input plugin 输入插件,接收事件源
input {
    jdbc {
        # 定义类型_1 
        type => "type_1"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
        # 定义类型_2 
        type => "type_2"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
          # 定义类型_3 
        type => "type_3"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
 
 
#output plugin  输出插件,将事件发送到特定目标。
output {
    if [type] == "type_1" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    if [type] == "type_2" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    else{
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # 索引(每天生成一个索引)
            index => "xxx_%{+YYYYMMdd}"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
        }
    }
}
相关推荐
feilieren6 小时前
Docker 安装 Elasticsearch 9
运维·elasticsearch·docker·es
Java烘焙师9 小时前
架构师必备:业务扩展模式选型
mysql·elasticsearch·架构·hbase·多维度查询
G皮T1 天前
【Elasticsearch】深度分页及其替代方案
大数据·elasticsearch·搜索引擎·scroll·检索·深度分页·search_after
G皮T1 天前
【Elasticsearch】检索排序 & 分页
大数据·elasticsearch·搜索引擎·排序·分页·检索·深度分页
飞询1 天前
Docker 安装 Elasticsearch 9
elasticsearch·docker
G皮T1 天前
【Elasticsearch】检索高亮
大数据·elasticsearch·搜索引擎·全文检索·kibana·检索·高亮
大只鹅2 天前
解决 Spring Boot 对 Elasticsearch 字段没有小驼峰映射的问题
spring boot·后端·elasticsearch
HGW6892 天前
基于 Elasticsearch 实现地图点聚合
java·elasticsearch·高德地图
小袁拒绝摆烂2 天前
ElasticSearch快速入门-1
大数据·elasticsearch·搜索引擎
GISer_Jing3 天前
Git协作开发:feature分支、拉取最新并合并
大数据·git·elasticsearch