【ElasticSearch】logstash-conf文件mysql多数据源配置

logstash-conf文件mysql多数据源导入es配置说明

复制代码
# input plugin 输入插件,接收事件源
input {
    jdbc {
        # 定义类型_1 
        type => "type_1"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
        # 定义类型_2 
        type => "type_2"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
input {
    jdbc {
          # 定义类型_3 
        type => "type_3"
        
        # mysql的ip、端口以及用到的数据库名
        jdbc_connection_string => "jdbc:mysql://localhost:3306/数据库名"
        # mysql用户名
        jdbc_user => ""
        # mysql密码
        jdbc_password => ""
        # mysql驱动(根据mysql版本进行配置,8.0.12及以上版本驱动为com.mysql.cj.jdbc.Driver)
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # 进行连接校验
        jdbc_validate_connection => true
        # 设置时区
        jdbc_default_timezone => "Asia/Shanghai"
        # 设置分页
        jdbc_paging_enabled => "true"
        # 设置分页模式
        jdbc_paging_mode => "explicit"
        # 设置分页大小
        jdbc_page_size => "1000"
        # mysql-connector-java-5.1.47.jar包绝对路径
        jdbc_driver_library => "/xxx/xxx/mysql-connector-java-5.1.47.jar"
        # 可直接写sql或调用存储过程
        statement => ""
        # 同步频率(分 时 天 月 年)。
        #(* * * * *)或(1 * * * *)每分钟执行一次
        #(* 2 * * *)每天2点执行
        #(10 8 * * *)每天8点10分执行
        schedule => "* 3 * * *"
    }  
}
 
 
#output plugin  输出插件,将事件发送到特定目标。
output {
    if [type] == "type_1" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    if [type] == "type_2" {
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # es索引
            index => "xxx"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
            
            # 创建索引的时候若是需要指定mapping结构,则需使用以下配置
            # xdr_cent_busi_index_p_mapping.txt文件的绝对路径
            #template => "/home/lvlh/soft/logstash-8.4.1/config/"
            #template_name => "xdr_cent_busi_index_p_mapping.txt"
            #template_overwrite => true
        }
    }
    else{
        elasticsearch {
            # es地址,多个逗号隔开
            hosts => ["localhost:9200"]
            # 索引(每天生成一个索引)
            index => "xxx_%{+YYYYMMdd}"
            # es账号
            user => "elastic"
            # es密码
            password => "123456"
        }
    }
}
相关推荐
liliangcsdn2 小时前
如何基于ElasticsearchRetriever构建RAG系统
大数据·elasticsearch·langchain
相与还3 小时前
IDEA和GIT实现cherry pick拣选部分变更到新分支
git·elasticsearch·intellij-idea
Elastic 中国社区官方博客8 小时前
Simple MCP Client - 连接到 Elasticsearch MCP 并进行自然语言搜索
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
会飞的小蛮猪9 小时前
ELK运维之路(Logstash测试案例1)
elasticsearch·kibana·logstash
tcwgq11 小时前
Centos Stream 8 搭建Cas Server
linux·elasticsearch·centos
yumgpkpm12 小时前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
yumgpkpm15 小时前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
Zhsh-715 小时前
centos配置ES和MYSQL自动备份
mysql·elasticsearch·centos
一键三联啊16 小时前
【GIT】错误集锦及解决方案
大数据·elasticsearch·搜索引擎
Su-RE17 小时前
【ElasticSearch】text 和 keyword 类型区分
java·数据库·elasticsearch