Logstash同步ES索引数据

Logstash同步ES索引数据

一,软件下载地址

https://www.elastic.co/cn/downloads/past-releases#logstash-oss

建议使用版本和elasticsearch版本一致,本次教程使用7.9.3版本

二、安装配置

bash 复制代码
tar -zxvf  logstash-oss-7.9.3.tar.gz
cd logstash-7.9.3/config
cp logstash-sample.conf logstash.conf

配置文件 logstash.conf 内容:

bash 复制代码
input{
    elasticsearch{
        # 源端地址
        hosts =>  ["172.16.7.77:9200","172.16.7.78:9200","172.16.7.79:9200"]
        # 安全集群配置登录用户名密码
         user => "admin"
         password => "12345678"
        # 需要迁移的索引列表,以逗号分隔,基于机器实际信息填写,-.*表示排除.开始的索引。
        # index =>"know_info,share_info,test_01,logistics_keyword,notice,ask_info,shop_v2,pinyin2,jjkl_company,cmm_resources_info,user_test,demo,employment,auth_log,machine_info,look,down_num,stars,notice_project,nginx_access_log"
        index => "nginx_access_log"
        # 以下三项保持默认即可,包含线程数和迁移数据大小和logstash jvm配置相关
        docinfo=>true
        # 默认不变,如果需要增加迁移速度可以适当调高以下两个参数,但是需要保证机器配置
        slices => 3
        size => 3000
        # 使用https配置,华为云需要指定ca_file ,文件在控制台下载自行上传
        # SSL默认为false
        ssl => true
        ca_file => "/opt/es/logstash-7.9.3/CloudSearchService-dev.cer"
    }
}

filter {
  # 去掉一些logstash自己加的字段
  mutate {
    remove_field => ["@timestamp", "@version"]
  }
}

output{
    elasticsearch{
        # 目的端es地址
        hosts => ["172.16.10.66:9200"]
        # 目的端索引名称,以下配置为和源端保持一致
	    user => "elastic"
        password => "123456789"
        index => "%{[@metadata][_index]}"
        # 目的端索引type,以下配置为和源端保持一致
        # document_type => "%{[@metadata][_type]}"
        # 目标端数据的_id,如果不需要保留原_id,可以删除以下这行,删除后性能会更好
        document_id => "%{[@metadata][_id]}"
        ilm_enabled => false
        manage_template => false
        # inptu和output的证书写法不一样
        # cacert => "/opt/logstash-7.9.3/config/CloudSearchService.cer"
    }
}

校验配置文件:bin/logstash -f config/logstash.conf -t

启动:bin/logstash -f config/logstash.conf

相关推荐
在未来等你14 小时前
Elasticsearch面试精讲 Day 17:查询性能调优实践
大数据·分布式·elasticsearch·搜索引擎·面试
大数据CLUB17 小时前
基于spark的澳洲光伏发电站选址预测
大数据·hadoop·分布式·数据分析·spark·数据开发
ratbag67201317 小时前
当环保遇上大数据:生态环境大数据技术专业的课程侧重哪些领域?
大数据
计算机编程小央姐19 小时前
跟上大数据时代步伐:食物营养数据可视化分析系统技术前沿解析
大数据·hadoop·信息可视化·spark·django·课程设计·食物
智数研析社19 小时前
9120 部 TMDb 高分电影数据集 | 7 列全维度指标 (评分 / 热度 / 剧情)+API 权威源 | 电影趋势分析 / 推荐系统 / NLP 建模用
大数据·人工智能·python·深度学习·数据分析·数据集·数据清洗
全栈工程师修炼指南20 小时前
告别手动构建!Jenkins 与 Gitlab 完美协作,根据参数自动化触发CI/CD流水线实践
运维·ci/cd·自动化·gitlab·jenkins
潘达斯奈基~20 小时前
《大数据之路1》笔记2:数据模型
大数据·笔记
寻星探路20 小时前
数据库造神计划第六天---增删改查(CRUD)(2)
java·大数据·数据库
翰林小院1 天前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
孟意昶1 天前
Spark专题-第一部分:Spark 核心概述(2)-Spark 应用核心组件剖析
大数据·spark·big data