elk对于集群实例的日志的整合-基于logstash采集日志

说明:基于logstash采集日志

环境:

物理机192.168.31.151

一.启动2个测试实例,每5-10s随机生成一条订单日志

实例一

包位置:/home/logtest/one/log-test-0.0.1-SNAPSHOT.jar

日志位置:/docker/elastic/logstash_ingest_data/logs/log-test-one.log

实例二

包位置:/home/logtest/two/log-test-0.0.1-SNAPSHOT.jar

日志位置:/docker/elastic/logstash_ingest_data/logs/log-test-two.log

二.配置/docker/elastic/logstash.conf

注:

  1. 配置文件中采集的/usr/share/logstash/ingest_data/logs是logstash容器内路径,与宿主机日志路径/docker/elastic/logstash_ingest_data/logs是bind关系
  2. 日志会被采集到es中的log-test-%{+YYYY.MM.dd}索引
  3. logstash采集时会自动给日志加上timestamp hostname等元数据,在kibana展示时就可以通过这些元数据筛选,排序

示例配置:

复制代码
input {
  # 输入插件配置,例如:file, beats, etc.
}

filter {
  # 过滤器插件配置,例如:grok, date, mutate, etc.
}

output {
  # 输出插件配置,例如:elasticsearch, stdout, etc.
}

实际配置:

复制代码
input {
    file {
      path => "/usr/share/logstash/ingest_data/logs/log-test-*.log"
      start_position => "beginning"
  }
}


filter {
}


output {
 elasticsearch {
   index => "log-test-%{+YYYY.MM.dd}"
   hosts => "${ELASTIC_HOSTS}"
   user => "${ELASTIC_USER}"
   password => "${ELASTIC_PASSWORD}"
   cacert => "certs/ca/ca.crt"
 }
 file {
  path => "/opt/mytest-%{+YYYY.MM.dd}.log"
  }
}

重启logstash,日志开始采集。

三.Kibana创建Data View(Index pattern设置为log-test*,用于匹配log-test-2024.06.20.log log-test-2024.06.19等日志)

四.查看日志

相关推荐
云动雨颤13 小时前
Linux卡在emergency mode怎么办?xfs_repair 命令轻松解决
linux·运维·服务器
亮子AI13 小时前
【Ubuntu】清理空间的几种方法
linux·运维·ubuntu
零基础的修炼13 小时前
Linux---进程信号
运维·服务器
Sopaco14 小时前
告别项目文档滞后:Litho(deepwiki-rs)在CI/CD中的自动化文档生成实践
运维·ci/cd·自动化
Maple_land15 小时前
Linux进程第五讲:PPID与bash的关联、fork系统调用的原理与实践操作(上)
linux·运维·服务器·centos·bash
风为你而吹15 小时前
【玩泰山派】4、制作ubuntu镜像-(6)使用鲁班猫的sdk去制作镜像
linux·运维·ubuntu
影子240116 小时前
Windows Server2016 服务器安装JDK,一直卡在“应用程序正在为首次使用作准备,请稍候” ,导致jdk安装失败解决方案
运维·服务器·windows·jdk
养生技术人16 小时前
Oracle OCP认证考试题目详解082系列第48题
运维·数据库·sql·oracle·database·开闭原则·ocp
_OP_CHEN16 小时前
Linux 系统编程:(一)从历史演进到 XShell 远程登录实操
linux·运维·服务器·centos·unix·xshell
罗技12317 小时前
Docker 启动 Easysearch 时自定义初始密码的几种方式
运维·docker·容器