ELK实现nginx、mysql、http的日志可视化实验

ELK(Elasticsearch, Logstash, Kibana)是一个强大的日志管理和分析平台,可以实现对nginx、mysql和http日志的可视化。本文将详细介绍如何配置ELK来实现这些日志的可视化。

一、环境准备

1. 安装Elasticsearch
复制代码
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch
2. 安装Logstash
复制代码
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
tar -xzf logstash-7.10.2.tar.gz
cd logstash-7.10.2
3. 安装Kibana
复制代码
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz
cd kibana-7.10.2-linux-x86_64
./bin/kibana

二、配置Logstash

Logstash需要配置文件来处理nginx、mysql和http日志。创建以下配置文件:

1. Nginx日志配置

在 logstash-7.10.2/config目录下创建文件 nginx.conf:

复制代码
input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs"
  }
  stdout { codec => rubydebug }
}
2. MySQL日志配置

在 logstash-7.10.2/config目录下创建文件 mysql.conf:

复制代码
input {
  file {
    path => "/var/log/mysql/mysql.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{GREEDYDATA:log_message}" }
  }
  date {
    match => [ "timestamp" , "ISO8601" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
  stdout { codec => rubydebug }
}
3. HTTP日志配置

在 logstash-7.10.2/config目录下创建文件 http.conf:

复制代码
input {
  file {
    path => "/var/log/httpd/access_log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "http-logs"
  }
  stdout { codec => rubydebug }
}

三、启动Logstash

分别启动Logstash实例来处理不同的日志:

复制代码
cd logstash-7.10.2
bin/logstash -f config/nginx.conf
bin/logstash -f config/mysql.conf
bin/logstash -f config/http.conf
​

四、配置Kibana

1. 访问Kibana

打开浏览器,访问 http://localhost:5601,进入Kibana界面。

2. 创建Index Pattern

在Kibana中创建索引模式:

  • 进入 Management > Index Patterns。
  • 点击 Create Index Pattern。
  • 分别创建 nginx-logs、mysql-logs和 http-logs的索引模式。
3. 可视化日志数据

在Kibana的 Discover页面,可以选择不同的索引模式查看日志数据。你可以创建各种可视化,如饼图、柱状图和线图,来分析日志数据。

相关推荐
小Ti客栈2 小时前
MySQL 常用函数速查(完整篇)
数据库·mysql·adb
nice_lcj5205 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走
数据库·mysql·面试·binlog·读写分离·主从复制
Decay__6 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
Csvn10 小时前
Nginx 反向代理入门:proxy_pass 两种形态、超时链与 502/504 分辨
后端·nginx
开开心心就好10 小时前
PDF水印怎么去掉?勾选对象再点匹配
java·前端·mysql·支持向量机·pdf·音视频·模拟退火算法
飞奔的瓜牛11 小时前
ELK + Filebeat 实战:从零搭建日志采集与分析平台
运维·elk
yyuuuzz12 小时前
nginx 502 排查,先看上游超时那一行
android·java·运维·nginx·502
csdn_aspnet16 小时前
Docker 啟動MySQL Server連上MySQL Workbench
mysql·docker·容器
月夏16 小时前
我把全栈项目塞进已有 nginx 的服务器,卡我最久的是三个斜杠
nginx·react.js·docker
飞奔的瓜牛1 天前
Nginx 实现TCP与UDP转发:新版与老版本配置详解
tcp/ip·nginx·udp