ELK实现nginx、mysql、http的日志可视化实验

ELK(Elasticsearch, Logstash, Kibana)是一个强大的日志管理和分析平台,可以实现对nginx、mysql和http日志的可视化。本文将详细介绍如何配置ELK来实现这些日志的可视化。

一、环境准备

1. 安装Elasticsearch
复制代码
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch
2. 安装Logstash
复制代码
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
tar -xzf logstash-7.10.2.tar.gz
cd logstash-7.10.2
3. 安装Kibana
复制代码
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz
cd kibana-7.10.2-linux-x86_64
./bin/kibana

二、配置Logstash

Logstash需要配置文件来处理nginx、mysql和http日志。创建以下配置文件:

1. Nginx日志配置

logstash-7.10.2/config目录下创建文件 nginx.conf

复制代码
input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs"
  }
  stdout { codec => rubydebug }
}
2. MySQL日志配置

logstash-7.10.2/config目录下创建文件 mysql.conf

复制代码
input {
  file {
    path => "/var/log/mysql/mysql.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{GREEDYDATA:log_message}" }
  }
  date {
    match => [ "timestamp" , "ISO8601" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
  stdout { codec => rubydebug }
}
3. HTTP日志配置

logstash-7.10.2/config目录下创建文件 http.conf

复制代码
input {
  file {
    path => "/var/log/httpd/access_log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "http-logs"
  }
  stdout { codec => rubydebug }
}

三、启动Logstash

分别启动Logstash实例来处理不同的日志:

复制代码
cd logstash-7.10.2
bin/logstash -f config/nginx.conf
bin/logstash -f config/mysql.conf
bin/logstash -f config/http.conf
​

四、配置Kibana

1. 访问Kibana

打开浏览器,访问 http://localhost:5601,进入Kibana界面。

2. 创建Index Pattern

在Kibana中创建索引模式:

  • 进入 Management > Index Patterns
  • 点击 Create Index Pattern
  • 分别创建 nginx-logsmysql-logshttp-logs的索引模式。
3. 可视化日志数据

在Kibana的 Discover页面,可以选择不同的索引模式查看日志数据。你可以创建各种可视化,如饼图、柱状图和线图,来分析日志数据。

相关推荐
_码农121389 分钟前
spring boot + mybatis + mysql 只有一个实体类的demo
spring boot·mysql·mybatis
IT-david3 小时前
MySQL分析步
mysql
止水编程 water_proof4 小时前
MySQL——事务详解
数据库·mysql
MX_93594 小时前
使用Nginx部署前端项目
运维·前端·nginx
srrsheng4 小时前
电商前端Nginx访问日志收集分析实战
运维·前端·nginx
不似桂花酒5 小时前
数据库小知识
数据库·sql·mysql
Warren985 小时前
MySQL查询语句详解
java·开发语言·数据库·mysql·算法·蓝桥杯·maven
多读书1935 小时前
MYSQL:JDBC编程
数据库·mysql
胡西风_foxww6 小时前
Vue2 项目实现 Gzip 压缩全攻略:从配置到部署避坑指南
nginx·部署·vue2·配置·gzip·压缩·攻略
孫治AllenSun8 小时前
【Mysql】联合索引生效分析案例
java·数据库·mysql