ELK实现nginx、mysql、http的日志可视化实验

ELK(Elasticsearch, Logstash, Kibana)是一个强大的日志管理和分析平台,可以实现对nginx、mysql和http日志的可视化。本文将详细介绍如何配置ELK来实现这些日志的可视化。

一、环境准备

1. 安装Elasticsearch
复制代码
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch
2. 安装Logstash
复制代码
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
tar -xzf logstash-7.10.2.tar.gz
cd logstash-7.10.2
3. 安装Kibana
复制代码
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz
cd kibana-7.10.2-linux-x86_64
./bin/kibana

二、配置Logstash

Logstash需要配置文件来处理nginx、mysql和http日志。创建以下配置文件:

1. Nginx日志配置

logstash-7.10.2/config目录下创建文件 nginx.conf

复制代码
input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs"
  }
  stdout { codec => rubydebug }
}
2. MySQL日志配置

logstash-7.10.2/config目录下创建文件 mysql.conf

复制代码
input {
  file {
    path => "/var/log/mysql/mysql.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{GREEDYDATA:log_message}" }
  }
  date {
    match => [ "timestamp" , "ISO8601" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
  stdout { codec => rubydebug }
}
3. HTTP日志配置

logstash-7.10.2/config目录下创建文件 http.conf

复制代码
input {
  file {
    path => "/var/log/httpd/access_log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "http-logs"
  }
  stdout { codec => rubydebug }
}

三、启动Logstash

分别启动Logstash实例来处理不同的日志:

复制代码
cd logstash-7.10.2
bin/logstash -f config/nginx.conf
bin/logstash -f config/mysql.conf
bin/logstash -f config/http.conf
​

四、配置Kibana

1. 访问Kibana

打开浏览器,访问 http://localhost:5601,进入Kibana界面。

2. 创建Index Pattern

在Kibana中创建索引模式:

  • 进入 Management > Index Patterns
  • 点击 Create Index Pattern
  • 分别创建 nginx-logsmysql-logshttp-logs的索引模式。
3. 可视化日志数据

在Kibana的 Discover页面,可以选择不同的索引模式查看日志数据。你可以创建各种可视化,如饼图、柱状图和线图,来分析日志数据。

相关推荐
叁沐1 小时前
MySQL 33 我查这么多数据,会不会把数据库内存打爆?
mysql
Molesidy2 小时前
【Docker】基于Ubuntu的Docker的日常使用方法
nginx·ubuntu·docker
程序新视界4 小时前
三种常见的MySQL数据库设计最佳实践
数据库·后端·mysql
没有bug.的程序员4 小时前
MySQL 安全与权限管理:从基础到生产级安全实践
java·mysql·安全·adb·权限
数据与人5 小时前
MySQL 8.0 InnoDB ReplicaSet 完整配置指南与切换
数据库·mysql·adb
合作小小程序员小小店6 小时前
web网页开发,在线%推荐算法学院培养计划,图书推荐,基于Python,FlaskWeb,用户和物品推荐MySql
python·mysql·算法·flask·推荐算法
用手码出世界6 小时前
MySQL存储过程
mysql
qq_417908447 小时前
com.mysql.cj.jdbc.Driver 解析
数据库·mysql
我要升天!8 小时前
MySQL表的内连和外连
android·mysql·adb
华农第一蒟蒻9 小时前
谈谈跨域问题
java·后端·nginx·安全·okhttp·c5全栈