ELK实现nginx、mysql、http的日志可视化实验

ELK(Elasticsearch, Logstash, Kibana)是一个强大的日志管理和分析平台,可以实现对nginx、mysql和http日志的可视化。本文将详细介绍如何配置ELK来实现这些日志的可视化。

一、环境准备

1. 安装Elasticsearch
复制代码
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.2-linux-x86_64.tar.gz
tar -xzf elasticsearch-7.10.2-linux-x86_64.tar.gz
cd elasticsearch-7.10.2
./bin/elasticsearch
2. 安装Logstash
复制代码
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.2.tar.gz
tar -xzf logstash-7.10.2.tar.gz
cd logstash-7.10.2
3. 安装Kibana
复制代码
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz
tar -xzf kibana-7.10.2-linux-x86_64.tar.gz
cd kibana-7.10.2-linux-x86_64
./bin/kibana

二、配置Logstash

Logstash需要配置文件来处理nginx、mysql和http日志。创建以下配置文件:

1. Nginx日志配置

logstash-7.10.2/config目录下创建文件 nginx.conf

复制代码
input {
  file {
    path => "/var/log/nginx/access.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "nginx-logs"
  }
  stdout { codec => rubydebug }
}
2. MySQL日志配置

logstash-7.10.2/config目录下创建文件 mysql.conf

复制代码
input {
  file {
    path => "/var/log/mysql/mysql.log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{GREEDYDATA:log_message}" }
  }
  date {
    match => [ "timestamp" , "ISO8601" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "mysql-logs"
  }
  stdout { codec => rubydebug }
}
3. HTTP日志配置

logstash-7.10.2/config目录下创建文件 http.conf

复制代码
input {
  file {
    path => "/var/log/httpd/access_log"
    start_position => "beginning"
  }
}

filter {
  grok {
    match => { "message" => "%{COMBINEDAPACHELOG}" }
  }
  date {
    match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
    index => "http-logs"
  }
  stdout { codec => rubydebug }
}

三、启动Logstash

分别启动Logstash实例来处理不同的日志:

复制代码
cd logstash-7.10.2
bin/logstash -f config/nginx.conf
bin/logstash -f config/mysql.conf
bin/logstash -f config/http.conf
​

四、配置Kibana

1. 访问Kibana

打开浏览器,访问 http://localhost:5601,进入Kibana界面。

2. 创建Index Pattern

在Kibana中创建索引模式:

  • 进入 Management > Index Patterns
  • 点击 Create Index Pattern
  • 分别创建 nginx-logsmysql-logshttp-logs的索引模式。
3. 可视化日志数据

在Kibana的 Discover页面,可以选择不同的索引模式查看日志数据。你可以创建各种可视化,如饼图、柱状图和线图,来分析日志数据。

相关推荐
骇客野人5 小时前
mysql笛卡尔积怎么形成的怎么避免笛卡尔积
数据库·mysql
unicrom_深圳市由你创科技7 小时前
用 CTE 重构嵌套子查询:让复杂报表 SQL 可读性提升 80%
mysql·重构
准时准点睡觉9 小时前
window安装MYSQL5.5出错:a windows service with the name MYSQL alreadyexists....
数据库·windows·mysql
帅帅梓11 小时前
ELK es+logstash
大数据·elk·elasticsearch
0wioiw012 小时前
Ubuntu(④Mysql)
linux·mysql·ubuntu
程序边界13 小时前
MySQL至KingbaseES迁移最佳实践(上篇):迁移准备与实施规划
数据库·mysql
kanimito13 小时前
开始改变第六天 MySQL(2)
数据库·mysql
码界奇点13 小时前
Java 开发日记MySQL 与 Redis 双写一致性策略挑战与实战解析
java·redis·sql·mysql·java-ee
小杨的全栈之路14 小时前
MySQL性能优化全攻略:从原理到实践
mysql
晓py14 小时前
理解 MySQL 架构:从连接到存储的全景视图
数据库·mysql·架构