ELK收集nginx日志

配置nginx 正则表达式

路径:

bash 复制代码
/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns

正则表达式:

bash 复制代码
URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*

NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] 
"(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} 
(?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

然后配置logstash 的conf.d的目录

新建nginx.conf

bash 复制代码
input {
      file {
            path => "/var/log/nginx/access.log"
            type => "nginx-log"
            start_position => "beginning"

}
}
filter{
         grok{

         match => {"message" => "%{NGINXACCESS}"}
}

}
output {
          elasticsearch {

              hosts => "192.168.253.225:9200"
              index => "nginx_log-%{+YYYY.MM.dd}"

重启 logstash

bash 复制代码
systemctl restart logstash

压力测试

bash 复制代码
yum -y install epel-release httpd-tools

ab  -n  1000  -c  200 http://192.168.253.232/index.html

这个是测试报错信息的

bash 复制代码
/usr/share/logstash/bin/logstash -rf /etc/logstash/conf.d/nginx.conf

然后去kibana

创建索引

定制日志趋势图

粉丝福利

相关推荐
li37149089035 分钟前
nginx报400bad request 请求头过大异常处理
java·运维·nginx
久曲健的测试窝41 分钟前
Jenkins Share Library教程 —— 开发入门
运维·servlet·jenkins
游戏开发爱好者81 小时前
FTP 抓包分析实战,命令、被动主动模式要点、FTPS 与 SFTP 区别及真机取证流程
运维·服务器·网络·ios·小程序·uni-app·iphone
默 语2 小时前
AI驱动软件测试全流程自动化:从理论到实践的深度探索
运维·人工智能·驱动开发·ai·自动化·ai技术·测试全流程
望获linux2 小时前
【实时Linux实战系列】实时 Linux 的自动化基准测试框架
java·大数据·linux·运维·网络·elasticsearch·搜索引擎
ajax_beijing2 小时前
k8s的ReplicaSet介绍
运维·云原生
风清再凯4 小时前
01-ELK安装ES,ES-head
大数据·elk·elasticsearch
Lacrimosa&L4 小时前
操作系统概述
运维
Guheyunyi4 小时前
风险感知中枢:监测预警系统的架构与核心
大数据·运维·安全·重构·架构·自动化