ELK收集nginx日志

配置nginx 正则表达式

路径:

bash 复制代码
/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns

正则表达式:

bash 复制代码
URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*

NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] 
"(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} 
(?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

然后配置logstash 的conf.d的目录

新建nginx.conf

bash 复制代码
input {
      file {
            path => "/var/log/nginx/access.log"
            type => "nginx-log"
            start_position => "beginning"

}
}
filter{
         grok{

         match => {"message" => "%{NGINXACCESS}"}
}

}
output {
          elasticsearch {

              hosts => "192.168.253.225:9200"
              index => "nginx_log-%{+YYYY.MM.dd}"

重启 logstash

bash 复制代码
systemctl restart logstash

压力测试

bash 复制代码
yum -y install epel-release httpd-tools

ab  -n  1000  -c  200 http://192.168.253.232/index.html

这个是测试报错信息的

bash 复制代码
/usr/share/logstash/bin/logstash -rf /etc/logstash/conf.d/nginx.conf

然后去kibana

创建索引

定制日志趋势图

粉丝福利

相关推荐
忍界英雄2 分钟前
在基于go开发的web应用中加入Nginx反向代理
nginx·golang
petaexpress8 分钟前
云存储的费用是多少?2024年最新价格表
运维·服务器·云存储·云存储的费用是多少·云存储的费用是多少最新·云存储费用
taolichao3043 分钟前
架设一台NFS服务器,按照要求配置
linux·运维·服务器
程序员yt43 分钟前
2025秋招八股文--服务器篇
linux·运维·服务器·c++·后端·面试
2301_8107301044 分钟前
RHCSA基础命令整理1
linux·运维·服务器
稳重的大王1 小时前
如何使用 NetBak PC Agent 备份和恢复 Windows 计算机或服务器?
运维·服务器
纪伊路上盛名在1 小时前
服务器与服务器之间文件上传下载
运维·服务器
小何学计算机1 小时前
Nginx 配置基于主机名的 Web 服务器
服务器·前端·nginx
云围1 小时前
Soanrquber集成Gitlab 之 导入Gitlab项目
运维·ci/cd·gitlab·devops
lishing61 小时前
Linux驱动开发(2):第一个内核模块
linux·运维·驱动开发