ELK收集nginx日志

配置nginx 正则表达式

路径:

bash 复制代码
/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns

正则表达式:

bash 复制代码
URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*

NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] 
"(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} 
(?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

然后配置logstash 的conf.d的目录

新建nginx.conf

bash 复制代码
input {
      file {
            path => "/var/log/nginx/access.log"
            type => "nginx-log"
            start_position => "beginning"

}
}
filter{
         grok{

         match => {"message" => "%{NGINXACCESS}"}
}

}
output {
          elasticsearch {

              hosts => "192.168.253.225:9200"
              index => "nginx_log-%{+YYYY.MM.dd}"

重启 logstash

bash 复制代码
systemctl restart logstash

压力测试

bash 复制代码
yum -y install epel-release httpd-tools

ab  -n  1000  -c  200 http://192.168.253.232/index.html

这个是测试报错信息的

bash 复制代码
/usr/share/logstash/bin/logstash -rf /etc/logstash/conf.d/nginx.conf

然后去kibana

创建索引

定制日志趋势图

粉丝福利

相关推荐
云飞云共享云桌面1 小时前
替代传统电脑的共享云服务器如何实现1拖8SolidWorks设计办公
linux·运维·服务器·网络·电脑·制造
AI云原生1 小时前
云原生系列Bug修复:Docker镜像无法启动的终极解决方案与排查思路
运维·服务器·python·docker·云原生·容器·bug
qyhua8 小时前
【Linux运维实战】彻底修复 CVE-2011-5094 漏洞
linux·运维·安全
九皇叔叔9 小时前
Linux Shell 正则表达式中的 POSIX 字符集:用法与实战
linux·运维·正则表达式
東雪蓮☆10 小时前
K8s 平滑升级
linux·运维·云原生·kubernetes
AKAMAI10 小时前
数据孤岛破局之战 :跨业务分析的难题攻坚
运维·人工智能·云计算
东巴图10 小时前
JavaScript性能优化实战大纲性能优化的核心目标
运维·matlab
站长朋友11 小时前
【邀请函】锐成信息 × Sectigo | CLM - SSL 证书自动化运维解决方案发布会
运维·自动化·ssl·clm·sectigo·47天ssl证书
惘嘫、冋渞11 小时前
CentOS 7 下 Nginx 编译后热重启方案
chrome·nginx·centos
qq_1838028711 小时前
Linux内核idr数据结构使用
linux·运维·服务器