ELK收集nginx日志

配置nginx 正则表达式

路径:

bash 复制代码
/usr/share/logstash/vendor/bundle/jruby/2.3.0/gems/logstash-patterns-core-4.1.2/patterns

正则表达式:

bash 复制代码
URIPARAM1 [A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*

NGINXACCESS %{IPORHOST:client_ip} (%{USER:ident}|- ) (%{USER:auth}|-) \[%{HTTPDATE:timestamp}\] 
"(?:%{WORD:verb} (%{NOTSPACE:request}|-)(?: HTTP/%{NUMBER:http_version})?|-)" %{NUMBER:status} 
(?:%{NUMBER:bytes}|-) "(?:%{URI:referrer}|-)" "%{GREEDYDATA:agent}"

然后配置logstash 的conf.d的目录

新建nginx.conf

bash 复制代码
input {
      file {
            path => "/var/log/nginx/access.log"
            type => "nginx-log"
            start_position => "beginning"

}
}
filter{
         grok{

         match => {"message" => "%{NGINXACCESS}"}
}

}
output {
          elasticsearch {

              hosts => "192.168.253.225:9200"
              index => "nginx_log-%{+YYYY.MM.dd}"

重启 logstash

bash 复制代码
systemctl restart logstash

压力测试

bash 复制代码
yum -y install epel-release httpd-tools

ab  -n  1000  -c  200 http://192.168.253.232/index.html

这个是测试报错信息的

bash 复制代码
/usr/share/logstash/bin/logstash -rf /etc/logstash/conf.d/nginx.conf

然后去kibana

创建索引

定制日志趋势图

粉丝福利

相关推荐
新*44 分钟前
Elasticsearch 索引别名入门:创建、路由、原子切换与几个常见误解
运维·后端·elasticsearch·索引别名
时间的拾荒人1 小时前
Shell 脚本核心语法详解(下篇):流程控制、函数、重定向与文件包含
linux·运维·服务器·bash·脚本编程
分布式存储与RustFS2 小时前
不用 Spark 也能建 Iceberg 表:用 PyIceberg 把表直接落到 RustFS S3 Tables
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
筑梦之人2 小时前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
进击的荆棘2 小时前
Linux网络——网络基础概念
linux·运维·服务器·网络
tianyuanwo2 小时前
QEMU 虚拟化入门:从“软件模拟一台电脑”到 KVM 时代的基础设施组件
运维·qemu·虚拟化
.YM.Z3 小时前
从操作系统进入Linux进程概念及进程状态
linux·运维·服务器
李纲明3 小时前
WordPress 打开站点却直接下载文件或源码而不显示页面:先核 PHP 处理规则,再查 443 是否被其他站接管
nginx·wordpress·443·php解析·站点配置·devdiy·直接下载
Decay__16 小时前
VMware 安装 SQL Server 双节点 AlwaysOn 可用性组教程 —— WSFC、AG 与侦听器完整部署(系列核心篇)
运维·数据库·sql·mysql·架构
测试界的小码农16 小时前
【Linux 命令实战(06):Linux 文件权限管理,掌握 chmod、chown、chgrp】
linux·运维·服务器