微服务系列文章 之 Nginx状态监控日志分析详解

1、Nginx状态监控

Nginx提供了一个内置的状态信息监控页面可用于监控Nginx的整体访问情况,这个功能由ngx_http_stub_status_module模块进行实现。

使用nginx -V 2>&1 | grep -o with-http_stub_status_module命令检测当前Nginx是否有status功能,如果输出ngx_http_stub_status_module则说明是有的,如果没有可以在编译时加上此模块。

默认情况下,status是关闭的,我们需要开启,并指定uri来访问数据。

|---|------------------------------------------------------------------------------------------------------------------------------------------------------|
| | server { ``listen 80; ``server_name default_server; ``location ``/status { ``stub_status on; ``allow 114.247.125.227; ``} } |

allow配置只允许指定的Ip才能访问nginx status功能,去掉就是不限制。

重启Nginx之后,浏览器访问http://{IP}/status查看状态监控信息

  • Active connections:当前的客户端活动连接数(包含正在等待的客户端连接),相当于TCP连接状态处于Established和SYN_ACK
  • accepts: 已接受的客户端连接总数,即已被worker进程接收的连接
  • handled: 已被处理的连接总数
  • requests: 客户端的http请求总数
  • Reading: 当前正在读取的http请求数(读取到http请求首部)
  • Writing: 当前准备响应的连接数(写入到http响应首部)
  • Waiting: 当前处于等待的空闲客户端请求数, 等待的时间为Reading和Writing之间的间隔

采集到Nginx数据之后就可以用监控工具给监控起来了。

2、日志分析

Nginx默认的日志格式配置可以在/etc/nginx/nginx.conf中找到

|---|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | log_format main ``'$remote_addr - $remote_user [$time_local] "$request" ' ``'$status $body_bytes_sent "$http_referer" ' ``'"$http_user_agent" "$http_x_forwarded_for" $request_time $upstream_response_time'``; |

打印的日志实例

39.105.66.117 - mp [11/Sep/2019:19:03:01 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.040 0.040

39.105.66.117 - mp [11/Sep/2019:19:03:08 +0800] "POST /salesplatform-gateway/users HTTP/1.1" 200 575 "-" "Apache-HttpClient/4.5.5 (Java/1.8.0_161)" "-" 0.008 0.008

  • $remote_addr: 客户端的ip地址
  • $remote_user: 用于记录远程客户端的用户名称
  • $time_local: 用于记录访问时间和时区
  • $request: 用于记录请求的url以及请求方法
  • $status: 响应状态码
  • $body_bytes_sent: 给客户端发送的文件主体内容字节数
  • $http_referer: 可以记录用户是从哪个链接访问过来的
  • $http_user_agent: 用户所使用的浏览器信息
  • $http_x_forwarded_for: 可以记录客户端IP,通过代理服务器来记录客户端的ip地址
  • request_time: 指的是从接受用户请求的第一个字节到发送完响应数据的时间,即request_time包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间
  • $upstream_response_time: 用于接收来自上游服务器的响应的时间

常用分析命令

1、根据访问IP统计UV

|---|---------------------------------------------------------------------------------|
| | awk '{print $1}' paycenteraccess.log | ``sort -n | ``uniq | ``wc -l |

2、查询访问最频繁的IP(前10)

|---|---------------------------------------------------------------------------------------------------------------|
| | awk '{print $1}' /var/log/nginx/access``.log | ``sort -n |``uniq -c | ``sort -rn | ``head -n 10 |

3、查看某一时间段的IP访问量(1-8点)

|---|---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access``.log | ``awk '{print $1}' | ``sort | ``uniq -c| ``sort -nr |``wc -l |

4、查看访问100次以上的IP

|---|--------------------------------------------------------------------------------------------------------------------------------|
| | awk '{print $1}' /var/log/nginx/access``.log | ``sort -n |``uniq -c |``awk '{if($1 >100) print $0}'``|``sort -rn |

5、查看指定ip访问过的url和访问次数

|---|---------------------------------------------------------------------------------------------------------------------------|
| | grep "39.105.67.140" /var/log/nginx/access``.log|``awk '{print $7}' |``sort |``uniq -c |``sort -n -k 1 -r |

6、根据访问URL统计PV

|---|------------------------------------------------------------------------|
| | cat /var/log/nginx/access``.log |``awk '{print $7}' |``wc -l |

7、查询访问最频繁的URL(前10)

|---|------------------------------------------------------------------------------------------------------------|
| | awk '{print $7}' /var/log/nginx/access``.log | ``sort |``uniq -c | ``sort -rn | ``head -n 10 |

8、查看访问最频的URL([排除/api/appid])(前10)

|---|-------------------------------------------------------------------------------------------------------------------------------------------|
| | grep -``v '/api/appid' /var/log/nginx/access``.log|``awk '{print $7}' | ``sort |``uniq -c | ``sort -rn | ``head -n 10 |

9、查看页面访问次数超过100次的页面

|---|---------------------------------------------------------------------------------------------------------------------------------------|
| | cat /var/log/nginx/access``.log | ``cut -d ``' ' -f 7 | ``sort |``uniq -c | ``awk '{if ($1 > 100) print $0}' | ``less |

10、查看最近1000条记录,访问量最高的页面

|---|---------------------------------------------------------------------------------------------------------------|
| | tail -1000 ``/var/log/nginx/access``.log |``awk '{print $7}'``|``sort``|``uniq -c|``sort -nr|``less |

11、统计每小时的请求数,top10的时间点(精确到小时)

|---|-----------------------------------------------------------------------------------------------------------------------|
| | awk '{print $4}' /var/log/nginx/access``.log |``cut -c 14-15|``sort``|``uniq -c|``sort -nr|``head -n 10 |

12、统计每分钟的请求数,top10的时间点(精确到分钟)

|---|-----------------------------------------------------------------------------------------------------------------------|
| | awk '{print $4}' /var/log/nginx/access``.log |``cut -c 14-18|``sort``|``uniq -c|``sort -nr|``head -n 10 |

13、统计每秒的请求数,top10的时间点(精确到秒)

|---|-----------------------------------------------------------------------------------------------------------------------|
| | awk '{print $4}' /var/log/nginx/access``.log |``cut -c 14-21|``sort``|``uniq -c|``sort -nr|``head -n 10 |

14、查找指定时间段的日志

|---|------------------------------------------------------------------------------------------------------|
| | awk '$4 >="[25/Mar/2020:01:00:00" && $4 <="[25/Mar/2020:08:00:00"' /var/log/nginx/access``.log |

15、列出传输时间超过 0.6 秒的url,显示前10条

|---|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | cat /var/log/nginx/access``.log |``awk '(substr($NF,2,5) > 0.6){print $4,$7,substr($NF,2,5)}' | ``awk -F ``'"' '{print $1,$2,$3}' |``sort -k3 -rn | ``head -10 |

16、列出/api/appid请求时间超过0.6秒的时间点

|---|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | cat /var/log/nginx/access``.log |``awk '(substr($NF,2,5) > 0.6 && $7~/\/api\/appid/){print $4,$7,substr($NF,2,5)}' | ``awk -F ``'"' '{print $1,$2,$3}' |``sort -k3 -rn | ``head -10 |

17、获取前10条最耗时的请求时间、url、耗时

|---|------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | cat /var/log/nginx/access``.log |``awk '{print $4,$7,substr($NF,2,5)}' | ``awk -F ``'"' '{print $1,$2,$3}' | ``sort -k3 -rn | ``head -10 |

相关推荐
liulilittle2 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
武子康4 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
guts°6 小时前
17-VRRP
网络·智能路由器
Jewel Q6 小时前
动态路由协议基础
网络·智能路由器
宇称不守恒4.06 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
Dreams_l7 小时前
网络编程2(应用层协议,传输层协议)
运维·服务器·网络
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
先知后行。7 小时前
网络协议HTTP、TCP(草稿)
网络·网络协议
xzkyd outpaper7 小时前
QUIC协议如何在UDP基础上解决网络切换问题
网络·计算机网络·udp·quic
碳酸的唐8 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构