日志实时数据监控的探索与实践(四)

Nginx日志

可获取网络层信息,如:接口、机房、HTTP状态码、域名、IP、RT时间等,我们对这些信息进行实时聚合、监控、报警后二次分析,进行精细化告警,提供排查方向,极大提高排查效率

前端投递日志

后端监控到的响应时间,往往不能完全真实反映用户的网络状况,因此我们在关键业务相关页面,进行接口相关数据投递,从用户侧反映后端接口状态,更具有价值。目前监控维度包括页面加载耗时、后端接口耗时、静态资源耗时等,区分地区、地域、运营商等信息。如通过指标分析出某个运营商、某个地区的用户请求存在较高延时,则可进一步调整对应DNS配置,从用户侧优化网络状态。

业务访问日志

业务返回的状态码,可从业务角度实时监测服务状态,提取ERROR日志,进行实时分析告警;比如鉴权业务,00508代表平台值不匹配,对应业务可能存在编辑划价错误;实现方式同异常告警相似,同样进行了问题分析定位,给与排查方向。

业务异常日志

对于业务来说,每一次异常都代表了系统间的一个问题,就是隐藏的一次客诉,比如ResourceAccessException超时问题、NEP空指针问题、UnknownHostExcepiton解析问题,都会对线上用户带来影响;

网络运维数据

以往线上机器数量及流量配比,多依赖于运维经验,容易出现错误;利用Nginx日志,可离线统计每日流量峰值,进一步分析机器数量,提出优化建议,提高机器利用率,避免机器浪费;同时检测Nginx机房流量不均问题,提供予运维人员以数据指导,极大增加了操作的安全性、及时性。

提供网络拓扑、流量拓扑等功能,也能进一步增加开发人员对网络感知

相关推荐
lisanmengmeng4 小时前
搭建elk环境并接入frostmourne,实现监控报警效果(五)
开发语言·elk·日志·日志监控
七夜zippoe14 小时前
DolphinDB 2.x 集群监控运维平台实战:从指标采集到告警自愈
运维·集群·监控·告警·dolphindb·指标采集
七夜zippoe1 天前
基于 DolphinDB 2.x 的系统性能调优实战:从监控、分析到优化验证的全链路指南
性能调优·监控·分析·dolphindb·优化验证
不积跬步无以至千里1 天前
服务器端性能测试判断磁盘瓶颈的方法
磁盘·监控·性能·分析·lsblk·iostat·瓶颈
lisanmengmeng1 天前
搭建elk环境并接入frostmourne,实现监控报警效果(四)
elk·日志·日志监控
lisanmengmeng3 天前
搭建elk环境并接入frostmourne,实现监控报警效果(e二)
elk·监控·日志·日志监控
深念Y4 天前
订阅管理及节点过滤实践(技术笔记)
linux·网络·arm·优化·日志·工具·soc
weixin_431600448 天前
NestJS 入门(10):日志——为什么常用 Winston?
后端·学习·日志·nest.js·winston
2651940511264808 天前
08-告警并发与多Master同步
go·监控
lisanmengmeng9 天前
飞书 API使用
飞书·监控·日志·日志监控·监控及日志