日志实时数据监控的探索与实践(四)

Nginx日志

可获取网络层信息,如:接口、机房、HTTP状态码、域名、IP、RT时间等,我们对这些信息进行实时聚合、监控、报警后二次分析,进行精细化告警,提供排查方向,极大提高排查效率

前端投递日志

后端监控到的响应时间,往往不能完全真实反映用户的网络状况,因此我们在关键业务相关页面,进行接口相关数据投递,从用户侧反映后端接口状态,更具有价值。目前监控维度包括页面加载耗时、后端接口耗时、静态资源耗时等,区分地区、地域、运营商等信息。如通过指标分析出某个运营商、某个地区的用户请求存在较高延时,则可进一步调整对应DNS配置,从用户侧优化网络状态。

业务访问日志

业务返回的状态码,可从业务角度实时监测服务状态,提取ERROR日志,进行实时分析告警;比如鉴权业务,00508代表平台值不匹配,对应业务可能存在编辑划价错误;实现方式同异常告警相似,同样进行了问题分析定位,给与排查方向。

业务异常日志

对于业务来说,每一次异常都代表了系统间的一个问题,就是隐藏的一次客诉,比如ResourceAccessException超时问题、NEP空指针问题、UnknownHostExcepiton解析问题,都会对线上用户带来影响;

网络运维数据

以往线上机器数量及流量配比,多依赖于运维经验,容易出现错误;利用Nginx日志,可离线统计每日流量峰值,进一步分析机器数量,提出优化建议,提高机器利用率,避免机器浪费;同时检测Nginx机房流量不均问题,提供予运维人员以数据指导,极大增加了操作的安全性、及时性。

提供网络拓扑、流量拓扑等功能,也能进一步增加开发人员对网络感知

相关推荐
goehou4 天前
Agent 卡在第三步,怎么查,一次请求的可观测性
llm·agent·日志·trace·可观测性
青山科技分享4 天前
跨境电商卖家如何用AI监控竞品价格和动态?
监控·卖家·盯着
鸿观工坊6 天前
Prometheus 监控报告编写:SLO报告
监控
vivo互联网技术7 天前
域名埋点零侵入实时校验实践:基于代理转发与规则驱动的工具设计
前端·测试·监控·代理·埋点
Sayai7 天前
Elasticsearch Rollup 汇算索引实战:监控指标多粒度预聚合查询,附 painless 时间窗取每日最新值
大数据·运维·elasticsearch·搜索引擎·性能优化·监控
数据库小学妹9 天前
数据库运维五级成熟度:监控、备份、高可用怎么串起来
运维·数据库·监控
.冰块.10 天前
ELK 日志分析系统实验:部署 Elasticsearch 双节点集群实现 Apache 日志采集与 Kibana 可视化
elk·elasticsearch·apache·日志
fengkai454513 天前
十三、Zabbix 监控
运维·服务器·zabbix·监控·网络设备
fengkai454513 天前
十四、ELK 企业日志分析系统
运维·elk·日志