日志规范(K8s 结构化日志)

目标:采得到、查得快、能关联、合规可审计。所有日志统一为 JSON,且带可关联字段。

一、采集架构

复制代码
容器 stdout/stderr → Fluent Bit(DaemonSet) → Kafka(可选缓冲) → Loki → Grafana
  • 采集端:Fluent Bit(轻量,DaemonSet),自动附加 namespace/pod/container/node。
  • 存储:Loki(与 Prometheus/Grafana 同栈,成本低);审计类日志可单独 ES。

二、日志格式(结构化 JSON)

必带字段:

json 复制代码
{
  "timestamp": "2026-09-17T11:00:00.123Z",
  "level": "ERROR",
  "service": "order-service",
  "env": "prod",
  "trace_id": "a1b2c3d4...",
  "msg": "create order failed",
  "error": "TimeoutException",
  "latency_ms": 3200,
  "user_id": "u_12345"
}
  • level:DEBUG / INFO / WARN / ERROR / FATAL
  • trace_id:有请求上下文时必须带,用于和链路追踪关联下钻
  • 时间戳用 ISO8601 UTC

三、分级与打印纪律

  • 禁止打印敏感字段:手机号、身份证、token、密码、银行卡 → 采集端或代码层脱敏(如 138****8000)。
  • 控制频率:避免每秒上万条;批量/采样,必要时降级为计数。
  • 单行大小限制(如 < 16KB),避免撑爆采集。
  • ERROR 必须含可定位信息(trace_id + 关键参数 + 异常类型),不要只写 "error"。

四、留存与成本

级别 留存 说明
DEBUG 3--7 天 排障用,短留
INFO 15--30 天
ERROR/FATAL 60--90 天 便于复盘
审计日志 180 天+ 合规要求,独立存储防篡改
  • 冷热分层:热存 SSD/Loki,冷数据转对象存储降成本。
  • 索引按 service/env 分,避免互相影响。

五、K8s 场景要点

  • 只采 stdout/stderr(标准输出),不进容器里捞文件。
  • 用 Pod annotation 自动附加业务标签。
  • 多租户:按 namespace 路由到不同 Loki 流/索引。

六、日志告警

  • 错误率突增:同服务 ERROR 分钟级计数超阈值 → 告警(配合指标更准)。
  • 关键字:如 OutOfMemoryError、Connection refused、PANIC。
  • 关联:日志告警携带 trace_id,点击直接跳链路。
相关推荐
冬奇Lab3 小时前
一天一个开源项目(第263篇):江山时序 —— 纯静态的中国历史交互地图,从三家分晋拖到今天,还能让 AI 查地名
开源
wflynn5 小时前
GitHub 日榜趋势速报 | 2026-11-18
开源·github
Pniubi7 小时前
SoduWork开源贡献日记——开源贡献入门教程
开源
无足鸟ICT7 小时前
【RHCA+】sosreport(收集诊断文档)
linux·运维·服务器
IT大白鼠8 小时前
当 AI 开始自动化渗透:FBI ARTEX 警报的防守对策
运维·人工智能·自动化
Yeautumn8 小时前
给 Antigravity 搓了个「主 Carbon + 副 Neon」混合编排插件:让顶配模型当包工头,快手模型并发干活
开源
Decay__8 小时前
SQLServer 运维自动化平台 —— PowerShell + SQL Agent 作业:部署、监控、巡检、告警、工单闭环一体化
运维·数据库·sql·mysql·架构
A-刘晨阳9 小时前
K8S 二进制集群搭建(一主两从)v1.37.2 版本
运维·云原生·容器·kubernetes·calico·nerdctl
tonydf9 小时前
没完了,Nginx又报新漏洞!
运维·nginx
瑞雪兆丰年兮10 小时前
Linux零基础快速入门-第二章 Linux基础命令
linux·运维·服务器