腾讯mini项目-【指标监控服务重构】2023-07-28

今日已办

项目对齐和问题

  1. 选择使用 otelzap 自主上报 而不是采集 docker 的 container 的日志
    • 后者会产生很多冗余不必要 的日志(包括其他容器),会消耗大量 clickhouse 的存储空间,这与我们一开始追求的性能资源指标违背
    • 后者的配置(排除其他容器、解析器 - 解析 trace_id 关联 trace)比较复杂 ,前置的使用更加简单,并且可以自主添加附属属性来辅组过滤、筛选的功能,结合 signoz log 的 query 快速的定位日志,同样方便与 trace 相关联
  2. 优化了otelclient的初始化逻辑
  3. 同一个 Trace 的 不同 Span(有顺序的)存在时间重叠,没有完全衔接的问题
    • 官方示例也存在,Traefik 也存在
    • 组员反馈在本地运行 profile (不用 docker)就不会出现该问题
  4. Signoz Web 的 Service Map 无法观察到已存在的服务【待解决】

Showcase

使用 SigNoz Web 展示了 上报 Trace、Metric、Log 的效果

会议记录:

  1. 使用 backend_id 而不是 id 作为 trace 的关联
  2. 整个链路都要带上 backend_id,调研是否有让 trace 带 attribute 的方法,而不是每个 span 都手动加上
  3. 导师评论完代码

明日待办

  • 根据导师的建议和代码 comment 来修改代码
相关推荐
-KamMinG5 小时前
解决 ClickHouse 备份性能问题:从原生 BACKUP 迁移到 clickhouse-backup 的实战经验
clickhouse
秋邱6 小时前
智启未来:AGI 教育融合 × 跨平台联盟 × 个性化空间,重构教育 AI 新范式开篇:一场 “教育 ×AI” 的范式革命
人工智能·python·重构·推荐算法·agi
喵个咪7 小时前
go-kratos-admin 快速上手指南:从环境搭建到启动服务(Windows/macOS/Linux 通用)
vue.js·go
码一行7 小时前
Eino AI 实战: Eino 的文档加载与解析
后端·go
码一行7 小时前
Eino AI 实战:DuckDuckGo 搜索工具 V1 与 V2
后端·go
代码扳手8 小时前
Golang 高效内网文件传输实战:零拷贝、断点续传与 Protobuf 指令解析(含完整源码)
后端·go
zhuyasen20 小时前
Go Web 开发利器:如何让你的 Gin 服务拥有 Nginx 般的静态文件处理能力?
nginx·go·gin
爷_20 小时前
Golang: sqlc 和 goose 最佳实践
后端·go·全栈
喵个咪1 天前
go-kratos-admin 技术栈深度解析:为什么选 Golang+Vue3 这套组合?
vue.js·go
码一行1 天前
Go.1.25.4 和 Go.1.24.10 发布了!!
后端·go