腾讯mini项目-【指标监控服务重构】2023-07-27

今日已办

SigNoz Log Management

  • SigNoz原生支持 OpenTelemetry 来收集日志,SigNoz 在收集器端进行了优化,为SigNoz中的日志添加了不同的功能。

  • OpenTelemetry 提供了各种接收器和处理器,用于直接通过 OpenTelemetry Collector 或通过 FluentBit 等现有代理收集第一方和第三方日志,以便只需进行最少的更改即可迁移到 OpenTelemetry 以获取日志

Collecting legacy first-party Application Logs

  • 应用程序内部构建,集成现有流行的日志库。可以添加 traceId 和 sapnId 等请求上下文,与 metric 和 trace 相关联
  • 从文件和标准输出日志收集
  • 直接到 receiver

Collecting third-party application logs

日志通常写入标准输出、文件或其他专用介质(例如应用程序的 Windows 事件日志)

Collecting system logs

  • 系统日志在主机级别(可以是物理的、虚拟的或容器化的)写入的,并具有预定义的格式和内容
  • 不能包含请求上下文的任何数据

Collecting Infrastructure Logs

  • 与系统日志一样,基础设施组件(如 Docker 和 Kubernetes 事件)生成的基础设施日志缺少请求上下文
  • 它可以通过资源上下文来丰富 - 有关节点、Pod 、容器等的信息

Collecting new first-party Application Logs

这就是典型的新应用程序使用OpenTelemetry API,SDK和现有日志库的方式

Storing logs in SigNoz

SigNoz Log Query Builder

  • SQL 的简化版本,不支持嵌套和括号进行显示排序

SigNoz Collecting Docker container logs

  • 禁用自动收集所有容器的日志
  • 过滤/排除特定容器的日志

SigNoz Manage Dashboards

Import a Grafana Dashboard

Status: Experimental 【实验性】

在 0.11.3 release,添加了导入 Grafana 仪表板的功能。目前支持通过 JSON 和 Prometheus 作为支持的数据源导入。所有相关的元和格式信息(例如 Y 轴、图例格式等)也被保留和转换,以使其在 SigNoz 仪表板中工作。

To import the Grafana dashboard:

  1. From the sidebar, choose Dashboards.
  2. Select the New Dashboard button.
  3. Select the Import Grafana JSON option, and then you are given two options
    1. Upload JSON File
    2. Paste JSON below
  4. Import the JSON with one of the suggested methods
  5. Confirm using the Load JSON button on the bottom left.

一但按照以上步骤操作成功,就可以看到一个新的 dashboard,如果有数据与 PromQL 查询匹配,它应该立即工作

注意:导入的仪表板可能具有变量,并且这些变量是从数据源复制的。查询类型不起作用,因为 SigNoz 支持使用 ClickHouse 查询变量。可能需要更新它们

Export as JSON

组会记录

  1. Sevice Map 没有观察到
  2. 一个 Trace 的 不同 Span 的时间节点没有完全衔接,可能是由于 span.end() 是异步调用的

优化 otelclient 的初始化逻辑 & 移除无用冗余代码

明日待办

  1. 组长会议
  2. showcase
相关推荐
里海_go1 天前
Go 语言内存管理机制详解
go
斐波那契数列1 天前
没有 JSX,也能在 Go 里写 React 风格 GUI:Tenon 的架构与性能实践
go
花椒技术1 天前
花椒语音房联机五子棋:Go 服务端如何保证一回合只落一颗子
websocket·go
上海潭龙东海科技有限公司1 天前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
Sailing1 天前
🚀客户端都超时了,你的 Go 服务还在查库?Context 取消链路不打通,连接池迟早被打爆
后端·面试·go
小满zs2 天前
Go语言第二十一章(Gin上传文件)
后端·go
我不会起名字3222 天前
Agent 总调错工具?MCP 接进 Go 后端的 4 个约束
后端·go·agent·mcp
AI英德西牛仔2 天前
智谱清言导出word指令失效?PC端深度用户正在用“AI导出鸭”重构内容归档流
人工智能·重构·word·excel·deepseek·ai导出鸭
其实防守也摸鱼3 天前
用 Claude Code 重构遗留系统:从评估到落地的完整指南
前端·网络·人工智能·chrome·安全·重构
dahaihua3334 天前
用 SysML 表达航电系统架构(附建模示例)
设计模式·重构·系统架构·集成测试·需求分析·学习方法