腾讯mini项目-【指标监控服务重构】2023-07-27

今日已办

SigNoz Log Management

• SigNoz原生支持 OpenTelemetry 来收集日志，SigNoz 在收集器端进行了优化，为SigNoz中的日志添加了不同的功能。

• OpenTelemetry 提供了各种接收器和处理器，用于直接通过 OpenTelemetry Collector 或通过 FluentBit 等现有代理收集第一方和第三方日志，以便只需进行最少的更改即可迁移到 OpenTelemetry 以获取日志

Collecting legacy first-party Application Logs

• 应用程序内部构建，集成现有流行的日志库。可以添加 traceId 和 sapnId 等请求上下文，与 metric 和 trace 相关联
• 从文件和标准输出日志收集
• 直接到 receiver

Collecting third-party application logs

日志通常写入标准输出、文件或其他专用介质（例如应用程序的 Windows 事件日志）

Collecting system logs

• 系统日志在主机级别（可以是物理的、虚拟的或容器化的）写入的，并具有预定义的格式和内容
• 不能包含请求上下文的任何数据

Collecting Infrastructure Logs

• 与系统日志一样，基础设施组件（如 Docker 和 Kubernetes 事件）生成的基础设施日志缺少请求上下文
• 它可以通过资源上下文来丰富 - 有关节点、Pod 、容器等的信息

Collecting new first-party Application Logs

这就是典型的新应用程序使用OpenTelemetry API，SDK和现有日志库的方式

Storing logs in SigNoz

SigNoz Log Query Builder

• SQL 的简化版本，不支持嵌套和括号进行显示排序

SigNoz Collecting Docker container logs

• 禁用自动收集所有容器的日志
• 过滤/排除特定容器的日志

SigNoz Manage Dashboards

Import a Grafana Dashboard

Status: Experimental 【实验性】

在 0.11.3 release，添加了导入 Grafana 仪表板的功能。目前支持通过 JSON 和 Prometheus 作为支持的数据源导入。所有相关的元和格式信息（例如 Y 轴、图例格式等）也被保留和转换，以使其在 SigNoz 仪表板中工作。

To import the Grafana dashboard:

1. From the sidebar, choose Dashboards.
2. Select the New Dashboard button.
3. Select the Import Grafana JSON option, and then you are given two options
   1. Upload JSON File
   2. Paste JSON below
4. Import the JSON with one of the suggested methods
5. Confirm using the Load JSON button on the bottom left.

一但按照以上步骤操作成功，就可以看到一个新的 dashboard，如果有数据与 PromQL 查询匹配，它应该立即工作

注意：导入的仪表板可能具有变量，并且这些变量是从数据源复制的。查询类型不起作用，因为 SigNoz 支持使用 ClickHouse 查询变量。可能需要更新它们

Export as JSON

组会记录

1. Sevice Map 没有观察到
2. 一个 Trace 的 不同 Span 的时间节点没有完全衔接，可能是由于 span.end() 是异步调用的

优化 otelclient 的初始化逻辑 & 移除无用冗余代码

明日待办

1. 组长会议
2. showcase