腾讯mini项目-【指标监控服务重构】2023-07-29

今日已办

根据导师代码评审的 comment 改进

  1. 修改命名 otelclient.otelExporterOtlpEndpoint to otelclient.endpoint
  2. 禁用 TLS 加密,移除 otelclient.insecureMode
  3. 避免命名缩写影响代码的阅读理解
  4. 把两个函数(createTraceExpcreateTraceProvider)合并
  5. 移除没有太大意义的封装handleErr
  6. 将 otel 初始化逻辑放到 consume 子命令中进行
  7. 还原 README.md 的内容
  8. 经过组员 郑兆隆 对 Log 逻辑的修改,Log 可以在 docker容器内部 和 SigNoz Web 都生效

调研

整个链路都要带上backend_id,调研是否有让trace带attribute的方法,而不是每个span都手动加上

Trace 下的所有 span

在使用 OpenTelemetry SDK 进行分布式追踪时,可以通过在 span 上设置属性(attribute)来添加自定义信息,以便更好地理解和调试应用程序的行为。要让一个 trace 下的所有 span 都带上 attribute,可以使用 OpenTelemetry SDK 提供的 Span Processor。

下面是一个示例代码,展示了如何使用 Span Processor 将指定的 attribute 添加到 trace 下的所有 span 中:

go 复制代码
package main

import (
	"context"

	"go.opentelemetry.io/otel"
	"go.opentelemetry.io/otel/attribute"
	"go.opentelemetry.io/otel/exporters/stdout"
	sdktrace "go.opentelemetry.io/otel/sdk/trace"
)

func main() {
	// 创建一个 stdout exporter,将 span 输出到控制台
	exporter, err := stdout.NewExporter(stdout.WithPrettyPrint())
	if err != nil {
		panic(err)
	}

	// 创建一个 trace provider,使用 stdout exporter 输出 span
	provider := sdktrace.NewTracerProvider(sdktrace.WithBatcher(exporter))

	// 设置全局 trace provider
	otel.SetTracerProvider(provider)

	// 创建一个 span processor,将指定的 attribute 添加到所有 span 中
	processor := sdktrace.NewSimpleSpanProcessor(func(span sdktrace.ReadOnlySpan) {
		span.SetAttributes(attribute.String("my_attribute", "my_value"))
	})

	// 将 span processor 添加到 trace provider 中
	provider.RegisterSpanProcessor(processor)

	// 创建一个新的 span
	tracer := otel.Tracer("example")
	ctx, span := tracer.Start(context.Background(), "my_span")
	defer span.End()

	// 在 span 上设置其他 attribute
	span.SetAttributes(attribute.String("another_attribute", "another_value"))

	// 执行其他操作...
}

在上面的示例代码中,使用 sdktrace.NewSimpleSpanProcessor 创建了一个简单的 Span Processor,该处理器会调用指定的函数,并将当前 span 作为参数传递给该函数。在该函数中,可以使用 span.SetAttributes 方法添加需要的 attribute。然后,将该 Span Processor 添加到 trace provider 中,即可让所有的 span 都带上该 attribute。

需要注意的是,Span Processor 对所有 span 生效,因此要谨慎使用,以避免影响性能和数据质量。如果只想让某些 span 带上 attribute,可以在创建 span 时手动设置。

特点 Trace 下的所有 span

如果只想在一个特定的 trace 的所有 span 中加上某个 attribute,可以使用 OpenTelemetry SDK 提供的 Span Processor,并且在创建 Span Processor 时指定一个 filter 函数,该函数可以根据 span 的 trace ID 或其他属性来判断是否需要对该 span 添加指定的 attribute。

下面是一个示例代码,展示了如何使用 Span Processor 和 filter 函数来只在特定 trace 的所有 span 中添加指定的 attribute:

go 复制代码
package main

import (
	"context"

	"go.opentelemetry.io/otel"
	"go.opentelemetry.io/otel/attribute"
	"go.opentelemetry.io/otel/exporters/stdout"
	sdktrace "go.opentelemetry.io/otel/sdk/trace"
)

func main() {
	// 创建一个 stdout exporter,将 span 输出到控制台
	exporter, err := stdout.NewExporter(stdout.WithPrettyPrint())
	if err != nil {
		panic(err)
	}

	// 创建一个 trace provider,使用 stdout exporter 输出 span
	provider := sdktrace.NewTracerProvider(sdktrace.WithBatcher(exporter))

	// 设置全局 trace provider
	otel.SetTracerProvider(provider)

	// 创建一个 span processor,将指定的 attribute 添加到指定 trace 下的所有 span 中
	processor := sdktrace.NewSimpleSpanProcessor(func(span sdktrace.ReadOnlySpan) {
		// 判断当前 span 是否属于指定的 trace
		if span.SpanContext().TraceID().String() == "my_trace_id" {
			// 如果是,将指定的 attribute 添加到该 span 上
			span.SetAttributes(attribute.String("my_attribute", "my_value"))
		}
	})

	// 将 span processor 添加到 trace provider 中
	provider.RegisterSpanProcessor(processor)

	// 创建一个新的 trace 和 span
	tracer := otel.Tracer("example")
	ctx, span := tracer.Start(context.Background(), "my_span")
	defer span.End()

	// 在 span 上设置其他 attribute
	span.SetAttributes(attribute.String("another_attribute", "another_value"))

	// 执行其他操作...
}

在上面的示例代码中,使用 sdktrace.NewSimpleSpanProcessor 创建了一个简单的 Span Processor,该处理器会调用指定的函数,并将当前 span 作为参数传递给该函数。在该函数中,可以使用 span.SpanContext().TraceID().String() 方法获取当前 span 的 trace ID,并根据需要判断是否需要对该 span 添加指定的 attribute。然后,将该 Span Processor 添加到 trace provider 中,即可让指定 trace 的所有 span 都带上该 attribute。

子 Span 继承父 Span 的属性

当一个 span 手动添加了属性后,它的子 span 并不会自动继承这些属性。但是,可以通过 OpenTelemetry SDK 提供的 Tracer.Start 方法的第二个参数来指定一个 trace.WithAttributes 选项,该选项可以让子 span 继承父 span 的属性。

下面是一个示例代码,展示了如何让子 span 集成父 span 的属性:

go 复制代码
package main

import (
	"context"

	"go.opentelemetry.io/otel"
	"go.opentelemetry.io/otel/attribute"
	"go.opentelemetry.io/otel/exporters/stdout"
	sdktrace "go.opentelemetry.io/otel/sdk/trace"
)

func main() {
	// 创建一个 stdout exporter,将 span 输出到控制台
	exporter, err := stdout.NewExporter(stdout.WithPrettyPrint())
	if err != nil {
		panic(err)
	}

	// 创建一个 trace provider,使用 stdout exporter 输出 span
	provider := sdktrace.NewTracerProvider(sdktrace.WithBatcher(exporter))

	// 设置全局 trace provider
	otel.SetTracerProvider(provider)

	// 创建一个新的 span
	tracer := otel.Tracer("example")
	ctx, parentSpan := tracer.Start(context.Background(), "parent_span",
		otel.WithAttributes(attribute.String("parent_attribute", "parent_value")),
	)
	defer parentSpan.End()

	// 创建一个子 span,并让其继承父 span 的属性
	ctx, childSpan := tracer.Start(ctx, "child_span",
		otel.WithAttributes(parentSpan.Attributes()...),
	)
	defer childSpan.End()

	// 在子 span 上设置其他属性
	childSpan.SetAttributes(attribute.String("child_attribute", "child_value"))

	// 执行其他操作...
}

在上面的示例代码中,首先在父 span 上设置了一个属性,然后在创建子 span 时,使用 trace.WithAttributes(span.Attributes()...) 选项将父 span 的属性传递给子 span,这样子 span 就可以继承父 span 的属性了。在子 span 上也可以继续添加其他属性。

如果当前的代码块是在一个 span 中执行的,那么可以使用 trace.SpanFromContext(ctx) 获取当前 span,然后将其作为父 span。

结合项目

  1. 由于 backend_id 是有 venus 产生,可以由 venus 服务在 trace 中设置属性

  2. 目前 profile 消费的4个阶段,只有在第一个阶段UnpackKafkaMessage,才能解析到 backend_id,而初始化Tracer的代码位于全局,且经组员反馈在 SigNoz Web 的 Trace 无法观测到该属性

    go 复制代码
    consumerTracer = otel.Tracer("profile-consumer",
    		trace.WithInstrumentationAttributes(attribute.String("profile.work", "consumer")))

    trace.WithInstrumentationAttributesspan.SetAttributes 都是用于添加属性(attribute)到 span 中的方法,但它们的作用和使用方式略有不同。

    trace.WithInstrumentationAttributes 是用于在创建 Tracer 时添加一些与仪表化相关的属性,这些属性会自动添加到由该 Tracer 创建的所有 span 中。它通常用于标识当前 Tracer 所使用的仪表化代码库、版本号、语言等信息。

    span.SetAttributes 则是用于在创建 span 后手动添加属性,这些属性通常用于标识该 span 所对应的操作、请求、响应等信息。它可以在任何时候添加,可以添加多个属性,也可以添加自定义的属性。

总上考虑,暂时使用 在第一个阶段 UnpackKafkaMessage 的 Span 手动添加属性后,它的子 Span 去继承 父 Span 的属性

问题:

Span 没有 Attributes(),只有 ReadOnlySpan有 Attributes()

明日待办

  • 组会讨论
    • 移除关于 Prometheus 的相关配置
    • 。。。

导师建议:让服务自己监控自己CPU、内存等指标然后上报是否合适。

我建议调研一下:

  1. 参考uptrace看看他们怎么做服务cpu、内存监控的
  2. 调研下独立服务监控指标,比如hostmetricsreceiver
相关推荐
说私域1 小时前
社群经济下开源链动2+1模式AI智能名片S2B2C商城小程序的信任重构机制研究
人工智能·小程序·重构
GM_82810 小时前
从0开始在Go当中使用Apache Thrift框架(万字讲解+图文教程+详细代码)
rpc·go·apache·thrift
天若有情67314 小时前
新闻通稿 | 软件产业迈入“智能重构”新纪元:自主进化、人机共生与责任挑战并存
服务器·前端·后端·重构·开发·资讯·新闻
BJ_Bonree14 小时前
圆桌论坛精华实录 | AI是重构运维逻辑的颠覆性革命?博睿数据与行业大咖亲授“AI+可观测性”的破局之道
运维·人工智能·重构
终端域名14 小时前
从 Grok 4 多智能体协同到 RAG 范式革命:2025 年 AI 工作流的技术重构生成
人工智能·重构
Kratos开源社区16 小时前
别卷 LangChain 了!Blades AI 框架让 Go 开发者轻松打造智能体
go·agent·ai编程
Kratos开源社区16 小时前
跟 Blades 学 Agent 设计 - 01 用“提示词链”让你的 AI 助手变身超级特工
llm·go·agent
Mxsoft61920 小时前
电力系统数字孪生驱动的拓扑重构与自愈控制策略
重构
百锦再1 天前
第10章 错误处理
java·git·ai·rust·go·错误·pathon
yangrenrui1 天前
Sleeping Cup:重构OI竞技生态的公益编程乐园
重构