gozero项目日志Prometheus的配置与实战

在 GoZero 项目中，集成 Prometheus 进行日志收集和监控是一个常见的需求。Prometheus 主要用于收集度量（metrics）数据，而非直接收集日志数据。因此，通常结合 GoZero 的日志系统与 Prometheus 进行 度量数据收集 和监控，而不是直接收集日志。

下面，我将指导你如何将 Prometheus 集成到 GoZero 项目中，进行应用监控、度量收集和展示。

1. 安装 Prometheus 客户端库

首先，需要安装 Prometheus Go 客户端 库，它提供了接口来定义和导出你应用的指标数据。

bash 复制代码

go get github.com/prometheus/client_golang/prometheus
go get github.com/prometheus/client_golang/prometheus/promhttp

2. 配置 Prometheus

你需要在 GoZero 项目中设置 Prometheus 指标收集，并将其暴露到一个 HTTP 端点，Prometheus 会定期访问该端点来收集度量数据。

1) 创建 Prometheus 指标

你可以通过 prometheus.NewCounter、prometheus.NewGauge 等来创建 Prometheus 指标。以下是一个简单的示例，演示如何在 GoZero 中定义几个 Prometheus 指标。

go 复制代码

package main

import (
	"fmt"
	"net/http"

	"github.com/prometheus/client_golang/prometheus"
	"github.com/prometheus/client_golang/prometheus/promhttp"
	"github.com/tal-tech/go-zero/core/logx"
	"github.com/tal-tech/go-zero/zrpc"
)

var (
	// 创建一个计数器 (Counter)，用于记录请求的数量
	requestCount = prometheus.NewCounterVec(
		prometheus.CounterOpts{
			Name: "gozero_requests_total",
			Help: "Total number of requests processed",
		},
		[]string{"method", "status"},
	)

	// 创建一个 Gauage，用于记录当前的活动连接数
	activeConnections = prometheus.NewGauge(
		prometheus.GaugeOpts{
			Name: "gozero_active_connections",
			Help: "Current active connections count",
		},
	)
)

func init() {
	// 注册 Prometheus 指标
	prometheus.MustRegister(requestCount)
	prometheus.MustRegister(activeConnections)
}

func main() {
	// 设置日志
	logx.MustSetup(logx.LogConf{
		Path:     "./logs",
		Level:    "info",
		MaxSize:  100,
		MaxAge:   30,
		MaxBackups: 10,
		Compress: true,
	})

	// 创建一个 HTTP 路由，用于暴露 Prometheus 指标
	http.Handle("/metrics", promhttp.Handler())

	// 模拟一个 HTTP 服务
	go func() {
		http.HandleFunc("/hello", func(w http.ResponseWriter, r *http.Request) {
			// 在这里可以记录请求的计数
			requestCount.WithLabelValues("hello", "200").Inc()
			w.Write([]byte("Hello, GoZero with Prometheus"))
		})

		http.ListenAndServe(":8080", nil)
	}()

	// 启动 GoZero 的 RPC 服务
	server := zrpc.MustNewServer(zrpc.RpcServerConf{
		ListenOn: ":8888",
	}, func(s *zrpc.Server) {
		// 服务启动后的逻辑
		logx.Info("GoZero server started")
	})

	defer server.Stop()

	// 启动 Prometheus 指标收集 HTTP 服务
	go func() {
		logx.Info("Starting Prometheus metrics server on :9090")
		http.ListenAndServe(":9090", nil) // Prometheus 会访问这个端点来收集指标数据
	}()

	// 启动 GoZero 服务
	server.Start()
}

代码解析：

requestCount: 这是一个 计数器 ，用于统计服务处理请求的次数。它使用了 method 和 status 标签来区分不同请求类型和状态。
activeConnections: 这是一个 Gauge 类型的指标，表示当前活动连接数。
http.Handle("/metrics", promhttp.Handler()): 这是一个 HTTP 路由，用于暴露 /metrics 路径，Prometheus 会定期从这个端点拉取度量数据。
requestCount.WithLabelValues("hello", "200").Inc(): 每次请求 /hello 路径时，增加请求计数。
go func() { http.ListenAndServe(":9090", nil) }: 启动一个 HTTP 服务来暴露 Prometheus 指标。

3. 配置 Prometheus 拉取指标

Prometheus 需要配置拉取你的应用程序的指标。在 Prometheus 的配置文件 prometheus.yml 中，添加以下配置：

yaml 复制代码

scrape_configs:
  - job_name: 'gozero-app'
    static_configs:
      - targets: ['localhost:9090']  # 这里是 GoZero 应用暴露 Prometheus 指标的 HTTP 端口

确保 Prometheus 服务器能够访问你的 GoZero 应用暴露的 /metrics 端点。

4. 启动 Prometheus

安装并启动 Prometheus。如果你还没有安装 Prometheus，可以从 Prometheus 官方网站下载并解压缩。

bash 复制代码

./prometheus --config.file=prometheus.yml

5. 访问 Prometheus 界面

Prometheus 默认运行在 http://localhost:9090，你可以通过浏览器访问 Prometheus Web UI。你可以查看已收集的指标并执行一些简单的查询，例如：

查询 gozero_requests_total 指标：

prometheus 复制代码

gozero_requests_total

查询并查看按 method 和 status 标签分组的请求数：

prometheus 复制代码

gozero_requests_total{method="hello", status="200"}

6. 配置 Grafana 可视化

要将 Prometheus 中收集的数据可视化，你可以将 Prometheus 与 Grafana 配合使用。

1) 安装 Grafana

从 Grafana 官方网站下载并安装 Grafana。

2) 配置 Grafana 数据源

在 Grafana 中添加 Prometheus 作为数据源：

打开 Grafana Web UI（通常是 http://localhost:3000）。
进入 "Configuration" -> "Data Sources" -> "Add data source"。
选择 Prometheus，设置 Prometheus 的地址（如 http://localhost:9090），然后点击 "Save & Test"。

3) 创建仪表板

在 Grafana 中创建一个新仪表板，选择 Prometheus 数据源，添加你想要展示的指标。
例如，你可以添加一个面板来显示 gozero_requests_total 指标，按请求方法和状态进行聚合。

7. 日志与 Prometheus 集成

虽然 Prometheus 主要用于收集度量数据，而不是日志数据，但你可以结合日志信息来提升监控效果。比如，你可以根据日志中的错误信息生成警报或者 统计信息。

Prometheus Alertmanager：你可以根据 Prometheus 收集的度量数据设置告警规则。例如，当某个指标超出阈值时发送通知。
日志聚合工具 ：如使用 Loki（Grafana Labs 提供的日志聚合工具）将日志数据与 Prometheus 指标结合起来进行分析。

总结

在 GoZero 项目中集成 Prometheus 主要用于收集和监控度量数据（metrics），而非日志数据。你可以通过：

使用 Prometheus Go 客户端 创建指标。
通过 HTTP 端点暴露这些指标。
配置 Prometheus 服务器定期拉取指标。
使用 Grafana 可视化指标，帮助你更好地监控应用健康状况和性能。

这种方式能够帮助你及时发现应用的问题，提升运维效率。如果你希望进一步集成日志收集，建议结合 Loki 或其他日志聚合工具来分析日志。