腾讯mini项目-【指标监控服务重构】2023-07-30

今日已办

调研 CPU & Memory

Cadivisor

Cadivisor -> Prometheus -> (Grafana / SigNoz Web)

google/cadvisor: Analyzes resource usage and performance characteristics of running containers. (github.com)

yaml 复制代码
services:
  cadvisor:
    image: gcr.io/cadvisor/cadvisor:latest
    container_name: cadvisor
    ports:
      - 8888:8080
    volumes:
      - /:/rootfs:ro
      - /var/run:/var/run:rw
      - /sys:/sys:ro
      - /var/lib/docker/:/var/lib/docker:ro

Host Metrics Receiver

OpenTelemetry Host Metrics Receiver是一个OpenTelemetry收集器,用于收集主机级别的度量数据,例如CPU使用率、磁盘使用率和内存使用率等。该收集器可以通过多种方式获取主机度量数据,例如使用系统监视器(如Prometheus)或通过在主机上安装代理程序(如cAdvisor)。

OpenTelemetry Host Metrics Receiver支持多种操作系统和平台,包括Linux、Windows和MacOS等。它可以与OpenTelemetry Collector一起使用,以便将主机度量数据发送到多个目标(如Prometheus、Grafana和SigNoz等)进行处理和分析。

Host Metrics Receiver插件是用于收集主机级别的度量数据,例如CPU使用率、内存使用率等,而不是容器级别的度量数据。因此,它不支持直接指定要收集特定容器的指标。

如果想要收集特定容器的度量数据,可以考虑使用另一个OpenTelemetry收集器插件,例如Docker Stats Receiver。Docker Stats Receiver插件可以收集Docker容器的度量数据,例如CPU使用率、内存使用率、网络流量等。

Docker Stats Receiver

dockerstatsreceiver package - github.com/open-telemetry/opentelemetry-collector-contrib/receiver/dockerstatsreceiver - Go Packages

Docker Stats 接收器按照配置的时间间隔查询本地 Docker 守护进程的容器统计 API,以获取所有所需的正在运行的容器。这些统计信息适用于 cpu、内存、网络和 blkio 控制器的容器资源使用情况。

目前 Docker Stats Receiver 插件不能在 Windows 操作系统上运行。这是因为 Docker Stats API 在 Windows 上不可用。

Docker Stats API 仅在 Docker守护程序运行的主机上提供。在 Linux 环境中,Docker Stats API 使用/var/run/docker.sock Unix套接字与守护程序通信。

但是,在 Windows 上,Docker 守护程序不使用 Unix 套接字,而是使用 TCP 套接字 进行通信,并使用不同的 API 端点

本想尝试在服务器上部署,测试是否生效,但是由于环境与版本不同,docker compose 无法正常运行

修改了部分配置的结构可以正常运行,但是更新了 docker 的镜像源依然拉取失败

组会记录

项目对齐和汇总问题

  • 总体完成了导师 comment 的代码改进【移除 Prometheus 的相关配置还未完成】
  • 讨论 CPU & Memory 的收集
    • 关于 Host Metrics Receiver 的补充

明日待办

  • 组长会议汇报进度和问题
  • 继续调研收集 CPU & Memroy
相关推荐
积跬步,慕至千里6 小时前
clickhouse数据库表和doris数据库表迁移starrocks数据库时建表注意事项总结
数据库·clickhouse
Joker-011111 小时前
牛客周赛Round 99(Go语言)
go·牛客周赛
Edingbrugh.南空12 小时前
Flink ClickHouse 连接器数据读取源码深度解析
java·clickhouse·flink
Edingbrugh.南空12 小时前
ClickHouse 全生命周期性能优化
clickhouse·性能优化
Code季风17 小时前
Gin Web 层集成 Viper 配置文件和 Zap 日志文件指南(下)
前端·微服务·架构·go·gin
Code季风17 小时前
Gin Web 服务集成 Consul:从服务注册到服务发现实践指南(下)
java·前端·微服务·架构·go·gin·consul
struggleupwards18 小时前
golang中defer的小坑
后端·go
ん贤19 小时前
RESTful风格
后端·go·restful
畅联PAY20 小时前
电商云账户分账系统全解析:重构资金管理的数字化基石
重构