轻量级 CI/CD 实战（四）：本地开发钉钉告警 → 自动部署云服务器 Kafka 消费者容器

轻量级 CI/CD 实战（四）：本地开发钉钉告警 → 自动部署 Kafka 消费者容器

目标 ：在不破坏现有逻辑的前提下，新增「钉钉告警」功能，并通过 CI/CD 自动部署到阿里云，替换正在运行的容器。
关键词 ：Git Hooks、Docker、Kafka 消费者、钉钉机器人、自动化部署
适用场景 ：自建 CI/CD 流水线｜日志监控系统升级｜Python 应用容器化
环境：CentOS 7 + Git bare repo + Docker 24.x + Python 3.9

---

目录

• 一、实验目标
• 二、当前环境回顾
• 三、整体流程概览
• 四、本地开发准备
  • [4.1 修改消费者逻辑](#4.1 修改消费者逻辑)
  • [4.2 确保项目可容器化](#4.2 确保项目可容器化)
• [五、CI/CD 脚本改造](#五、CI/CD 脚本改造)
  • [5.1 更新 post-receive 钩子](#5.1 更新 post-receive 钩子)
  • [5.2 敏感信息管理](#5.2 敏感信息管理)
• 六、触发自动部署
• 七、部署结果验证
  • [7.1 查看部署日志](#7.1 查看部署日志)
  • [7.2 检查容器状态](#7.2 检查容器状态)
  • [7.3 验证钉钉告警](#7.3 验证钉钉告警)
• 八、常见问题排查
• 九、总结

---

一、实验目标

本次实验旨在实现以下目标：

1. 在本地开发机 修改 Kafka 消费者代码，新增钉钉告警功能；
2. 将消费者应用容器化打包，确保可独立运行；
3. 利用已有的 Git Hooks CI/CD 流程 ，实现 git push 后自动部署到阿里云服务器；
4. 自动替换正在运行的 log-consumer 容器，无需手动干预；
5. 验证新容器能正常消费 Kafka 消息并触发钉钉告警。

整个过程完全复用你此前搭建的轻量级 CI/CD 架构，不引入任何外部平台。

---

二、当前环境回顾

根据你在阿里云服务器的实际配置，当前环境如下：

• 裸仓库路径 ：/var/repo/log-consumer.git
• 工作目录 ：/opt/log_consumer
• 正在运行的容器 ：名为 log-consumer 的 Docker 容器（通过 docker run 启动）
• 本地开发路径 ：/log_consumer/project/consumer.py
• CI/CD 触发方式 ：git push origin main → 触发 post-receive 钩子

此前的 post-receive 脚本使用 systemctl restart consumer，但该服务已弃用，当前容器由手动 docker run 启动。

---

三、整体流程概览

本次升级后的 CI/CD 流程如下：

1. 开发者在本地修改 consumer.py，加入钉钉告警逻辑；
2. 提交并推送代码：git push origin main；
3. 阿里云服务器的 /var/repo/log-consumer.git 接收推送；
4. post-receive 钩子自动执行：
   • 检出最新代码到 /opt/log_consumer
   • 构建新的 Docker 镜像
   • 停止并删除旧的 log-consumer 容器
   • 启动新的容器（注入钉钉 token 等环境变量）
5. 新容器立即生效，具备钉钉告警能力。

整个过程全自动，开发者只需关注业务代码。

---

四、本地开发准备

4.1 修改消费者逻辑

在本地 /log_consumer/project/consumer.py 中，我们需要新增一个异步发送钉钉消息的函数，并在异常检测逻辑处调用它。

核心要求：

• 使用 threading.Thread 异步发送，避免阻塞 Kafka 消费主循环；
• 从环境变量读取 DINGTALK_TOKEN，不硬编码；
• 增加重试和超时保护，防止网络问题拖慢程序。

需修改的代码部分：

• 功能：异步发送文本消息到钉钉机器人
• 依赖：
  os.getenv("DINGTALK_TOKEN")：从环境变量获取 Token
  requests：发送 HTTP 请求
  threading：实现异步非阻塞

通过异步方式调用钉钉机器人 API，避免了因网络延迟导致消费者卡顿，保证了日志处理的实时性与稳定性。

注意：需确保 DINGTALK_TOKEN 已正确注入容器环境变量

def send_dingtalk_async(msg):
    """异步发送钉钉告警（从环境变量 DINGTALK_TOKEN 读取）"""
    token = os.getenv("DINGTALK_TOKEN")
    if not token:
        print("[WARN] DINGTALK_TOKEN 未设置，跳过钉钉告警")
        return

    def send():
        try:
            webhook = f"https://oapi.dingtalk.com/robot/send?access_token={token}"
            payload = {
                "msgtype": "text",
                "text": {
                    "content": msg.strip()
                },
                "at": {
                    "isAtAll": False
                }
            }
            resp = requests.post(webhook, json=payload, timeout=5)
            if resp.status_code == 200 and resp.json().get("errcode") == 0:
                print("[DINGTALK] 告警发送成功")
            else:
                print(f"[DINGTALK] 发送失败: {resp.text}")
        except Exception as e:
            print(f"[DINGTALK] 异常: {e}")

    thread = threading.Thread(target=send)
    thread.daemon = True
    thread.start()

4.2 确保项目可容器化

项目根目录必须包含以下文件：

• Dockerfile：定义镜像构建步骤
• requirements.txt：声明 Python 依赖（需包含 requests）

若尚未创建，请在本地 /log_consumer/project/ 下添加这两个文件。

---

五、CI/CD 脚本改造

5.1 更新 post-receive 钩子

编辑服务器上的钩子脚本：

/var/repo/log-consumer.git/hooks/post-receive

将其内容替换为支持 Docker 容器自动更新的版本。关键步骤包括：

• git checkout 到 /opt/log_consumer
• docker build 构建带时间戳的新镜像
• docker stop && docker rm 停止旧容器
• docker run 启动新容器，并通过 -e 注入环境变量

注意：不再调用 systemctl，完全由 Docker 管理进程生命周期。

#!/bin/bash
set -e

DEPLOY_PATH="/opt/log_consumer"
IMAGE_NAME="log-consumer-app"
CONTAINER_NAME="log-consumer"

# 1. 拉取最新代码
GIT_WORK_TREE="$DEPLOY_PATH" git --git-dir=/var/repo/log-consumer.git checkout -f

# 2. 进入项目目录构建镜像
cd "$DEPLOY_PATH"
docker build -t "$IMAGE_NAME:latest" .

# 3. 停止并删除旧容器
docker stop "$CONTAINER_NAME" 2>/dev/null || true
docker rm "$CONTAINER_NAME" 2>/dev/null || true

# 4. 启动新容器（使用 host 网络，直接访问宿主机的 Kafka）
docker run -d \
  --name "$CONTAINER_NAME" \
  --net host \
  --restart unless-stopped \
  -e DINGTALK_TOKEN="$(cat /opt/secrets/dingtalk.token)" \
  "$IMAGE_NAME:latest"

echo "$(date '+%Y-%m-%d %H:%M:%S'): ✅ Dockerized deploy completed (host network)" >> /var/log/log-consumer-deploy.log

5.2 敏感信息管理

钉钉机器人的 access_token 属于敏感信息，不可写入代码或 Git 仓库

我们将其存放在服务器安全目录：

/opt/secrets/dingtalk.token

权限设置为 600，仅 root 或 git 用户可读。

在 docker run 命令中通过 $(cat /opt/secrets/dingtalk.token) 动态注入。

---

六、触发自动部署

在本地完成代码修改和文件准备后，执行标准 Git 操作：

cd /log_consumer/project/
git add .
git commit -m "feat: add dingtalk alert"
git push origin main

推送完成后，无需登录服务器，CI/CD 流程将自动完成部署。

---

七、部署结果验证

7.1 查看部署日志

部署过程会被记录到：

/var/log/log-consumer-deploy.log

成功时应包含类似日志：

2025-11-24 21:45:12: ✅ Deployed and restarted Docker container

7.2 检查容器状态

执行以下命令确认新容器已运行：

docker ps --filter "name=log-consumer" --format "table {{.Names}}\t{{.Image}}\t{{.Status}}"

应看到 log-consumer 容器状态为 Up，且镜像标签为时间戳。

7.3 验证钉钉告警

模拟一条异常日志（如构造非法 IP 访问），观察是否收到钉钉消息。

若未收到，请检查：

• 容器内是否设置了 DINGTALK_TOKEN
• 钉钉机器人是否开启"加签"或 IP 白名单
• 服务器能否访问外网（curl https://oapi.dingtalk.com）

---

八、常见问题排查

• 问题1：docker build 失败

→ 检查 Dockerfile 和 requirements.txt 是否已推送到服务器（查看 /opt/log_consumer/）

• 问题2：容器启动后立即退出

→ 执行 docker logs log-consumer 查看 Python 异常

• 问题3：钉钉收不到消息

→ 在容器内执行 print(os.getenv("DINGTALK_TOKEN")) 确认环境变量注入成功

• 问题4：post-receive 无反应

→ 检查脚本是否有执行权限：chmod +x post-receive

---

九、总结

本次实验成功将钉钉告警功能集成到 Kafka 消费者中，并通过纯 Git Hooks + Docker 实现全自动部署。关键成果包括：

• 本地开发与服务器部署完全解耦
• 容器自动更新，无需手动停启
• 敏感信息安全隔离
• 延续了"轻量、透明、自主"的 CI/CD 哲学