AIRAG服务异常监控告警

AIRAG服务异常监控告警技术文档

1. 文档概述

本文档针对AIRAG智能检索增强生成服务，提供一套轻量化异常监控告警实现方案。AIRAG结合知识库检索与大模型生成能力，广泛用于智能问答、知识咨询、文档问答业务，服务稳定性直接决定业务体验。本方案实现接口可用性、调用耗时、模型生成、错误计数多维度监控，检测到异常时触发告警通知，快速发现线上故障，降低业务故障时长。

2. 核心监控指标

监控指标	说明
接口可用性	监控接口状态码，识别服务宕机、端口不可访问问题
请求总耗时	监控检索+大模型生成全链路耗时，识别链路慢查询
连续错误次数	统计连续失败请求，避免瞬时抖动产生误告警
返回内容校验	识别大模型返回空响应、无效输出等业务异常

3. 实现思路

使用Python定时探测AIRAG对外服务接口，发送标准化探测请求，采集响应状态、耗时、返回结果。按照预设阈值判断是否异常，异常发生输出告警信息，可二次开发对接企业微信、钉钉告警webhook，无需部署复杂监控组件，适合中小型业务快速落地。

4. 代码演示

python 复制代码

import requests
import time
from datetime import datetime

# AIRAG服务配置项
AIRAG_API = "http://127.0.0.1:8000/airag/chat"
REQ_TIMEOUT = 6
COST_THRESHOLD = 3
MAX_CONTINUOUS_ERR = 3

continuous_error = 0


def airag_monitor_task():
    global continuous_error
    test_payload = {
        "query": "健康检测请求",
        "top_k": 2,
        "temperature": 0.1
    }
    headers = {"Content-Type": "application/json"}
    start = time.time()
    try:
        resp = requests.post(AIRAG_API, json=test_payload, headers=headers, timeout=REQ_TIMEOUT)
        cost = round(time.time() - start, 2)
        continuous_error = 0

        if resp.status_code != 200:
            alert = f"【AIRAG服务异常监控告警】时间:{datetime.now()},状态码异常:{resp.status_code}"
            print(alert)
            return

        resp_data = resp.json()
        answer = resp_data.get("answer", "")
        if not answer:
            alert = f"【AIRAG服务异常监控告警】时间:{datetime.now()},模型返回空结果"
            print(alert)
            return

        if cost > COST_THRESHOLD:
            alert = f"【AIRAG服务异常监控告警】时间:{datetime.now()},请求耗时{cost}s超过阈值{COST_THRESHOLD}s"
            print(alert)
            return

        print(f"[正常] {datetime.now()},耗时:{cost}s")

    except requests.exceptions.Timeout:
        continuous_error += 1
        alert = f"【AIRAG服务异常监控告警】接口超时，连续错误{continuous_error}次"
        print(alert)
    except Exception as err:
        continuous_error += 1
        alert = f"【AIRAG服务异常监控告警】调用异常:{str(err)}，连续错误{continuous_error}次"
        print(alert)


if __name__ == "__main__":
    while True:
        airag_monitor_task()
        time.sleep(5)

5. 使用与扩展说明

修改AIRAG_API为实际线上服务地址，调整超时、耗时阈值适配自身业务；
当前告警打印在控制台，生产环境可增加webhook推送函数，将告警发送至运维群；
可增加日志落盘，把每次探测结果写入本地日志文件，用于故障回溯；
建议使用systemd将监控脚本托管为后台服务，保障监控进程持续运行。

海量精选技术文档和实战案例持续更新，敬请关注【风骏时光少年】