【AI面试临阵磨枪-54】如何监控 AI 系统：成功率、延迟、Token 消耗、幻觉率、调用量

一、面试题目

面试官提问： "在大规模 Agent 系统中，你是如何建立监控体系的？请针对 成功率、延迟、Token 消耗、幻觉率、调用量 这五个核心指标，详细谈谈你的采集、分析与预警方案。"

二、知识储备

1. 核心背景：AI 监控的"三层模型"

基础层（Infra）： 传统的 API 状态码、请求延迟（QPS/RT）。
成本层（Economic）： Token 消耗量、模型费用分布、缓存命中率。
内容层（Semantic）： 幻觉检测、语义准确度、用户负反馈率。

2. 五大指标深度拆解

|-------------------------|----------------------------------------------------------------|--------------------|
| 指标 | 监控方案 (How to Monitor) | 核心价值 (Value) |
| 成功率 (Success Rate) | 非 200 状态码 + 语义解析错误。不仅看 HTTP 状态，还要看 JSON 校验是否失败。 | 衡量系统的稳定性。 |
| 延迟 (Latency) | TTFT (首字延迟) 与 TPOT (单 Token 推理延迟)。流式输出场景下，首字响应比总耗时更重要。 | 直接影响用户体验的流畅度。 |
| Token 消耗 | 实时计费上报。按模型、按用户、按功能模块进行维度聚合分析。 | 成本预警，防止恶意刷量或代码死循环。 |
| 幻觉率 (Hallucination) | LLM-as-a-judge (RAGAS/G-Eval)。采样部分回复，通过更高阶的模型比对事实一致性。 | 监控内容的"智商"和可靠性。 |
| 调用量 (Throughput) | 分时段分片统计。监控突发流量（Spike）和持续负载。 | 为弹性扩容提供决策依据。 |

三、破局之道

在回答完技术实现后，通过这段话展现你对 "可观测性工程" 的深度思考：

"监控 AI 系统，核心要理解我们是在 '监控一段黑盒逻辑的确定性'。

你可以告诉面试官：

成功率和延迟 是 '生存指标' ，我们要通过 分布式链路追踪 (Tracing) 找到哪一步 Skill 调用变慢了；
Token 消耗 是 '生命指标' ，必须建立 Quota（配额）熔断机制；
幻觉率 是 '灵魂指标' ，它不能靠肉眼看，必须构建 自动化评估流水线。

在工程实践中，我会将监控逻辑沉淀在 Harness 的可观测性层 或是 Sidecar 代理 中。一个优秀的架构师不应只看结果，而应构建'全链路感知力'。只有当系统不仅能报'死没死'，还能报'聪不聪明'和'值不值钱'时，AI 应用才真正具备了进入金融、政务等严苛业务场景的资格。"

四、代码实现

我们用两种语言演示如何实现一个简单的"AI 监控中间件"。

1. Python 实现：利用 Prometheus 记录 Token 与成功率

python 复制代码

from prometheus_client import Counter, Summary, start_http_server
import time

# 定义指标
TOKEN_USAGE = Counter('llm_token_total', 'Total Tokens Consumed', ['model_name'])
LATENCY = Summary('llm_latency_seconds', 'Time spent processing request')
SUCCESS_COUNT = Counter('llm_request_success', 'Successful LLM calls')

def monitored_llm_call(prompt):
    start_time = time.time()
    try:
        response = llm.generate(prompt) # 模拟调用
        # 记录 Token 消耗 (假设响应里带了 usage)
        TOKEN_USAGE.labels(model_name="gpt-4").inc(response['usage']['total_tokens'])
        SUCCESS_COUNT.inc()
        return response
    finally:
        LATENCY.observe(time.time() - start_time)

# 启动监控服务
# start_http_server(8000)

2. JavaScript (Node.js) 实现：语义化的 Trace 与错误拦截

javascript 复制代码

/**
 * 带有全链路监控的 Agent 调用层
 */
async function traceAgentExecution(task) {
  const traceId = generateId();
  const startTime = Date.now();

  try {
    const result = await agent.run(task);

    // 监控上报：逻辑成功率与耗时
    telemetry.send({
      traceId,
      status: 'success',
      latency: Date.now() - startTime,
      inputTokens: result.usage.prompt_tokens,
      outputTokens: result.usage.completion_tokens,
      isHallucination: await checkHallucination(result) // 采样检查
    });

    return result;
  } catch (err) {
    // 捕获异常：记录错误类型（API错误、逻辑错误、权限错误）
    telemetry.send({
      traceId,
      status: 'fail',
      errorType: err.code || 'UNKNOWN',
      errorMessage: err.message
    });
    throw err;
  }
}

面试加分建议：

提到 "负反馈环（Feedback Loop）" 。监控不仅仅是为了报警，更是为了优化。你可以说：我会将用户点击"踩"或者重新生成的行为标记为负反馈信号 ，并将其与当时的 Trace ID 关联，作为下一轮 Evaluation Harness 的测试用例。这体现了你对 AI 产品持续进化的理解。

【AI面试临阵磨枪-54】如何监控 AI 系统：成功率、延迟、Token 消耗、幻觉率、调用量

一、 面试题目

二、 知识储备