一、为什么要监控 Token 消耗
1.1 成本控制
大模型 API 按 Token 计费，未经监控的调用可能导致：
- 费用失控：高频调用或异常循环可能在短时间内产生巨额费用
- 预算超支：无法预估和规划 AI 服务支出
- 资源浪费：低效的 Prompt 设计消耗大量无效 Token
1.2 性能优化
通过分析 Token 消耗数据，可以：
- 优化 Prompt：识别冗余提示词，精简输入内容
- 选择合适模型：根据任务复杂度匹配模型，避免大材小用
- 控制输出长度：合理设置 max_tokens 参数
1.3 异常检测
监控数据有助于发现：
- 调用异常：失败率突增、响应时间异常
- 滥用风险：异常高频调用、非预期场景使用
- 服务降级：API 限流、配额耗尽预警
1.4 业务分析
Token 消耗数据反映业务使用情况：
- 功能使用率：各场景 AI 调用频次
- 用户行为：高峰时段、热门功能
- ROI 评估：AI 投入产出比分析
二、监控指标设计
2.1 核心指标
| 指标 | 说明 | 监控目的 |
|---|---|---|
| input_tokens | 输入 Token 数 | 评估 Prompt 效率 |
| output_tokens | 输出 Token 数 | 控制生成长度 |
| total_tokens | 总 Token 数 | 成本核算 |
| duration | 调用耗时 | 性能监控 |
| status | 调用状态 | 成功率统计 |
2.2 维度划分
| 维度 | 说明 | 分析价值 |
|---|---|---|
| model | 模型名称 | 不同模型成本对比 |
| platform | 平台标识 | 多平台统一管理 |
| scene | 调用场景 | 业务功能分析 |
| created_at | 时间戳 | 趋势分析、峰值识别 |
三、监控方案
3.1 数据采集
本系统采用埋点方式，在 AI 调用完成后自动记录：
java
// AIComponent 中的埋点逻辑
private void recordTokenUsage(GenerationResult result, String scene, Long duration, boolean success, String failReason) {
TokenUsage usage = new TokenUsage();
usage.setModel(dashScopeConfig.getModel());
usage.setPlatform(PLATFORM);
usage.setInputTokens(result.getUsage().getInputTokens());
usage.setOutputTokens(result.getUsage().getOutputTokens());
usage.setTotalTokens(result.getUsage().getTotalTokens());
usage.setScene(scene);
usage.setDuration(duration);
usage.setStatus(success ? 1 : 0);
usage.setCreatedAt(LocalDateTime.now());
tokenUsageService.recordAsync(usage); // 异步写入，不影响主流程
}3.2 存储设计
数据存储于 token_usage 表，支持：
- 按时间范围查询
- 按模型/平台聚合
- 统计汇总计算
3.3 统计接口
| 方法 | 说明 |
|---|---|
sumTodayTokens() |
今日 Token 消耗总量 |
countToday() |
今日调用次数 |
sumTokensByModel(model) |
按模型统计消耗 |
sumTokensByTimeRange(start, end) |
时间段消耗统计 |
四、监控实践
4.1 日常巡检
- 每日查看 Token 消耗总量，与历史数据对比
- 关注失败调用，排查异常原因
- 检查调用耗时，识别性能瓶颈
4.2 告警设置
建议配置以下告警：
| 告警项 | 阈值建议 | 说明 |
|---|---|---|
| 日消耗量 | 超过日均 200% | 防止异常调用 |
| 失败率 | 超过 5% | 及时发现服务问题 |
| 单次调用 Token | 超过 10000 | 检查 Prompt 设计 |
| 响应时间 | 超过 60s | 性能劣化预警 |
4.3 成本优化
基于监控数据的优化建议：
-
Prompt 精简
- 移除冗余说明
- 使用简洁指令
- 避免重复上下文
-
模型降级
- 简单任务使用 qwen-turbo
- 复杂分析使用 qwen-plus
- 仅核心场景使用 qwen-max
-
缓存策略
- 相似请求结果缓存
- 减少重复调用
五、数据安全
5.1 敏感信息保护
- Token 消耗记录不存储请求/响应内容
- 仅记录统计指标和元数据
- 失败原因脱敏处理
5.2 访问控制
- 监控数据仅管理员可访问
- 查询接口需 JWT 认证
- 操作日志审计