一、 面试题目
在大规模应用 LLM 时，如何通过工程化手段优化 API 调用？请详细谈谈你对 缓存、批量处理、重试机制、熔断和降级 的理解及落地经验。
二、 知识储备
1. 核心背景：API 调用的"三高一贵"
大模型 API 具有高延迟、高故障率、高成本 以及昂贵的 Token 消耗 等特点。优化这些调用的本质是：减少不必要的请求，保护核心业务的稳定性。
2. 五大优化策略深度拆解
|--------------------------|------------------------------------------------------------------------------|----------------------|
| 策略 | 核心逻辑 (The Logic) | 解决的问题 |
| 缓存 (Caching) | 语义缓存 (Semantic Cache)。利用向量数据库（如 Milvus/Pinecone）存储已回答的问题，匹配相似度极高的请求直接返回。 | 降低成本、缩短首字延迟 (TTFT)。 |
| 批量 (Batching) | 将多个独立请求合并为一次 API 调用（如 OpenAI 的 Batch API）。 | 提高吞吐量，通常可节省 50% 的费用。 |
| 重试 (Retry) | 指数退避 (Exponential Backoff)。针对 429 (限流) 或 5xx 错误自动重跑。 | 解决网络抖动和临时的供应商过载。 |
| 熔断 (Circuit Breaker) | 当某个模型供应商（如 GPT-4）连续报错超过阈值，自动切断请求 30s，防止请求堆积。 | 保护系统资源，避免雪崩效应。 |
| 降级 (Fallback) | 当主模型熔断或响应超时，自动切换到低成本模型（如从 GPT-4 降级到 GPT-4o-mini 或 Llama-3）。 | 牺牲一定的准确度来保障业务不中断。 |
三、 破局之道
在回答完技术策略后，通过这段话展现你对 工程闭环 的思考：
"回答 API 优化，核心要理解我们是在 '为不确定的云端资源构建确定的本地缓冲'。
你可以告诉面试官：
- 缓存 解决的是 '冗余性' ，不仅是文本匹配，更要引入 语义匹配；
- 重试与熔断 解决的是 '健壮性'，必须配合指数退避算法，否则会加剧供应商的过载；
- 降级 解决的是 '连续性' ，即通过 模型路由器（Model Router） 实现成本与效果的动态平衡。
在实际落地中，我会将这些逻辑全部沉淀在 Harness 治理层 或 Sidecar 代理 中。一个优秀的架构师不应让业务逻辑去适配 API 的抖动，而应构建一套'抗衰减'的治理底座，让 AI 应用即使在供应商极其不稳定的情况下，依然能提供工业级的 SLA 保障。"
四、 代码实现
1. Python 实现：利用装饰器实现带指数退避的重试
python
from tenacity import retry, wait_exponential, stop_after_attempt, retry_if_exception_type
# 模拟带重试机制的调用
@retry(
wait=wait_exponential(multiplier=1, min=4, max=10), # 指数退避：4s, 8s, 10s...
stop=stop_after_attempt(3), # 最多重试 3 次
retry=retry_if_exception_type(Exception)
)
def call_llm_with_retry(prompt):
print("正在请求 API...")
# 模拟 API 调用逻辑
return llm.predict(prompt)2. JavaScript (Node.js) 实现：模拟模型降级与语义缓存逻辑
javascript
/**
* 带有语义缓存和降级策略的 API 调用器
*/
async function smartLLMCall(prompt) {
// 1. 尝试从语义缓存获取 (向量搜索)
const cachedResponse = await semanticCache.get(prompt);
if (cachedResponse) return `[Cache Hit] ${cachedResponse}`;
// 2. 调用主模型并设置超时
try {
return await Promise.race([
llm.callPrimary(prompt), // 比如 GPT-4
new Promise((_, reject) => setTimeout(() => reject(new Error("Timeout")), 8000))
]);
} catch (err) {
// 3. 触发降级 (Fallback)
console.warn("主模型不可用，执行降级逻辑...");
return await llm.callSecondary(prompt); // 比如切换到轻量级模型
}
}面试加分建议： 提到 "流量染色" 。针对不同优先级的业务请求采取不同的限流和降级策略（例如：C 端核心功能不降级，内部测试功能优先熔断），这体现了你对业务优先级的深刻理解。