Bedrock 限流不用自己写重试了 — 跨区域推理路由

Bedrock 限流不用自己写重试了 --- 跨区域推理路由

你的 Bedrock 推理请求被 ThrottlingException 怼过吗？之前只能自己写 fallback 逻辑切区域。

5 月更新：配个 Inference Profile，平台自动做跨区域路由。

配置

{
  "inferenceProfileName": "prod-profile",
  "routingConfiguration": {
    "primaryRegion": "us-east-1",
    "fallbackRegions": ["us-west-2", "eu-central-1"]
  }
}

应用代码只指向 profile，不管实际路由到哪：

response = client.invoke_model(
    modelId="arn:aws:bedrock:us-east-1:xxx:inference-profile/prod-profile",
    body=payload
)

好处

• 限流时自动切备用区域，不丢请求
• 应用不需要重试逻辑
• 区域故障自动 failover

注意

• 数据驻留：备用区域要合规
• 延迟：跨区域多 20-50ms（同洲）
• 模型可用性：备用区域得有相同模型
• 切换频率高 = 主区域限额该申请提升了

建议

生产环境必配。哪怕只加一个同洲备用区域，也比裸跑强。

---

来源：亚马逊云科技 2026/5 月 Bedrock 更新