Higress开源版 大规模 MCP Server 部署配置方案

1. 核心配置计算公式总结

1. Redis连接池大小 = MCP Server数量 × 平均并发数 × 安全系数(1.5)

2. 内存需求 = (服务器数 × 2MB) + (SSE连接数 × 1MB) + 系统开销

3. CPU需求 = 服务器数 × 0.01核心 × 平均并发数

4. 限流阈值 = 单服务器QPS × 服务器数量 × 时间窗口

5. 刷新间隔 = 根据服务数量调整，300个服务建议15-30秒

2. Redis 配置计算依据

连接池大小计算公式：

• maxActive = MCP Server 数量 × 平均并发连接数 × 安全系数

• 对于 300 个 MCP Server，假设每个平均 2 个并发连接：

  • maxActive = 300 × 2 × 1.5 = 900

• maxIdle = maxActive × 0.3 = 270

mcpServer:
  redis:
    address: "redis-cluster:6379"
    # 基于计算的连接池配置
    maxActive: 900    # 300个服务器 × 2并发 × 1.5安全系数
    maxIdle: 270      # maxActive的30%

限流配置计算

限流阈值计算公式：

• 总QPS = 单个MCP Server平均QPS × MCP Server数量

• 假设单个MCP Server平均处理10 QPS：

  • 总限流 = 10 × 300 = 3000 QPS
  • 每分钟限制 = 3000 × 60 = 180,000

mcpServer:  
  rateLimit:  
    limit: 180000     # 300服务器 × 10QPS × 60秒
    window: 60        # 1分钟窗口

资源配置计算

内存需求计算：

• 每个MCP Server连接约需要 2MB 内存
• SSE连接需要额外缓冲：每连接 1MB
• 总内存需求 = (300 × 2MB) + (300 × 1MB) + 系统开销(2GB) = 2.9GB

CPU需求计算：

• 每个活跃MCP连接约需要 0.01 CPU核心
• 总CPU需求 = 300 × 0.01 × 2(并发) = 6核心

 # Higress Gateway 资源配置（基于计算）
resources:  
  requests:  
    memory: "3Gi"     # 基于连接数计算的内存需求
    cpu: "3000m"      # 基于并发计算的CPU需求
  limits:  
    memory: "6Gi"     # 2倍安全边际
    cpu: "6000m"      # 2倍安全边际

5. 连接超时配置计算

超时配置依据：

• SSE连接通常需要长时间保持，建议 5-10 分钟

• 普通HTTP连接建议 30-60 秒

global:
  downstream:
    idleTimeout: 600s    # SSE连接保持10分钟
    connectionBufferLimits: 65536  # 64KB，基于平均消息大小
  upstream:
    idleTimeout: 60s     # 上游连接1分钟超时

6. 服务发现刷新间隔计算

刷新间隔计算依据：

• 服务变更检测延迟 = 刷新间隔 / 2

• 对于300个服务，建议15-30秒间隔平衡性能和及时性

# McpBridge 配置
spec:
  registries:
    - refreshInterval: 20s  # 基于服务数量的优化间隔
      connectTimeout: 5s    # 连接超时

7.负载均衡配置

系统自动为SSE类型配置一致性哈希负载均衡，确保会话粘性.

8.监控指标阈值

告警阈值计算：

• CPU使用率告警：> 70%（基于6核心配置）
• 内存使用率告警：> 80%（基于6GB配置）
• 连接数告警：> 80% × maxActive = 720

 # 监控配置
monitoring:  
  alerts:  
    cpuThreshold: 70      # CPU使用率告警阈值
    memoryThreshold: 80   # 内存使用率告警阈值
    connectionThreshold: 720  # 连接数告警阈值