Partition架构

Partition架构

【1】结构: Region至少3ZoneZone内至少两个PartitionPartition内至少1K8S Member Cluster

【2】故障域: 故障域及核心链路至少Zone内收敛,甚至Partition收敛。故障域之间不应该有交互(状态流等);

【3】变更规范: 不同时变更多个Zone,甚至不同时变更多个Partition

【4】FederationRegional调度及控制面,负责Region内资源、容量调度;

【5】应用部署: 应用副本根据可用性级别分布在多个Zone内的多个Partition

故障域隔离FederatedHPA 场景梳理并分级,匹配不同故障域隔离要求。

【1】应用扩容链路: 高频+核心,Partition(Cluster)故障域内收敛,单个Partition故障不影响其他Partition正常扩容;

【2】HPA参数变更链路: 低频+非核心,Region故障域内收敛,故障会影响整个RegionHPA发布变更;

【3】ClusterRebalance链路: 低频+非核心,Region故障域内收敛,故障会影响整个Region的容量Rebalance

方案:

【1】HPA系统组件在Partition(Cluster)内完整部署并封闭,扩缩容链路与其它Partition完全隔离;

【2】FederatedHPA只负责Partition/Zone间的Rebalance协调与变更分发;

效果: 单个AZPartitionFederation的故障不影响其它AZPartition的应用扩缩容。

应用部署的Group(Rollout)Region级别。由Federation控制与分发到多个Zone内的PartitionGroup不同时变更多个Zone

容量调度问题

【1】流量上涨,Zone A扩容成功率下降(其他系统正在扩容等),需要降低Zone A流量比例,扩容成功率恢复后,需要恢复流量比例关系;

【2】Zone流量比例发生倾斜,如果单个Zone故障,ZoneCapacity会比非倾斜时高,需要主动触发提前扩容Node;

【3】混合云场景,私有云Zone容量不足,将部分应用容量公有云Zone倾斜,过峰后,因成本因素,恢复原有状态;

方案:

【1】Autopilot监听各Zone的资源用量、容量、扩容成功率以及SRE运营规则;

【2】Autopilot生成流量调度结果,并下发调度;

【3】HPA感知负载变化进行扩缩;

【4】Autopilot根据当前各Zone用量更新Capacity,并指导提前Node扩容;

多机房库存问题

用户的请求保证在同一机房内完成闭环,但部分场景并不适合划分单元化,比如多机房库存扣减问题。面对多机房库存扣减问题目前的策略如下:

【1】业务扣库存逻辑不调整,还是同步扣库存,但事先根据流量分配好每个机房库存;

【2】增加库存调配机制,当库存不足时触发库存调配,从有多余库存的机房进行调配;

【3】增加监控和库存不足告警通知,除了自动资源调配,对活动上线后进行机房间的库存情况实时观测和实时手动调配;

相关推荐
会周易的程序员7 小时前
microLog 的本地日志读取接口 log_reader — 本地日志文件读取工具开发指南
linux·物联网·架构·嵌入式·日志·iot·aiot
无心水8 小时前
【全域智能营销实战】2、Spring AI 模块化架构深度解读:从 1.0 到 2.0 的演进与最佳实践
人工智能·spring·架构·harness·顶尖架构师·全域智能营销·harmess
HavenlonLabs8 小时前
Havenlon 对抗性完整(十七):安全不是“防住攻击”,而是控制失败方式
网络·人工智能·架构·安全威胁分析·安全架构·havenlon
doiito(Do It Together)8 小时前
media_agent 进化之路:把 Gliding Horse 的 Agent 超能力注入 ComfyUI,让图片生成自己“学会”优化
人工智能·架构·rust·knowledge graph
触底反弹9 小时前
🔥 从点积到 Transformer:我终于搞懂大模型是怎么"猜"出下一个词的了
人工智能·机器学习·架构
2601_962502909 小时前
服装点胶点钻设备的算法架构与工艺适配分析
架构
-dzk-11 小时前
【系统架构设计师】案例分析篇
开发语言·数据结构·python·算法·架构·系统架构·架构设计
凡泰AI11 小时前
从个人用AI到企业用AI,如何为企业部署一套私有化Agent智能体运行时,将AI变成企业的基础设施
人工智能·ai·架构·agent·cio
柒和远方11 小时前
Phase 7.4 学习博客:为什么多 API 项目需要 Swagger / OpenAPI
前端·后端·架构
mONESY11 小时前
AI Loop 自动化工程实践,放弃手工调 Prompt,循环才是标准答案!
架构