分布式

IT大白鼠2 分钟前
分布式·mysql·架构
MySQL 分布式集群系列 · 第二篇:架构深度拆解--NDB 三大核心节点回顾与导读:从"是什么"到"怎么工作"第一章 NDB 标准三层架构总览1.1 一个集群 = 三类角色1.2 一张拓扑图读懂三层架构
醉颜凉10 分钟前
分布式·架构·kafka·ar
Kafka ISR与AR深度解析:副本同步机制核心概念关键词:Kafka、ISR、AR、副本同步、Leader选举、高可用、数据一致性在Kafka的分布式架构中,副本机制是保证高可用和数据一致性的基石。而**ISR(In-Sync Replicas)和AR(Assigned Replicas)**则是理解副本同步机制的两个核心概念。
johnny2331 小时前
分布式
大模型分布式训练理论和框架:DeepSpeed、Megatron、Torchrun分布式训练的本质:拆分任务、协同计算,不同策略的核心差异在于:拆什么、怎么协同。模型一致性问题:各节点都有基于自身数据算出的梯度?
倔强的石头1063 小时前
数据库·分布式·时序数据库
高可用与无感扩容——分布式时序数据库选型指南当业务规模从单厂区扩展到集团级,或是设备接入量从几千台飙升至数十万台时,单机版的时序数据库必然会撞上性能天花板:磁盘空间写满、内存爆掉导致 OOM、单机硬件故障导致整个监控链路全线瘫痪。因此,分布式集群架构是海量时序数据管理的必然终局。然而,“伪分布式”和“真分布式”在后期的运维体验与可靠性上可谓天差地别。本文将带你深度剖析分布式时序数据库的选型要点,并全方位解析 Apache IoTDB 的集群架构设计。
fastjson_1 天前
大数据·分布式·spark
Spark 安装和使用HDFS 是大数据常用分布式存储,Hive 提供 HiveQL,不存储业务数据,数据存放于 HDFS第一代计算引擎:MapReduce:用廉价机器实现分布式大数据处理
spter。1 天前
分布式·kafka
从一次关注到最终一致:Canal、Outbox 与 Kafka 如何解决关系链双写问题知光是一个知识获取与分享社区。用户可以发布图文“知文”、浏览首页 Feed、进入详情页查看作者,也可以关注作者。在页面上,一次关注看起来只是把按钮从“关注”切换成“已关注”,后台却要同时回答几类问题:A 关注了谁、谁关注了 B、A 一共关注了多少人、B 一共有多少粉丝,以及下一次打开列表时怎样快速返回结果。
MC丶科1 天前
分布式·云原生·架构·serverless·service_mesh·软考架构师
软考架构师90天冲刺|DAY38·第二阶段综合测试-分布式与云原生在软考系统架构设计师考试中,分布式系统设计部分有几个必考理论:CAP/BASE定理、2PC/3PC协议、Paxos/Raft算法。让我们逐一深入理解。
hm宋1 天前
分布式·zookeeper·云原生
ZooKeeper 容灾切换免重启实践:域名化配置与客户端自动迁移一次 ZK 集群容灾切换演练,暴露出客户端"IP 固化 + 一次性注册"两个隐患。本文记录我们把 biz-cache-client 改造为支持域名容灾切换的完整过程:从对 ZooKeeper 3.4.14 / Curator 4.1.0 源码的逐条事实核验,到"被动 / 主动 / 自愈"三条路径的架构设计,再到关键实现的取舍与踩坑。改造零 API 变化、零必填配置,使用方只需把 zkServerAddr 从裸 IP 换成域名。
kruptos1 天前
开发语言·分布式·php·共识算法
分布式系统怎么“选主“?Raft 共识一次讲清一个分布式系统有 5 个节点,主节点突然挂了,谁来当新老大?如果两个节点同时宣称自己是老大,系统就"脑裂"了。Raft 是今天最流行的答案——它把"选主"变成一套清晰可验证的规则。今天讲透它。
小智老师PMP1 天前
开发语言·分布式·算法·职场和发展·产品经理
2026深度解析|PMP第八版与NPDP核心侧重点本质区别(管理类证书怎么选)在IT、工程、制造、国企央企等职场赛道,PMP、NPDP是认可度最高的两大管理类国际认证。很多职场人纠结:两者都是管理证书,到底有什么本质区别?自己适合考哪一个?能不能同时备考?
会周易的程序员2 天前
服务器·c++·分布式·raft·共识算法·共识·算力服务器
5Draft(五帝)测试报告报告日期:2026-09-05 | 测试版本:commit 7818ff1 | 报告人:5Draft 团队 项目地址:https://gitee.com/galaxy_0/5d-raft.git
想要打 Acm 的小周同学呀2 天前
分布式·kafka
Kafka消息队列出现挤压如何解决?如果 Kafka 中出现大量消息积压,消费速度长期低于生产速度,应该怎么处理?1先快速解决线上问题,看一下积压的是什么topic业务的数据,如果是日志、埋点、推荐系统的可以直接丢掉,让订单、支付等核心业务逻辑去跑。 本质是快速止血,减少业务的损失。
stark张宇2 天前
分布式·后端
分布式事务最全图解(6种方案):从强一致的2PC到最终对账,彻底搞懂数据一致性分布式事务是架构师面试的“分水岭”,也是高并发系统设计中最棘手的难题。本文从经典的MySQL Redo/Binlog 2PC讲起,一针见血地指出其同步阻塞、单点故障的致命伤;随后深入最终一致性的两种主流玩法(本地消息表 + RocketMQ事务消息),并详解TCC在应用层的补偿实践。最后,针对极端异常场景,分享大厂必备的状态表补偿与异步对账兜底方案。一文带你走完分布式事务从“理论”到“落地”的全路径。
会周易的程序员2 天前
服务器·c++·分布式·raft·共识
5Draft使用说明书版本:0.1.0 | 更新日期:2026-09-05 | 适用对象:将 5Draft 集成到现有 Raft 集群的开发者与运维人员
富士康质检员张全蛋2 天前
分布式·kafka
Kafka实战 自定义分区器 几种常见的分区器kafka topic是可以分为很多很多分区的,每一条消息在Kafka中存储的时候是要选择其中一个分区进行存储的,并且只能存在于一个分区当中。
努力努力再努力wz2 天前
开发语言·数据库·c++·redis·分布式·缓存·架构
【Redis入门系列】:从 RESP 协议到 redis-plus-plus:Redis 客户端编程与 C++ 接口设计🔥 本文专栏:Redis 🌸作者主页:努力努力再努力wz💪 今日博客励志语录:最难的不是做出决定的那一瞬间,而是在此后无数个想要放弃的深夜里,依然能够在心里再一次‘选择’坚持。
青禾8372 天前
分布式·git·svn
Git 与 SVN 完全指南:从集中式到分布式的版本控制大家好,版本控制系统是开发团队协作的基石,它记录文件的变更历史,支持多人协同开发。本文将系统性地讲解SVN(集中式)和Git(分布式) 两大版本控制系统的核心概念与常用操作,帮助你快速上手并理解两者的区别。
2301_800954992 天前
分布式·git
Git 版本控制核心概念详解:从集中式到分布式版本控制的核心目的是记录文件内容的变化历史,让开发者能够回溯任意时间点的版本、对比不同版本之间的差异,并在多人协作时有效管理代码的合并与冲突。它解决了传统开发中「文件覆盖丢失」「无法追溯改动」「多人协作混乱」等核心痛点。
天天喝旺仔2 天前
分布式·http·微服务·rpc·go
gRPC 流式通信实战:从一元调用到双向流,吃透四种 RPC 模式(Go 版)做微服务时,最常遇到的不是"怎么调一次接口",而是"怎么持续地传数据":服务端要不停推送行情、客户端要批量上报日志、两边要像聊天一样来回发消息。用传统的"一问一答" HTTP 接口去硬套,要么轮询刷屏,要么把请求体撑成巨无霸。
明达智控技术3 天前
分布式·物联网·自动化
告别停机内卷!热插拔远程IO,解锁工控运维新范式在工业自动化生产场景中,设备停机永远是产能最大的“隐形杀手”。传统IO模块的运维痛点早已成为行业通病:模块故障、工位改造、设备调试时必须整机断电、全线停机,哪怕是单通道小故障,也会牵连整条产线停摆,不仅拉长维修时长、拖慢生产节奏,更直接造成产能损耗、成本攀升,严重影响企业生产效益。