分布式

fastjson_11 小时前
大数据·分布式·spark
Spark 安装和使用HDFS 是大数据常用分布式存储,Hive 提供 HiveQL,不存储业务数据,数据存放于 HDFS第一代计算引擎:MapReduce:用廉价机器实现分布式大数据处理
spter。11 小时前
分布式·kafka
从一次关注到最终一致:Canal、Outbox 与 Kafka 如何解决关系链双写问题知光是一个知识获取与分享社区。用户可以发布图文“知文”、浏览首页 Feed、进入详情页查看作者,也可以关注作者。在页面上,一次关注看起来只是把按钮从“关注”切换成“已关注”,后台却要同时回答几类问题:A 关注了谁、谁关注了 B、A 一共关注了多少人、B 一共有多少粉丝,以及下一次打开列表时怎样快速返回结果。
MC丶科11 小时前
分布式·云原生·架构·serverless·service_mesh·软考架构师
软考架构师90天冲刺|DAY38·第二阶段综合测试-分布式与云原生在软考系统架构设计师考试中,分布式系统设计部分有几个必考理论:CAP/BASE定理、2PC/3PC协议、Paxos/Raft算法。让我们逐一深入理解。
hm宋11 小时前
分布式·zookeeper·云原生
ZooKeeper 容灾切换免重启实践:域名化配置与客户端自动迁移一次 ZK 集群容灾切换演练,暴露出客户端"IP 固化 + 一次性注册"两个隐患。本文记录我们把 biz-cache-client 改造为支持域名容灾切换的完整过程:从对 ZooKeeper 3.4.14 / Curator 4.1.0 源码的逐条事实核验,到"被动 / 主动 / 自愈"三条路径的架构设计,再到关键实现的取舍与踩坑。改造零 API 变化、零必填配置,使用方只需把 zkServerAddr 从裸 IP 换成域名。
kruptos20 小时前
开发语言·分布式·php·共识算法
分布式系统怎么“选主“?Raft 共识一次讲清一个分布式系统有 5 个节点,主节点突然挂了,谁来当新老大?如果两个节点同时宣称自己是老大,系统就"脑裂"了。Raft 是今天最流行的答案——它把"选主"变成一套清晰可验证的规则。今天讲透它。
小智老师PMP1 天前
开发语言·分布式·算法·职场和发展·产品经理
2026深度解析|PMP第八版与NPDP核心侧重点本质区别(管理类证书怎么选)在IT、工程、制造、国企央企等职场赛道,PMP、NPDP是认可度最高的两大管理类国际认证。很多职场人纠结:两者都是管理证书,到底有什么本质区别?自己适合考哪一个?能不能同时备考?
会周易的程序员1 天前
服务器·c++·分布式·raft·共识算法·共识·算力服务器
5Draft(五帝)测试报告报告日期:2026-09-05 | 测试版本:commit 7818ff1 | 报告人:5Draft 团队 项目地址:https://gitee.com/galaxy_0/5d-raft.git
想要打 Acm 的小周同学呀1 天前
分布式·kafka
Kafka消息队列出现挤压如何解决?如果 Kafka 中出现大量消息积压,消费速度长期低于生产速度,应该怎么处理?1先快速解决线上问题,看一下积压的是什么topic业务的数据,如果是日志、埋点、推荐系统的可以直接丢掉,让订单、支付等核心业务逻辑去跑。 本质是快速止血,减少业务的损失。
stark张宇1 天前
分布式·后端
分布式事务最全图解(6种方案):从强一致的2PC到最终对账,彻底搞懂数据一致性分布式事务是架构师面试的“分水岭”,也是高并发系统设计中最棘手的难题。本文从经典的MySQL Redo/Binlog 2PC讲起,一针见血地指出其同步阻塞、单点故障的致命伤;随后深入最终一致性的两种主流玩法(本地消息表 + RocketMQ事务消息),并详解TCC在应用层的补偿实践。最后,针对极端异常场景,分享大厂必备的状态表补偿与异步对账兜底方案。一文带你走完分布式事务从“理论”到“落地”的全路径。
会周易的程序员1 天前
服务器·c++·分布式·raft·共识
5Draft使用说明书版本:0.1.0 | 更新日期:2026-09-05 | 适用对象:将 5Draft 集成到现有 Raft 集群的开发者与运维人员
富士康质检员张全蛋1 天前
分布式·kafka
Kafka实战 自定义分区器 几种常见的分区器kafka topic是可以分为很多很多分区的,每一条消息在Kafka中存储的时候是要选择其中一个分区进行存储的,并且只能存在于一个分区当中。
努力努力再努力wz1 天前
开发语言·数据库·c++·redis·分布式·缓存·架构
【Redis入门系列】:从 RESP 协议到 redis-plus-plus:Redis 客户端编程与 C++ 接口设计🔥 本文专栏:Redis 🌸作者主页:努力努力再努力wz💪 今日博客励志语录:最难的不是做出决定的那一瞬间,而是在此后无数个想要放弃的深夜里,依然能够在心里再一次‘选择’坚持。
青禾8371 天前
分布式·git·svn
Git 与 SVN 完全指南:从集中式到分布式的版本控制大家好,版本控制系统是开发团队协作的基石,它记录文件的变更历史,支持多人协同开发。本文将系统性地讲解SVN(集中式)和Git(分布式) 两大版本控制系统的核心概念与常用操作,帮助你快速上手并理解两者的区别。
2301_800954991 天前
分布式·git
Git 版本控制核心概念详解:从集中式到分布式版本控制的核心目的是记录文件内容的变化历史,让开发者能够回溯任意时间点的版本、对比不同版本之间的差异,并在多人协作时有效管理代码的合并与冲突。它解决了传统开发中「文件覆盖丢失」「无法追溯改动」「多人协作混乱」等核心痛点。
天天喝旺仔1 天前
分布式·http·微服务·rpc·go
gRPC 流式通信实战:从一元调用到双向流,吃透四种 RPC 模式(Go 版)做微服务时,最常遇到的不是"怎么调一次接口",而是"怎么持续地传数据":服务端要不停推送行情、客户端要批量上报日志、两边要像聊天一样来回发消息。用传统的"一问一答" HTTP 接口去硬套,要么轮询刷屏,要么把请求体撑成巨无霸。
明达智控技术2 天前
分布式·物联网·自动化
告别停机内卷!热插拔远程IO,解锁工控运维新范式在工业自动化生产场景中,设备停机永远是产能最大的“隐形杀手”。传统IO模块的运维痛点早已成为行业通病:模块故障、工位改造、设备调试时必须整机断电、全线停机,哪怕是单通道小故障,也会牵连整条产线停摆,不仅拉长维修时长、拖慢生产节奏,更直接造成产能损耗、成本攀升,严重影响企业生产效益。
漂着的圆木2 天前
分布式·架构·状态模式·ai agent
MCP 2026-07-28 长任务改造:别再用 HTTP 超时判断任务失败一个 Agent 调用工具生成报表,网关在 60 秒时返回超时。此时最危险的处理不是报错,而是客户端立刻重试:前一次报表可能仍在后台生成,第二次请求又启动了一份;如果工具带有扣款、发信或写状态副作用,重复执行会更麻烦。
数智启示录2 天前
数据库·经验分享·分布式·缓存·面试·kafka·apache
Apache Kafka Consumer 扩到 40 个仍不提速:Partition 上限锁死有效并行度 【Kafka合集】告警显示 Lag 上升,值班同学把 Consumer 从 12 个扩到 40 个,吞吐没变,数据库连接却被打满。问题不是 Kafka 不支持水平扩展,而是实例数已经超过可用分区,并把瓶颈推向了下游。
数智启示录2 天前
数据库·经验分享·分布式·mysql·面试·kafka·apache
Apache Kafka 幂等 Producer 的边界:Exactly-Once 到了 MySQL 为什么失效 【Kafka合集】订单消费者先提交 MySQL,再发布积分事件;进程恰在两步之间崩溃。恢复后重放订单,积分被再次发放。Producer 的幂等开关没有失效——它根本看不见这次业务重放。
数智启示录2 天前
经验分享·分布式·面试·kafka·apache
Apache Kafka 不只是消息队列:日志与 Offset 分离如何让事件可重放 【Kafka合集】风控规则上线后,团队发现过去七天漏判了一类订单。订单服务没有重发接口,直接扫描业务库又会冲击线上。此时系统能否补算,不取决于消费者还能不能启动,而取决于七天前的事件是否仍在、消费位置能否独立回退、重复副作用是否可控。