分布式

星轨zb2 小时前
java·redis·分布式·jmeter
JUC 到 Redis 分布式锁:一次关于高并发的性能压测实验在此前JUC学习中,了解了 synchronized 和 ReentrantLock,但在单机环境下,面对少量的数据测试,很难直观感受到锁对系统稳定性的决定性作用。所以通过学习Jmeter对锁的效率提升有个进一步的了解
心中有国也有家3 小时前
人工智能·分布式·算法·性能优化·架构·paddlepaddle
PaddlePaddle 适配 NPU 的技术全解析——从算子接入到端到端性能优化PaddlePaddle(飞桨)是百度开源的深度学习框架,它怎么在华为 NPU 上跑起来?核心是通过 Paddle 的自定义算子机制接入 CANN 算子库,并通过通信后端抽象支持 HCCL 和 hixl。这篇文章把这套适配技术拆开讲清楚。
郑小憨3 小时前
大数据·分布式·zookeeper
zookeeper内部原理 (进阶介绍 三)目录ZooKeeper架构Zab协议(Zookeeper Atomic Broadcast)阶段一:Leader选举
java1234_小锋3 小时前
分布式·zookeeper·云原生
【吊打面试官系列-ZooKeeper面试题】zookeeper 是如何保证事务的顺序一致性的?大家好,我是锋哥。今天分享关于 【zookeeper 是如何保证事务的顺序一致性的?】面试题,希望对大家有帮助;
小江的记录本3 小时前
java·数据库·分布式·后端·zookeeper·kafka·rabbitmq
【Kafka核心】Kafka 3.0+ KRaft模式(替代ZooKeeper)核心原理与优势本文全方位、结构化拆解Kafka 3.0+ KRaft模式的完整知识体系,覆盖背景演进、核心架构、底层原理、全链路流程、核心优势、版本特性、部署运维、最佳实践、避坑指南九大核心维度,完整呈现KRaft替代ZooKeeper的技术内核与生产落地体系。
bing_1583 小时前
分布式·zookeeper·kafka
Zookeeper 在 Kafka 中扮演了什么角色?在 Apache Kafka 的早期架构中,ZooKeeper 扮演了分布式协调服务角色,负责管理和协调整个 Kafka 集群。 尽管新版本的 Kafka 正在逐步移除对 ZooKeeper 的依赖,但在许多现有和较早的系统中,了解 ZooKeeper 的作用仍然非常重要。
my19587021353 小时前
分布式·zookeeper·云原生
ZooKeeper分布式协调从入门到实战前言在分布式系统架构中,协调服务是保障集群稳定运行、数据一致、任务调度的核心组件。Apache ZooKeeper作为经典的分布式协调服务,被广泛应用于Hadoop、HBase、Kafka、Solr等大数据框架中,成为分布式环境不可或缺的基础服务。本文将结合理论原理、核心概念、集群部署与实操命令,系统讲解ZooKeeper全栈知识,助力快速掌握分布式协调核心技术。 一、集群环境预习与基础配置 在搭建ZooKeeper集群前,需完成基础环境规划与前置配置,保障集群通信、时间同步与免密登录。集群采用maste
oioihoii3 小时前
分布式·zookeeper·云原生
ZooKeeper 三节点集群部署:别再单机玩,高可用强一致集群这样搭还在用单机版 ZooKeeper 跑测试?./zkServer.sh start 一敲,连上 localhost:2181,看起来一切正常——但只要服务一重启,数据全丢;节点一宕机,整个系统直接瘫痪。这不是 ZooKeeper 该有的样子。
Jinkxs3 小时前
分布式·zookeeper·dubbo
Dubbo- 注册中心实战:Zookeeper 部署与 Dubbo 集成配置👋 大家好,欢迎来到我的技术博客! 📚 在这里,我会分享学习笔记、实战经验与技术思考,力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕Dubbo这个话题展开,希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手,还是正在进阶的开发者,希望你都能有所收获!
醉颜凉3 小时前
分布式·zookeeper·wpf
ZooKeeper Zxid 与 Epoch 深度解析:分布式事务的时空坐标摘要:在 ZooKeeper 的分布式世界中,每一个改变系统状态的操作都需要被精确标识和排序。ZXID(ZooKeeper Transaction ID)和 Epoch 就是实现这一目标的核心机制。它们如同分布式事务的"时空坐标",共同确保了集群中所有节点对事务顺序的理解一致。本文将深入剖析 ZXID 和 Epoch 的结构、工作原理以及在 Leader 选举和数据同步中的关键作用。
小尘要自信3 小时前
分布式·zookeeper·debian
踩过坑才明白:为什么 ZooKeeper 集群才是正经事说个真实经历。刚学 ZooKeeper 的时候,我就用单机版跑实验。./zkServer.sh start 敲下去,客户端连上 localhost:2181,看起来一切正常,心里还挺有成就感。直到有一次测试环境断电重启,ZooKeeper 服务跟着恢复了,结果发现之前创建的节点数据全丢了——临时节点(ephemeral)没了,顺序节点(sequential)的计数器也重置了。那一刻才反应过来:单机 ZooKeeper 根本不是真正的 ZooKeeper,它只是一个玩具。
心中有国也有家4 小时前
人工智能·经验分享·笔记·分布式·算法
CANN 算子开发完全指南——从 TBE DSL 到算子上线全流程如果你想在 NPU 上实现自定义算子(比如一个新的激活函数、一个自定义的注意力机制),你需要写 TBE(Tensor Boost Engine)算子。这篇文章从零开始讲清楚 TBE 算子的开发流程,包括 DSL 编写、编译、调试、性能调优和上线。
胡耀超5 小时前
大数据·数据库·分布式·ai·架构·数据
《设计数据密集型应用》(DDIA, 2nd ed.) 心智模型导览——《Designing Data-Intensive Applications》书介绍导航写给:还没读过这本书、想先在脑子里有张地图的读者 目的:装上 6 个内容枢纽——不只是抽象概念,每个枢纽下面挂着这本书真正讲的具体子概念、权衡轴、和真实产品 基于:Martin Kleppmann & Chris Riccomini,《Designing Data-Intensive Applications》第二版(O’Reilly, 2026 年 2 月)
shuair7 小时前
数据库·redis·分布式
redis分布式锁上锁示例1解锁示例1不推荐使用。这个实现把“校验是不是自己的锁”和“删除锁”拆成了两条命令(GET + DEL),不是原子操作,会出现竞态窗口:
song5018 小时前
图像处理·人工智能·分布式·flutter·硬件架构·交互
昇腾 910 的硬件架构:为什么它适合跑大模型搞清楚昇腾 910 的硬件结构,很多性能优化的手段就不需要死记硬背了——理解了底层,上层该怎么做是自然推导出来的。
会编程的土豆8 小时前
分布式·kafka
Kafka 操作流程(零基础完整流程)今天:我们不讲复杂理论。直接:从:完整走一遍。你学完:至少会:Kafka 最核心流程:例如:因为:现在:
未若君雅裁8 小时前
分布式·微服务
分布式接口幂等性设计:唯一索引、Token 与分布式锁接口幂等性解决的是“同一个请求被执行多次,会不会造成重复业务效果”的问题。用户重复点击、网络重试、MQ 重复消费,都可能让同一业务被重复执行。
还在忙碌的吴小二8 小时前
分布式
TLog 分布式日志追踪新手入门指南属性信息TLogDromara3.4K+ ⭐⭐⭐269+767+Java (100%)MIT是TLog 是一个轻量级的分布式日志标记追踪神器,10分钟即可接入,自动对日志打标签完成微服务的链路追踪。
轻刀快马8 小时前
分布式·架构·cpu
从底层 CPU 架构看透现代分布式与并发编程在软件开发的进阶之路上,很多开发者会被微服务、分布式锁、RPC、JUC 等上层概念绕晕。但如果你肯向下深挖,翻开计算机组成原理课本里那张看似枯燥的“多线程硬件分类图”,你会震惊地发现:现代分布式系统与高并发架构的演进密码,早就被几十年前的硬件芯片设计师写在了硅片里。
晚烛8 小时前
开发语言·人工智能·分布式·python·深度学习
CANN 分布式通信与 HCCL:多 NPU 协作的底层机制以 GPT-3 175B 为例,模型参数 FP16 格式占 350GB,Adam 优化器状态占 1400GB。单张 Ascend 910B 只有 64GB HBM,根本装不下。即使能装下,单卡的算力也不够——175B 参数的前向传播需要 3.5×10^18 次浮点运算,单卡 300 TFLOPS 需要 12 秒才能完成一次前向,训练根本跑不起来。