分布式

Augustvic8 小时前
分布式·kafka
消息队列KafkaRecordBatch是Kafka消息传输的最小“协议单元”,结构如下:(字段长度单位:字节)PartitionLeaderEpoch用于解决 Leader 切换时数据一致性问题,它是一个单调递增的整数,与分区的 Leader 副本绑定,本质是 Leader 副本的 “版本号”。
java1234_小锋9 小时前
分布式·zookeeper·云原生
Zookeeper分布式锁如何实现?大家好,我是锋哥。今天分享关于【Zookeeper分布式锁如何实现?】面试题。希望对大家有帮助;超硬核AI学习资料,现在永久免费了!
飞Link13 小时前
大数据·linux·hadoop·分布式
【Hadoop】Linux(CentOS7)下安装Hadoop集群三台一起执行三台一起执行如果密码太简单了就输入两次,死犟死犟的一天三台一起执行三台一起执行https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.4.2/hadoop-3.4.2.tar.gz
倚肆13 小时前
java·分布式·kafka
Kafka部署指南:单机开发模式与集群生产模式( 4.1.1 版本)Apache Kafka 4.1.1 是一个高性能的分布式流处理平台,自 4.0 版本开始完全采用 KRaft 模式(不再依赖 ZooKeeper)。本文档详细介绍 Kafka 4.1.1 的两种部署模式:单机开发模式(适用于开发、测试环境)和集群生产模式(适用于高可用生产环境)。
@淡 定14 小时前
分布式·wpf
分布式事务解决方案定义:跨多个服务或数据库的事务,需要保证所有操作要么全部成功,要么全部失败。电商场景示例:必须满足二选一
大厂技术总监下海16 小时前
分布式·设计模式
为何顶尖科技公司都依赖它?解码 Protocol Buffers 背后的高性能、可演进设计模式Protocol Buffers 的核心是一个 接口定义语言(IDL) 及一套 代码生成工具和运行时库。其工作流程可概括为:
回家路上绕了弯17 小时前
分布式·后端
分布式系统幂等性详解:从理论到落地的完整指南在分布式系统中,“重复执行”是无法避免的常态——网络抖动导致的请求重试、消息队列的重复消费、用户误操作的重复提交、服务重启后的任务重放,都可能让同一操作被多次执行。如果系统不具备“幂等性”,这些重复操作会引发严重的数据异常:重复扣减余额、重复创建订单、重复发放积分……而幂等性,正是应对这些问题的核心保障。今天,我们就全面拆解幂等性的核心逻辑、实现方案、落地实践与避坑要点,搞懂如何让分布式系统在重复操作下依然保持数据一致。
rustfs17 小时前
分布式·安全·docker·rust·开源
RustFS x Distribution Registry,构建本地镜像仓库容器镜像仓库是应用容器化部署的必选项,顶级玩家 Dockerhub 由于网络原因,在国内使用不是很顺畅,因此搭建一个企业专属的私有化镜像仓库就成为了企业云原生转型的关键。现在市面上有很多类似的解决方案,比如 Harbor, GitLab Container Registry, GitHub Container Registry 等,但是这些项目都用到了开源项目 Distribution,这个项目的主要产品就是为使用 OCI Distribution 规范的容器镜像仓库提供一个开源的 Registry 实现
lifewange17 小时前
分布式·kafka
Kafka 是什么?Kafka 是一款高吞吐量、分布式的发布 - 订阅消息队列系统,核心用于在系统间异步传输大量数据流。它常被用在日志收集、实时数据处理、消息解耦、流数据管道等场景,比如将用户行为日志实时传输给分析系统,或是在微服务架构中实现服务间的异步通信,能轻松支撑百万级别的消息吞吐,且具备高容错性和可扩展性。
西敏寺的乐章18 小时前
分布式·学习·zookeeper
ZooKeeper 系统学习总结学习背景:一句话定义:ZooKeeper 是一个用于维护分布式系统中一致性状态的协调系统。它不是:它解决的是:
better_liang18 小时前
java·分布式·消息队列·rabbitmq·幂等性
每日Java面试场景题知识点之-RabbitMQ消息重复消费问题在分布式系统中,由于网络问题或消费者重启,同一条消息可能被多次处理,导致业务逻辑重复执行。这种情况在订单处理、支付回调、库存扣减等关键业务场景中尤为严重,可能造成重复下单、重复支付、库存超卖等问题。
嘉禾望岗50319 小时前
大数据·分布式·spark
Spark-Submit参数介绍及任务资源使用测试下面以向Standalone集群和Yarn集群中提交Spark Pi任务为例,演示集群资源使用情况。启动Standalone集群,集群中包含2台Worker节点,每台Worker节点配置2core和3G内存:
潇洒畅想1 天前
分布式
分布式锁极端场景解决方案总结3秒内订单重复提交两次如果redis挂了或者主从切换导致redis锁失效redisson看门狗也无法解决咋办
潇洒畅想1 天前
分布式
分布式消息中间件处理(幂等,顺序,重试,积压)方案总结RocketMQ的顺序消费和重试机制是其特色。保证顺序消费 (关键配置)生产者:使用 MessageQueueSelector,通过Sharding Key(如订单ID)将同一组消息发往同一个队列。
sysinside1 天前
大数据·分布式·elasticsearch
Elasticsearch 9.2 发布 - 分布式搜索和分析引擎Elasticsearch Enterprise 9.2 (macOS, Linux, Windows) - 分布式搜索和分析引擎
嘉禾望岗5031 天前
大数据·分布式·spark
spark算子类型在 Apache Spark 中,算子(Operator) 是对分布式数据集(RDD)进行操作的函数或方法。根据功能和特性,Spark 的算子主要分为三大类:转换算子(Transformation)、行动算子(Action) 和 持久化算子(Persistence)。Transformation算子用于从一个 RDD 转换生成另一个 RDD,具有惰性特性;Action算子用于触发实际计算,将结果返回给Driver或写入外部存储;持久化算子用于将 RDD 的数据缓存或持久化,以提高重复计算的效率。
大厂技术总监下海1 天前
分布式·开源
来自美团生产环境的实战派:开源CAT监控,如何保障超大规模分布式系统可观测性?CAT 是由美团点评(现美团)开源的实时应用监控平台,项目地址为:https://github.com/dianping/cat。截至当前,该项目在GitHub上获得超过1.8万星标,被分叉超过7千次,具备活跃的社区生态。项目采用Apache 2.0开源协议,主要使用Java语言开发。
大厂技术总监下海2 天前
分布式·微服务
深入 Apache Dubbo 架构:解读一个开源高性能 RPC 框架的设计哲学与核心源码Apache Dubbo 是一个由 Apache 软件基金会托管的开源高性能 RPC(远程过程调用)与微服务框架。项目托管于 GitHub,地址为 github.com/apache/dubb… GitHub 统计数据(Star、Fork 数)反映了其在开源社区的广泛采纳度和活跃度,是构建分布式系统,特别是微服务架构的主流技术选型之一。
前端不太难2 天前
分布式·华为·harmonyos
不写 Socket,也能做远程任务?HarmonyOS 分布式任务同步实战随着设备形态越来越多,一个应用只跑在“单一设备”上的时代基本结束了。 手机、平板、手表、车机、智能设备之间的协同,已经成了鸿蒙生态里的常态。