分布式

@淡 定1 分钟前
分布式·wpf
分布式事务解决方案定义:跨多个服务或数据库的事务,需要保证所有操作要么全部成功,要么全部失败。电商场景示例:必须满足二选一
大厂技术总监下海1 小时前
分布式·设计模式
为何顶尖科技公司都依赖它?解码 Protocol Buffers 背后的高性能、可演进设计模式Protocol Buffers 的核心是一个 接口定义语言(IDL) 及一套 代码生成工具和运行时库。其工作流程可概括为:
回家路上绕了弯3 小时前
分布式·后端
分布式系统幂等性详解:从理论到落地的完整指南在分布式系统中,“重复执行”是无法避免的常态——网络抖动导致的请求重试、消息队列的重复消费、用户误操作的重复提交、服务重启后的任务重放,都可能让同一操作被多次执行。如果系统不具备“幂等性”,这些重复操作会引发严重的数据异常:重复扣减余额、重复创建订单、重复发放积分……而幂等性,正是应对这些问题的核心保障。今天,我们就全面拆解幂等性的核心逻辑、实现方案、落地实践与避坑要点,搞懂如何让分布式系统在重复操作下依然保持数据一致。
rustfs3 小时前
分布式·安全·docker·rust·开源
RustFS x Distribution Registry,构建本地镜像仓库容器镜像仓库是应用容器化部署的必选项,顶级玩家 Dockerhub 由于网络原因,在国内使用不是很顺畅,因此搭建一个企业专属的私有化镜像仓库就成为了企业云原生转型的关键。现在市面上有很多类似的解决方案,比如 Harbor, GitLab Container Registry, GitHub Container Registry 等,但是这些项目都用到了开源项目 Distribution,这个项目的主要产品就是为使用 OCI Distribution 规范的容器镜像仓库提供一个开源的 Registry 实现
lifewange3 小时前
分布式·kafka
Kafka 是什么?Kafka 是一款高吞吐量、分布式的发布 - 订阅消息队列系统,核心用于在系统间异步传输大量数据流。它常被用在日志收集、实时数据处理、消息解耦、流数据管道等场景,比如将用户行为日志实时传输给分析系统,或是在微服务架构中实现服务间的异步通信,能轻松支撑百万级别的消息吞吐,且具备高容错性和可扩展性。
西敏寺的乐章4 小时前
分布式·学习·zookeeper
ZooKeeper 系统学习总结学习背景:一句话定义:ZooKeeper 是一个用于维护分布式系统中一致性状态的协调系统。它不是:它解决的是:
better_liang4 小时前
java·分布式·消息队列·rabbitmq·幂等性
每日Java面试场景题知识点之-RabbitMQ消息重复消费问题在分布式系统中,由于网络问题或消费者重启,同一条消息可能被多次处理,导致业务逻辑重复执行。这种情况在订单处理、支付回调、库存扣减等关键业务场景中尤为严重,可能造成重复下单、重复支付、库存超卖等问题。
嘉禾望岗5034 小时前
大数据·分布式·spark
Spark-Submit参数介绍及任务资源使用测试下面以向Standalone集群和Yarn集群中提交Spark Pi任务为例,演示集群资源使用情况。启动Standalone集群,集群中包含2台Worker节点,每台Worker节点配置2core和3G内存:
潇洒畅想15 小时前
分布式
分布式锁极端场景解决方案总结3秒内订单重复提交两次如果redis挂了或者主从切换导致redis锁失效redisson看门狗也无法解决咋办
潇洒畅想16 小时前
分布式
分布式消息中间件处理(幂等,顺序,重试,积压)方案总结RocketMQ的顺序消费和重试机制是其特色。保证顺序消费 (关键配置)生产者:使用 MessageQueueSelector,通过Sharding Key(如订单ID)将同一组消息发往同一个队列。
sysinside17 小时前
大数据·分布式·elasticsearch
Elasticsearch 9.2 发布 - 分布式搜索和分析引擎Elasticsearch Enterprise 9.2 (macOS, Linux, Windows) - 分布式搜索和分析引擎
嘉禾望岗50321 小时前
大数据·分布式·spark
spark算子类型在 Apache Spark 中,算子(Operator) 是对分布式数据集(RDD)进行操作的函数或方法。根据功能和特性,Spark 的算子主要分为三大类:转换算子(Transformation)、行动算子(Action) 和 持久化算子(Persistence)。Transformation算子用于从一个 RDD 转换生成另一个 RDD,具有惰性特性;Action算子用于触发实际计算,将结果返回给Driver或写入外部存储;持久化算子用于将 RDD 的数据缓存或持久化,以提高重复计算的效率。
大厂技术总监下海21 小时前
分布式·开源
来自美团生产环境的实战派:开源CAT监控,如何保障超大规模分布式系统可观测性?CAT 是由美团点评(现美团)开源的实时应用监控平台,项目地址为:https://github.com/dianping/cat。截至当前,该项目在GitHub上获得超过1.8万星标,被分叉超过7千次,具备活跃的社区生态。项目采用Apache 2.0开源协议,主要使用Java语言开发。
大厂技术总监下海1 天前
分布式·微服务
深入 Apache Dubbo 架构:解读一个开源高性能 RPC 框架的设计哲学与核心源码Apache Dubbo 是一个由 Apache 软件基金会托管的开源高性能 RPC(远程过程调用)与微服务框架。项目托管于 GitHub,地址为 github.com/apache/dubb… GitHub 统计数据(Star、Fork 数)反映了其在开源社区的广泛采纳度和活跃度,是构建分布式系统,特别是微服务架构的主流技术选型之一。
前端不太难1 天前
分布式·华为·harmonyos
不写 Socket,也能做远程任务?HarmonyOS 分布式任务同步实战随着设备形态越来越多,一个应用只跑在“单一设备”上的时代基本结束了。 手机、平板、手表、车机、智能设备之间的协同,已经成了鸿蒙生态里的常态。
回家路上绕了弯1 天前
分布式·后端
Spring Retry框架实战指南:优雅处理分布式系统中的瞬时故障在分布式系统中,网络抖动、服务临时不可用、数据库连接超时等瞬时故障屡见不鲜。为了保证系统可靠性,我们通常需要为这些故障操作添加重试机制。但手动编写重试逻辑不仅繁琐,还容易出现代码冗余、重试策略不统一等问题。而Spring Retry框架恰好解决了这些痛点——它提供了简洁的注解和灵活的API,让我们能以极低的侵入性实现优雅的重试功能。今天,我们就从核心概念、快速上手、高级特性到落地实践,全面掌握Spring Retry的使用。
前端不太难1 天前
分布式·华为·harmonyos
HarmonyOS 分布式开发第一课:设备间协同调试实战这两年在做鸿蒙应用的时候,一个特别明显的变化是:应用不再只跑在一台设备上。手机、平板、智慧屏、手表、车机同时存在,很多业务天生就是“多设备协同”的,比如:
AutoMQ1 天前
分布式·架构·kafka
当 Kafka 架构显露“疲态”:共享存储领域正迎来创新变革文章导读本文作者为沃尔玛开发者 Ankur Ranjan 与 Sai Vineel Thamishetty 。二人长期关注 Apache Kafka 与流处理系统的演进,深入研究现代流处理架构面临的挑战与创新方向。文章不仅总结了 Kafka 的历史价值与当前局限,还展示了下一代开源项目 AutoMQ 如何借助云原生设计,解决 Kafka 在成本、扩展性与运维方面的痛点,为实时数据流架构提供全新视角。
程序员阿鹏1 天前
java·开发语言·分布式·后端·spring·缓存·rabbitmq
RabbitMQ持久化到磁盘中有个节点断掉了怎么办?用 “银行网点存储客户资料” 类比,快速理解 RabbitMQ 持久化与节点故障的处理逻辑:简单说:RabbitMQ 节点断掉后的处理,核心是先判断部署架构(单节点 / 集群)和节点类型(磁盘 / 内存),再针对性恢复服务,同时保证持久化数据的一致性,最终恢复业务的正常生产 / 消费。