技术栈
分布式
何以解忧,唯有..
17 分钟前
分布式
Redisson分布式锁实现原理深度解析
在分布式系统中,协调多个节点对共享资源的访问是一个经典难题。分布式锁作为一种解决方案,能够确保在分布式环境下,同一时刻只有一个节点可以执行关键代码段。Redisson 作为基于 Redis 的 Java 客户端,不仅提供了丰富的分布式对象和服务,其分布式锁的实现更是被广泛使用。本文将深入剖析 Redisson 分布式锁(RLock)的核心实现原理,从基本使用到源码细节,帮助你理解其高可用、可重入、自动续期等特性的背后机制。
萧瑟余晖
1 小时前
java
·
开发语言
·
分布式
Java深入解析篇三十六之分布式系统详解
分布式系统是由多台通过网络通信的计算机组成的系统,对外表现为一个统一的整体。其核心目标是:CAP定理由Eric Brewer在2000年提出,2002年被证明:在一个分布式系统中,以下三个特性最多只能同时满足两个:
cc复CC
6 小时前
分布式
从零开始手写 Spark 03|RDD 的惰性流水线
上一章,我们构建了第一个 RDD:它已经能代表一批数据,也知道该如何提供一个新的 Iterator。但它还只能把数据原样交出来。实际的数据处理显然不止于此:需要把数字乘 2、筛掉无效记录、把一行文本拆成多个单词。
cc复CC
6 小时前
大数据
·
分布式
从零开始手写 Spark 02|数据流与延迟迭代
上一章结尾,我们得到了两条原则——"分块"和"并行"。要让计算最终在数据分区上展开,代码里首先需要一个对象来代表这批数据,并说明每次该怎么访问它们。至于任务最终跑在哪台机器上,是调度层的事。
七夜zippoe
7 小时前
分布式
·
集群
·
dolphindb
·
节点配置
·
高可用部署
基于 DolphinDB 构建分布式集群:从节点配置到高可用部署的完整实践
摘要:本文面向运维工程师和平台架构师,讲解如何基于 DolphinDB 2.x 构建生产级分布式集群。从核心概念出发,拆解四类节点角色、三种集群拓扑、DFS 分布式存储与副本管理、MapReduce 并行计算及 Controller 高可用机制。提供 5 段可运行脚本(集群初始化、DFS 建库建表、数据均衡检查、并行聚合计算、监控告警整合),配合 3 类 Mermaid 图与 3 张架构占位图。所有代码经本地验证可执行,帮助读者在一天内搭建端到端的分布式数据底座。
Acrellea
8 小时前
分布式
并网验收难破局:分布式光伏如何攻克孤岛、逆流两大技术关卡
在双碳战略持续推进之下,工商业厂房屋顶、产业园区、厂站建筑掀起分布式光伏、光储一体化建设热潮。大量项目完成支架、组件、逆变器的安装施工,却卡在并网验收的最后一关,迟迟无法正式投运发电。孤岛效应、功率逆流两大问题,已经成为当前制约分布式新能源项目落地最普遍的技术障碍。
杨运交
18 小时前
数据库
·
redis
·
分布式
[060][调度模块]Redisson vs Redis 原生锁:两种分布式锁实现深度对比
本文章代码: gitee , gitcode , github同一个调度框架内同时提供了基于 Redis 原生命令的锁服务和基于 Redisson 的锁服务。本文从功能特性、使用复杂度、可靠性角度对比两者的差异,并给出选型建议。
heimeiyingwang
1 天前
分布式
·
架构
【架构实战】分布式事务:从CAP定理到Seata实战,一文讲透跨服务数据一致性
昨天聊了微服务架构下的 API 网关和认证授权,有个核心问题一直没展开:跨服务的数据一致性。一个典型的事故场景:下单服务减了库存,微服务 A 通知支付服务收款,用户支付成功后,发货服务要生成物流单。如果中间任何一步失败了,怎么处理?库存减了但钱没收、钱收了但货没发——这些"半成品状态"是企业级系统里最让人头大的问题。
lakernote
1 天前
分布式
·
kafka
·
linq
图解 Kafka Consumer 常用 API:poll、seek、pause、wakeup 到底在控制什么?
版本基线:Apache Kafka 4.3.x、Java Client 4.3.x。本文讨论 Java KafkaConsumer API,示例默认使用 Consumer Group、手工提交 offset,并以同步业务处理为基线。
hopsky
1 天前
数据库
·
分布式
·
kafka
kafka 对发送端的容错处理
当 Kafka 消息累计发送失败达到上限或重试机制无法解决问题时,系统通常会通过以下几种机制来进行处理和兜底:
数据库小学妹
1 天前
分布式
·
分布式数据库
·
数据库架构
·
集群
·
分库分表
·
主从集群
·
集群与分布式
集群与分布式啥区别?从主从集群到分布式实战
大家好,我是数据库小学妹 👋我踩过的坑,你别再踩。朋友小林做社区团购,他的订单库从一台破服务器,一路升级到分布式,整整用了三年。三年里,同一个问题他问了我三次:“集群与分布式,现在要不要上?”
江畔柳前堤
1 天前
大数据
·
人工智能
·
分布式
·
目标检测
·
机器学习
·
语言模型
·
架构
AgentScope 设计与原理全解:从消息原语到分布式智能体工程底座
最后更新:2026年8月17日 | 基于 AgentScope 2.0(Python/TS)及 AgentScope Java 2.0 GA 版本撰写
萧瑟余晖
1 天前
java
·
开发语言
·
分布式
Java深入解析篇三十四之分布式事务
分布式事务是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上。在微服务架构中,一个业务操作往往需要跨多个服务、多个数据库才能完成,传统的本地事务(ACID)无法直接保证跨服务的数据一致性。
零域码客
1 天前
redis
·
分布式
·
缓存
·
并发控制
·
后端架构
Redis 双刃剑:缓存与分布式锁的本质区别
Redis 是后端开发中最常用的中间件之一,但很多开发者对它的两个核心用途 —— 缓存和分布式锁 —— 经常混淆。本文从问题本质出发,清晰拆解二者的定义、原理、适用场景和协作方式,帮你建立准确的认知。
ltl
2 天前
分布式
3D 并行深度:数据 / 张量 / 流水 / 序列 / ZeRO
原文发布于 quant67.com,转载请保留出处。单卡 80GB HBM 理论上只能放约 40B 个 FP16 参数;70B 模型光权重就约 140GB,还没算梯度、优化器和激活。 要训 DeepSeek-V3 这样的 671B MoE,必须把模型切成几千片,让几千张 GPU 像一台机器一样工作。 切分的艺术,就是并行的艺术。
FserSuN
2 天前
大数据
·
分布式
·
spark
回顾Spark的概念与应用
本文基于 Spark 3.x 版本(生产环境使用 Spark 3.2+,Python 3.9)。以下概念和优化方案均以 Spark 3.x 为基础,部分特性(如 AQE 自适应执行、pandas_udf 的 @pandas_udf 装饰器语法)在 Spark 2.x 中不可用或 API 不同。
IT机器猫
2 天前
java
·
spring boot
·
分布式
·
spring cloud
·
log4j
·
rabbitmq
·
springamqp
RabbitMQ基础二
消息从生产者发送到Exchange,再到Queue,再到消费者,有三种消息丢失的可能性:为保证MQ的(消息)可靠性,解决以上三种消息丢失问题,就需要保证消息传递的每个步骤的可靠性即可,主要从三方面解决:确保生产者一定把消息发送到MQ、确保MQ不会将消息弄丢、确保消费者一定要处理消息
水无痕simon
2 天前
分布式
·
rabbitmq
·
ruby
3 RabbitMQ基础
Connection(连接) 客户端与 RabbitMQ Broker 之间建立的一条 TCP 连接。
画中有画
4 天前
分布式
·
架构
分布式锁架构方案选型与实践
在电商交易系统中,库存扣减是最典型的并发资源争抢场景。以秒杀活动为例,当数万用户同时抢购少量商品时,系统面临的核心挑战是超卖风险——多个并发请求同时查询库存并扣减,导致库存扣减数超过实际库存量。
starzy1990
3 天前
大数据
·
分布式
·
架构
·
spark
SparkSQL 数据源与底层架构深度剖析
摘要:SparkSQL 作为 Apache Spark 生态中最核心的模块之一,不仅提供了统一的 SQL 查询入口,更承载了 DataFrame/Dataset API 的全部执行能力。本文从数据源接入机制入手,深入 Catalyst 优化器四阶段流水线、WholeStageCodegen 代码生成、Tungsten 执行引擎等核心组件,结合源码级追踪,全面剖析 SparkSQL 底层架构设计。无论你是日常写 SQL 的数据工程师,还是需要调优 Spark 作业的架构师,这篇文章都会让你对 SparkSQ