分布式

身如柳絮随风扬7 小时前
java·分布式·微服务
多数据源切换实战:从业务场景到3种实现方案全解析在微服务、SaaS、高并发等复杂架构下,单一数据源往往无法满足业务需求。多数据源动态切换已经成为后端开发必备技能。本文将结合真实业务场景,由浅入深地讲解三种主流的实现方案,并通过流程图、类图辅助理解,助你彻底掌握多数据源切换技术。
AIMath~8 小时前
分布式·zookeeper·云原生
雪花算法+ZooKeeper解决方案+RPC是什么雪花算法(Snowflake Algorithm)是 Twitter 开源的一种在分布式系统中生成全局唯一 ID 的经典算法。
KmSH8umpK8 小时前
数据库·redis·分布式
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第六篇前五篇,我们从零起步,搞定手写Lua锁避坑、Redisson生产落地、集群红锁强一致、雪崩熔断兜底、底层源码深度拆解、线上疑难死锁根治、全参数性能调优,日常业务、常规大促、面试高阶场景全部全覆盖。
空中海10 小时前
分布式·kafka·linq
Kafka :存储、复制与可靠性本章从底层解释 Kafka 为什么吞吐高、为什么能容错,以及什么配置会影响丢消息和重复消息。Kafka 的 partition 本质是追加日志。每个 partition 在磁盘上对应一个目录,目录中有多个日志段文件。
渣渣盟10 小时前
分布式·flink·kafka
构建企业级实时数据管道:Kafka + Flink 最佳实践在当下的数据驱动型企业中,实时数据管道已经从“可选的附加组件”晋升为“核心基础设施”。无论是实时风控、运营实时大屏、推荐系统特征实时拼接,还是数据库的 CDC 同步,底层都离不开消息队列和流计算引擎的紧密配合。Apache Kafka 和 Apache Flink 几乎成为了这对组合的事实标准。
KmSH8umpK11 小时前
数据库·redis·分布式
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第四篇前面三篇,我们搞定了Lua手写锁、Redisson单机锁、Redisson红锁、热点分段锁,理论+代码+集群故障复盘全部拉满。但很多架构师踩了最后一个致命大坑:只做了锁的互斥能力,没做锁的容错与降级兜底。
KmSH8umpK11 小时前
数据库·redis·分布式
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第五篇前面四篇,我们搞定了手写锁、Redisson落地、集群防丢锁、雪崩兜底降级、异地多活适配,足以支撑日常开发、项目迭代、线上故障应急。但绝大多数工程师卡在最后一关:只会调用API,不懂底层源码内核,遇到深挖底层面试题、隐蔽线上隐性死锁,直接束手无策。
卧室小白12 小时前
分布式
ceph-分布式存储在现代计算机系统和网络中,数据存储是至关重要的。随着数据量的爆炸式增长,如何高效、可靠地存储和管理数据成为了一个重要的挑战。文件存储、块存储和对象存储是三种主要的数据存储方式,它们各自具有独特的特性和适用场景。本文将详细探讨这三种存储方式的定义、架构、原理和应用场景,帮助读者更好地理解和选择合适的数据存储解决方案。
aXin_ya12 小时前
分布式·缓存·微服务
微服务第九天 分布式缓存(Redis)单点Redis的问题多线程异步处理执行持久化(子进程执行)
空中海13 小时前
分布式·kafka·linq
Kafka 基础:从消息队列到事件流平台Kafka 是一个分布式事件流平台。它表面上像消息队列,但核心模型不是“把消息投递给某个消费者后立刻删除”,而是“把事件追加写入一个可持久化、可分区、可复制的日志中,消费者按 offset 自己读取”。
空中海15 小时前
分布式·kafka·linq
Kafka Streams、Connect 与生态Kafka 不只是消息中间件,还包含流处理、数据集成和跨集群复制生态。本章覆盖:Kafka Streams 是 Kafka 官方 Java 流处理库。它不是独立集群,而是嵌入你的应用进程。
KmSH8umpK1 天前
redis·分布式·wpf
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第三篇看完前两篇,你已经能搞定单体Redis+Lua手写锁+Redisson单机锁全业务落地,日常低中并发业务完全够用。但90%高级开发卡在这里:一上Redis主从/哨兵/集群架构,就随机出现锁失效、并发击穿、资金对账错乱,线下压测百分百正常,生产深夜随机爆发。
KmSH8umpK1 天前
spring boot·redis·分布式
SpringBoot 分布式锁实战:从单机锁到Redis分布式锁全覆盖,解决超卖、重复下单、幂等并发问题SpringBoot 分布式锁实战:从单机锁到Redis分布式锁全覆盖,解决超卖、重复下单、幂等并发问题(生产直接可用源码)
KmSH8umpK1 天前
redis·分布式·wpf
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案🔥 博主专注后端高并发架构实战、中间件底层拆解、线上疑难故障复盘,定期更新可落地生产级技术方案,干货无废话,建议一键三连收藏,面试刷题、项目改造随时复用,有分布式架构、Redis调优问题可评论区留言,精准答疑!
长河2 天前
分布式
XXL-JOB 从本地快速上手到核心架构深度解析基础环境:JDK 17+、MySQL5.7+、Maven3.6+,拉取 XXL-JOB 官方源码即可开始部署。
juniperhan2 天前
大数据·数据仓库·分布式·sql·flink
Flink 系列第22篇:Flink SQL 参数配置与性能调优指南:从 Checkpoint 到聚合优化如果把 Flink 作业比作一辆赛车,那么参数配置就是它的调校系统——离合、刹车、悬挂。参数调得好,作业如丝般顺滑;参数瞎配,翻车只是时间问题。但在查阅官方文档时,密密麻麻的配置项很容易让人迷失方向:哪些是必须配的?哪些默认就行?Mini-Batch 何时开?两阶段聚合怎么选?State TTL 到底设多大?本文将从环境部署、运行时优化到聚合算子调优三个层面,系统梳理 Flink SQL 中那些「牵一发而动全身」的核心参数,并附上生产级建议。
juniperhan2 天前
java·大数据·数据仓库·分布式·sql·flink
Flink 系列第21篇:Flink SQL 函数与 UDF 全解读:类型推导、开发要点与 Module 扩展Flink SQL 内置了丰富的系统函数,但面对千奇百怪的业务需求,自定义函数(UDF)便成了释放开发能量的关键。从标量函数到聚合函数,再到表值聚合和异步查询,每一个 UDF 类型都有其独特的应用场景与开发规范。而 Module 机制则打通了 Hive 与传统数仓的壁垒,让函数复用变得前所未有的简单。本文将深入 Flink 1.16+ 的函数体系,从类型推导、状态管理到 Module 扩展,一次性讲透 Flink SQL 中关于函数的一切。
marsh02062 天前
分布式·ai·编程·技术
41 openclaw分布式会话管理:跨服务状态同步方案## 背景/痛点 在 openclaw 做到多服务拆分之后,会话管理往往是第一个被低估的问题。单体时代,一个用户登录后,Session 放在本机内存里,接口调用天然能拿到用户态;但拆成网关、订单、支付、运营后台、风控服务后,同一个用户请求可能被负载均衡打到不同实例,状态如果还停留在本地内存,就会出现“刚登录又变未登录”“权限变更不生效”“踢人下线延迟”等问题。 我在项目里踩过一个坑:运营后台修改用户角色后,订单服务仍然使用旧权限缓存,导致用户还能访问已经被收回的接口。问题不在权限判断逻辑,而在会话状态没有
杰建云1672 天前
分布式
Plurai 分布式推理引擎深度评测在大规模语言模型落地的过程中,很多团队都卡在了一个看似简单却极其棘手的问题上:如何让多张显卡真正协同工作,而不是各自为战?当我们试图将百亿参数模型部署到生产环境时,单卡显存溢出、多卡通信瓶颈、高并发下的延迟抖动,这些问题往往接踵而至。传统的推理框架在处理动态请求流时,常常显得力不从心,要么资源利用率低下,要么在流量洪峰面前瞬间崩溃。
星筏3 天前
redis·分布式·zookeeper
深入理解分布式锁:ZooKeeper vs Redis本文从实现原理、可靠性、适用场景等多个维度,深入对比 ZooKeeper 与 Redis 两种主流分布式锁方案,并剖析红锁(RedLock)为何没有成为主流。