分布式

buhuimaren_3 小时前
分布式
FastDFS分布式存储FastDFS 整体由三类角色构成,分工明确、易于理解:关闭防火墙与 SELinux:plaintext
独隅16 小时前
分布式·zookeeper·云原生
ZooKeeper 基础原理深度解析本文深入解析ZooKeeper分布式协调服务的核心原理。主要内容包括:1)ZooKeeper作为CP系统的定位,提供配置管理、命名服务等核心功能;2)采用树形数据模型,详细介绍了ZNode四种节点类型及其特性;3)深入剖析ZAB协议的工作机制,包括消息广播和崩溃恢复两种模式;4)会话管理和Watch监听机制的实现原理。文章通过架构图解和流程说明,系统化地揭示了ZooKeeper保证分布式一致性的关键技术,适用于对数据准确性要求高的分布式场景。
MY_TEUCK17 小时前
redis·分布式·缓存
【Redis 高级实战】分布式缓存、 多级缓存与最佳实践一篇打通在掌握 Redis 基础命令之后,一到线上就会遇到:单机瓶颈、高可用、数据一致性、缓存击穿、BigKey、慢查询、安全风险……本文把讲义里的“高级必修课”整理成一篇可直接发布的系统教程,覆盖架构、原理和落地代码思路。
老毛肚18 小时前
数据库·redis·分布式
Redis分布式篇1.性能遇到高并发需要2.高可用读写分离-需要类似nacos的机制哨兵机制3.可扩展性数据再内存,不够大,横向扩展分片
juniperhan18 小时前
java·大数据·数据仓库·分布式·flink
Flink 系列第16篇:Flink 核心数据类型类详解(POJO、Row、Tuple)在 Flink 编程中,POJO、Row、Tuple 是最常用的三大核心数据类型类,分别适用于不同的业务场景。本文将详细解析三者的定义、使用方法、优势劣势及适用场景,帮助开发者快速选择合适的数据类型。
zshs00018 小时前
分布式·后端·架构
重读《凤凰架构》,从分布式演进史看技术选型的本质重读《凤凰架构》,从分布式演进史看技术选型的本质去年9月笔者拜读了《凤凰架构》这本分布式架构领域的神作,也催生了本人的EAQB项目,今年3月开始重构这个项目,看过之前几篇文章的读者一定会发现,总结起来就一个核心观点,“复杂度不会消失只会转移”。正好最近笔者重读了《凤凰架构》,我再次体会到了这句话真的是无处不在。如果把分布式架构几十年的演进史串起来看,就会发现它是所有技术迭代的根本逻辑。
代码漫谈21 小时前
分布式·消息队列·rabbitmq
深入RabbitMQ腹地:核心概念、底层原理与生产级实践RabbitMQ是一个实现了高级消息队列协议(AMQP 0-9-1)的开源消息代理软件。它用Erlang语言编写,运行在Erlang/OTP这个为电信级高并发、高可靠而生的平台上。这使得RabbitMQ天生具备软实时、高并发和分布式的特性。
旷世奇才李先生1 天前
redis·分布式·缓存
Redis高级实战:分布式锁、缓存穿透与集群部署(附实战案例)摘要:Redis作为高性能的内存数据库,广泛应用于缓存、分布式锁、消息队列等场景,但在高并发场景下,容易出现缓存穿透、缓存击穿、缓存雪崩等问题,同时Redis集群部署的高可用性也是企业级应用的核心需求。本文结合电商库存缓存、分布式秒杀等实战场景,详细讲解Redis的高级用法、缓存问题解决方案、集群部署与运维技巧,附完整源码,适合后端开发者与运维工程师学习。
代码漫谈2 天前
分布式·消息队列·rabbitmq
RabbitMQ 解析:核心价值、环境搭建与应用RabbitMQ是一个开源的消息代理和队列服务器,基于AMQP(高级消息队列协议) 实现,用Erlang语言编写。它允许不同的应用程序通过消息进行通信,实现系统的解耦、异步处理和流量削峰。
爱浦路 IPLOOK2 天前
分布式·5g·架构
分布式UPF架构:让5G网络更灵活、更低时延在 5G 走向规模化商用深度赋能的过程中,传统集中式 UPF 部署越来越难以应对海量终端、突发流量、超低时延等多样化需求。分布式 UPF 架构应运而生,它通过将用户面功能下沉、分层、多点部署,从根本上改变了数据传输与处理方式,成为 5G 核心网面向行业场景、支撑 5G-A 演进的关键架构选择。 分布式 UPF 架构的核心思想是打破 “所有流量必须回传中心核心网” 的传统模式,按照业务需求、覆盖范围和时延等级,将 UPF 网元部署在核心层、区域层、边缘层等多个位置,形成一张可灵活调度、就近处理、弹性扩展的用
juniperhan2 天前
java·大数据·分布式·flink
Flink 系列第15篇:Flink 侧输出(Side Output)详解及实践侧输出(Side Output)是 Flink 提供的一种灵活的数据分流机制,核心价值在于实现数据流的精准拆分,适配多场景业务需求,具体特点如下:
卷毛的技术笔记2 天前
java·spring boot·redis·分布式·后端·面试·java-zookeeper
从零到一:深入浅出分布式锁原理与Spring Boot实战(Redis + ZooKeeper)摘要:在分布式系统中,并发控制是绕不开的核心话题。当多个服务实例同时操作共享资源时,单机锁已经失效,分布式锁应运而生。本文将带你深入理解分布式锁的本质,掌握Redis和ZooKeeper两种主流实现方案,并提供Spring Boot完整代码示例,助你构建高可用、强一致的分布式系统。
frankfishinwater2 天前
分布式·架构·kafka
Kafka 代码架构分析Apache Kafka 是一个分布式事件流平台,采用 分层模块化 设计,主要分为以下几个核心模块:这是 Kafka 提供给开发者使用的客户端库,包含: 以下是Kafka客户端组件的路径与职责的表格化整理:
啾啾Fun2 天前
分布式
工作流(4)——分布式与工作流在分布式微服务架构下,工作流引擎面临着新的挑战:并发冲突。当多个节点同时处理同一个任务时,如何保证流程状态的一致性?当多个节点同时执行定时任务时,如何避免重复执行?
lifewange2 天前
大数据·hadoop·分布式
Hadoop 完整入门详解Apache Hadoop 是 Apache 开源的大数据分布式基础框架,基于廉价普通服务器集群,解决 PB/EB 级海量数据的存储、离线批量计算 问题,是整个大数据生态的基石。灵感源自 Google GFS、MapReduce 论文,Java 开发,名字源于创始人儿子的玩具大象。
旷世奇才李先生2 天前
redis·分布式·缓存
Redis 7\.x实战:缓存设计与分布式锁实现摘要:Redis作为高性能的键值对数据库,凭借其高速读写、支持多种数据结构、可持久化等特性,已成为企业级项目中缓存、分布式锁、消息队列等场景的首选工具。本文基于Redis 7.x,结合电商、微服务等实战场景,详细讲解Redis核心数据结构、缓存设计模式、缓存问题解决(缓存穿透、缓存击穿、缓存雪崩)、分布式锁实现、持久化配置等核心知识点,附完整命令与代码案例,帮助后端开发者、运维工程师快速掌握Redis实战技巧,提升系统性能与稳定性,适合Redis入门与进阶学习。
Juicedata2 天前
分布式·架构
分布式架构下配额设计:JuiceFS 的实现与典型案例在分布式存储环境中,存储资源通常由多个用户、项目和业务共享使用。如果缺乏有效的约束机制,单一主体的异常写入或误操作,可能迅速消耗大量空间或 inode,进而影响系统稳定性与成本控制。配额管理正是为共享环境建立可预测资源边界的重要手段。
曾阿伦2 天前
大数据·分布式·spark
Spark flatMapToPair算子卡顿优化作为 JavaSpark 中 “一对多” 转换的核心算子,flatMapToPair广泛应用于日志解析、数据拆分、维度关联等场景。但在处理 TB 级数据时,不少开发者会遇到 Task 执行缓慢、数据倾斜、资源利用率低等问题。本文梳理