技术栈
分布式
NPE~
4 小时前
大数据
·
分布式
·
docker
·
spark
·
教程
[docker/大数据]Spark快速入门
Spark官方文档:https://spark.apache.ac.cn/docs/latest/Spark 由加州大学伯克利分校 AMP 实验室于 2009 年开发,2013 年成为 Apache 顶级项目,旨在解决 MapReduce 的三大核心问题:
Java小混子
6 小时前
redis
·
分布式
·
缓存
【Redis】缓存和分布式锁
目录一、缓存1、缓存使用高并发下缓存失效问题 - 缓存穿透(查询一个不存在的数据,缓存与数据库中都没有)
柯南二号
6 小时前
java
·
redis
·
分布式
【Java后端】【可直接落地的 Redis 分布式锁实现】
可直接落地的 Redis 分布式锁实现:包含最小可用版、生产可用版(带 Lua 原子解锁、续期“看门狗”、自旋等待、可重入)、以及基于注解+AOP 的无侵入用法,最后还给出 Redisson 方案对比与踩坑清单。
Rookie小强
12 小时前
分布式
·
kafka
kafka的rebalance机制是什么
终端行者
13 小时前
服务器
·
分布式
·
jenkins
jenkins实现分布式构建并自动发布到远程服务器上 jenkins实现自动打包编译发布远程服务器
接上文:https://blog.csdn.net/soso678/article/details/149223763?spm=1001.2014.3001.5501
码农小灰
1 天前
java
·
分布式
·
kafka
Kafka消息持久化机制全解析:存储原理与实战场景
目录引言一、Kafka消息持久化的核心目标二、底层存储机制深度剖析1.【文件系统分层】——日志分组 + 日志段
纪莫
1 天前
java
·
分布式
·
后端
·
中间件
·
kafka
·
队列
Kafka如何保证「消息不丢失」,「顺序传输」,「不重复消费」,以及为什么会发生重平衡(reblanace)
上一篇文章总结了kafka为什么快,下面来总结一下,kafka高频的常见的问题。内容有点多,全部看完需要有一定的耐心。
想躺平的咸鱼干
1 天前
java
·
分布式
·
rabbitmq
·
idea
·
amqp
·
消息转换器
·
交换机模型
RabbitMQ 基础
RabbitMQ是一种简单的消息队列,消息队列是什么?消息队列也就是服务和进程之间相互异步通讯的方式,它的核心模型就是生产者将消息发送到队列,消费者然后从中获取并处理消息。所以关键的组件就在于生产者,消费者,队列,交换机。
KaiwuDB
1 天前
数据库
·
分布式
KWDB 分布式架构探究——数据分布与特性
本期直播我们邀请到 KaiwuDB 高级研发工程师冯友旭为大家分享《KWDB 分布式架构探究——数据分布与特性》,点击下方视频观看完整版回放 ↓↓↓
华仔啊
2 天前
java
·
分布式
乐观锁、悲观锁和分布式锁,你用对了吗?
后台开发最怕什么?数据被改乱。 把数据库想成公共厨房,锅就是数据。 三个人同时炒菜,锅翻了,菜就糊了。 锁就是排队机制,让锅一次只给一个人用。
艾希逐月
2 天前
分布式
分布式唯一 ID 生成方案
在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中,数据日渐增长,对数据分库分表后需要有一个唯一 ID 来标识一条数据或消息,数据库的自增 ID 显然不能满足需求;特别一点的如订单、骑手、优惠券也都需要有唯一 ID 做标识。此时一个能够生成全局唯一ID 的系统是非常必要的。
齐木卡卡西在敲代码
2 天前
分布式
·
kafka
kafka的pull的依据
绝对不需要! 提交 offset 和调用 poll() (拉取消息) 是两个完全独立的行为。消费者可以连续调用 poll() 多次,期间完全不提交任何 offset。 这是 Kafka 消费者的正常工作模式。
lllsure
2 天前
分布式
·
rabbitmq
RabbitMQ 基础
目录一.核心概念1.Producer和Consumer2.Connection和Channel3.Virtual host
DN金猿
2 天前
分布式
·
rabbitmq
rabbitmq发送的延迟消息时间过长就立即消费了
RabbitMQ延迟消息在设置过长时间后被立即消费的问题,通常与以下原因有关:典型配置示例(使用插件方式):
程序员不迷路
3 天前
分布式
·
kafka
Kafka学习
要精通 Kafka,需要深入理解其架构原理、核心组件、生产消费机制、运维调优及与业务系统的实战集成。以下是系统化的知识体系:
北i
3 天前
分布式
·
zookeeper
·
云原生
ZooKeeper 一致性模型解析:线性一致性与顺序一致性的平衡
在分布式系统中,我们熟知多种一致性模型,包括强一致性、弱一致性、最终一致性、线性一致性、顺序一致性、因果一致性、会话一致性和单调读一致性等。那么,ZooKeeper究竟遵循哪种一致性模型呢?
IT技术小密圈
3 天前
分布式
·
后端
·
面试
图解分布式锁: 5分钟搞懂分布式锁
===本文从一个生动的“抢购演唱会门票”场景将起,花5分钟带你搞懂分布式锁。你最爱的歌手突然宣布加场演唱会,门票在晚上8点准时开抢。
bing_158
3 天前
分布式
·
kafka
kafka 生产者是如何发送消息的?
Kafka 生产者发送消息的过程是一个异步流程,旨在实现高吞吐量和可靠性。这个过程主要涉及两个核心线程:主线程和 Sender 线程。
Monly21
3 天前
分布式
·
rabbitmq
RabbitMQ:数据隔离
RabbitMQ 通过 虚拟主机(Virtual Host,简称 vHost) 实现数据隔离,其核心机制与实现方式如下:
萧鼎
3 天前
开发语言
·
分布式
·
python
Python pyzmq 库详解:从入门到高性能分布式通信
在现代软件开发中,进程间通信(IPC)与分布式系统通信已经成为基础能力。无论是构建一个微服务架构的后端,还是实现大规模并行计算任务,如何让不同的进程或节点之间高效地传递消息,都是核心问题。