技术栈
kafka
Advancer-
13 小时前
java
·
spring boot
·
kafka
消息发送失败处理与 DLQ 补偿流程
来自javaup中的点评plus项目,链接当优惠券信息更改了, 使用消息发送到 Kafka 来通知消费者清除缓存,包括自己的本地缓存和 Redis 缓存,但是如果发送 Kafka 失败了呢?
Devin~Y
13 小时前
java
·
spring boot
·
redis
·
kafka
·
mybatis
·
hibernate
·
jpa
互联网大厂Java面试实录:Spring Boot、Kafka、Redis一致性与Spring AI RAG(小Y的翻车现场)
某互联网大厂「内容社区与UGC」事业部,业务包含:发帖/评论/点赞/关注、Feed流、图片/短视频处理、广告与风控、以及“智能客服/内容审核”的AIGC能力。
麦兜和小可的舅舅
13 小时前
c++
·
分布式
·
clickhouse
·
kafka
ClickHouse实时分布式集群设计方案选择探究
我们需要搭建一个大型的ClickHouse集群,用来承接多个完全不同Traffic规模的Kafka表的数据落地。 在集群的规划和设计过程中,我们预想了两种完全不同的集群架构: 横向平铺式以及纵向切分式。 本文详细分析了我们在衡量两种不同架构时候的考虑因素,以及,我们最终形成解决方案时做的必要的补充测试和验证,基于我们做的测试和验证,当每一个细节都完全清楚了,我们做出了最终决定。 同时,我们还考虑到,基于我们集群架构的方案选择,这种集群以后的扩容、缩容、机器的修复流程是否都有合理方案? 本文就详细讲解了整个
小马爱打代码
13 小时前
运维
·
kafka
Kafka 运维与高并发实战:20个核心命令详解
命令:适用场景:注意事项:Kafka 的并发能力主要由 Partition 决定,创建 Topic 时需要合理规划分区和副本。
小钻风3366
1 天前
分布式
·
kafka
Kafka 零基础实操命令大全
前面我们吃透了 Kafka 主题、分区、副本 的核心底层原理,理论落地必须依靠实操命令。Kafka 日常开发、测试、集群运维的核心操作,全部依赖自带的 shell 命令。
OpsEye
1 天前
运维
·
kafka
·
监控
线上Kafka积压后,我是怎么处理的
上周三下午,我正在写代码,突然监控群里炸了:Kafka 某个消费组的 Lag 飙到了 20 多万。紧接着,用户那边的订单状态开始不同步,客诉量蹭蹭往上涨。看到那个数字的时候我脑子确实嗡了一下,但很就让自己冷静下来。下面就是我那天真实干的几件事,按顺序写的,希望能给你一点参考。
r-t-H
1 天前
spark
·
kafka
·
centos
·
cloudera
从零开始搭建CDH-第十四章
首先我们按照第七章的命令启动CM页面,然后我们开始安装Kafka服务。按照图中所示操作即可。选择Kafka服务,点击继续。
敲个大西瓜
2 天前
kafka
kafka为什么分区不能那么多
1.生产者内存模型被分区数量击穿 生产者调用send方法发送消息时,不会立即发送,而是先进入一个内存缓冲区,其核心结构是一个concurrentmap,以消息的key为key,value是一个deque,也就是说每一个分区都占一个消息队列,消息发送的时机是达到一定时间或者分区满了才会发送,分区越多,数据越难达到满的状态,发送次数越多,网络io越严重,而且分区越多,而且多个分区竞争发送机会是靠reentrantlock+condition来实现的分区越多竞争越激烈, 2.kafka之所以因为顺序读写和pag
Devin~Y
2 天前
java
·
jvm
·
spring boot
·
redis
·
spring cloud
·
kafka
·
rag
大厂Java面试实录:Spring Boot/Cloud、Redis+Kafka、JVM调优与RAG/Agent(Spring AI)三轮递进问答
你应聘的是某互联网大厂 电商+内容社区(UGC) 业务线,近期在做 AIGC 智能客服(知识库问答 + 工单流转)。技术栈以 Java/Spring 生态 为主:
小钻风3366
2 天前
分布式
·
zookeeper
·
kafka
ZooKeeper + Kafka 集群搭建实战记录
环境:Rocky Linux 9.4 / ZooKeeper 3.8.6 / Kafka 2.13-3.9.2 目标:单机伪集群(3个ZK节点 + 3个Kafka Broker),用于学习分布式消息队列原理
小江的记录本
2 天前
java
·
数据库
·
分布式
·
后端
·
zookeeper
·
kafka
·
rabbitmq
【Kafka核心】Kafka 3.0+ KRaft模式(替代ZooKeeper)核心原理与优势
本文全方位、结构化拆解Kafka 3.0+ KRaft模式的完整知识体系,覆盖背景演进、核心架构、底层原理、全链路流程、核心优势、版本特性、部署运维、最佳实践、避坑指南九大核心维度,完整呈现KRaft替代ZooKeeper的技术内核与生产落地体系。
bing_158
2 天前
分布式
·
zookeeper
·
kafka
Zookeeper 在 Kafka 中扮演了什么角色?
在 Apache Kafka 的早期架构中,ZooKeeper 扮演了分布式协调服务角色,负责管理和协调整个 Kafka 集群。 尽管新版本的 Kafka 正在逐步移除对 ZooKeeper 的依赖,但在许多现有和较早的系统中,了解 ZooKeeper 的作用仍然非常重要。
醉颜凉
2 天前
zookeeper
·
kafka
·
linq
Kafka为什么抛弃ZooKeeper?深度解析KRaft时代的技术变革
摘要:在长达十余年的时间里,ZooKeeper一直是Apache Kafka架构中不可或缺的组成部分,负责集群的元数据管理和协调工作。然而,随着Kafka 4.0的正式发布,ZooKeeper被彻底移除,取而代之的是内置的KRaft(Kafka Raft)共识机制。这一变革被誉为Kafka历史上最重大的架构调整。本文将深入剖析Kafka抛弃ZooKeeper的根本原因、KRaft的实现原理以及这一转变带来的深远影响。
会编程的土豆
3 天前
分布式
·
kafka
Kafka 操作流程(零基础完整流程)
今天:我们不讲复杂理论。直接:从:完整走一遍。你学完:至少会:Kafka 最核心流程:例如:因为:现在:
岳麓丹枫001
3 天前
postgresql
·
flink
·
kafka
PostgreSQL 15.7 CDC → Flink → Kafka 操作笔记
实验环境:openEuler 22.03 (LTS-SP4) x86_64在 SQL Client 中逐条执行以下 SQL:
会编程的土豆
3 天前
分布式
·
kafka
Kafka 零基础入门(最基本用法)
很多人第一次学 Kafka:一上来:就看到:直接懵。其实:Kafka 最开始:你只需要理解:就够了。别一开始:
会编程的土豆
3 天前
笔记
·
分布式
·
kafka
Kafka 入门笔记(核心语法 + 用法)
很多人第一次学 Kafka:都会被这些名词吓到:感觉:特别复杂。其实:Kafka 核心思想:还是:只是:
CAE虚拟与现实
3 天前
数据库
·
redis
·
postgresql
·
kafka
重置系统后,Postgresql不用重装
系统重置后原来的程序目录还在,但是有的用不了了,尤其是原来作为系统服务的程序,我原来安装过postgresql,数据data也都在,但是从系统服务里面看不到了,直接运行启动不了,然后就按照下面的办法重新注册了一下服务就好了。
努力发光的程序员
3 天前
java
·
spring boot
·
spring cloud
·
微服务
·
kafka
·
hibernate
·
面试技巧
互联网大厂Java面试故事:Spring Boot与微服务全栈技术实战问答
本文通过真实模拟场景,展现互联网大厂Java求职者面试过程,深入涵盖Java核心语言、Spring生态、微服务架构、数据库ORM、消息队列、缓存等全栈技术。
jameslogo
3 天前
分布式
·
kafka
·
rocketmq
RocketMQ与Kafka零拷贝机制
零拷贝是一种减少数据在用户空间和内核空间之间拷贝次数的技术,从而提高数据传输效率。在传统的数据传输过程中,数据在用户空间和内核空间之间通常需要进行多次复制,而零拷贝技术则尽可能地减少或避免这些复制操作。