kafka

用户1494484813201 天前
kafka
同为消息队列,RocketMQ 和 Kafka 的底层设计差在哪?刚开始学 RocketMQ 的时候,我看文档上说它支持主从架构,Master 负责写,Slave 负责读。但当我追问“如果 Master 挂了怎么办”的时候,得到的回答是:需要人工介入,修改配置,重启节点。
开开心心就好1 天前
java·前端·人工智能·智能手机·kafka·excel·memcache
办公软件卸载不干净?专用工具一键清残留软件介绍Office 这套办公软件,装的时候挺顺,卸起来就费劲了——这一点连官方自己都清楚,所以专门出了官方卸载工具。今天这款 Office Uninstall(简称 OUninstall),就是参照官方卸载工具的思路做出来的。软件有挺长一段时间没更新了,我上次分享的时候,里面还没有 2024 版本的卸载选项,不过这次已经安排上了。
ly76892 天前
数据库·kafka·c#·linq·isr·hw·副本同步
ISR 收缩与 HW 推进:副本同步的边界条件与 UnderReplicated 排障先看一个实际场景。某个订单系统在凌晨的流量低谷触发了监控告警:值班同学的第一反应通常是:“副本因子配置的是 3,为什么 ISR 里只剩 1 个?”更让人不安的是,这个分区仍然可以正常写入,生产者没有报错,消费者也照常消费。看起来“没事”,但此时如果 1011 这台 Broker 宕机,Leader 切换只能从 ISR 里选,而 ISR 只有它自己,分区就不可用了。
此时不提桶,更待何时4 天前
架构·kafka·linq
06-09-A-Kafka架构与存储原理详解️ 关键词:Kafka · Partition · Replica · Segment · 稀疏索引 · 顺序写 · 零拷贝 · PageCache · 批量压缩 · ZooKeeper/KRaft
醉颜凉5 天前
kafka·消息队列·rabbitmq·rocketmq·中间件选型
Kafka 与 RabbitMQ/RocketMQ 选型对比:场景匹配、性能基准与迁移成本消息队列作为分布式系统中的关键组件,广泛应用于解耦服务、异步处理、流量削峰和日志收集等场景。当前主流的开源消息队列包括 Apache Kafka、RabbitMQ 和 RocketMQ,它们在设计理念、架构特点和适用场景上存在显著差异。选型不当将直接影响系统性能、可扩展性和开发效率。本文将从场景匹配、性能基准和迁移成本三个维度,对这三种消息队列进行全面对比,为技术选型提供参考依据。
筑梦之路5 天前
容器·kafka·kubernetes
K8S yaml文件部署kafka集群(Kraft模式)——筑梦之路yaml文件方式,只需要对存储类名、名空间、节点IP和镜像地址进行调整,就可以在k8s部署起来的kafka集群(Kraft模式),该yaml适用于bitnami版本镜像,该yaml支持集群内外访问。
筑梦之路5 天前
kafka·kubernetes·apache
Kafka KRaft 模式 Kubernetes 部署手册(StatefulSet + apache/kafka 官方镜像)——筑梦之路https://blog.csdn.net/qq_34777982/article/details/166831220?sharetype=blogdetail&sharerId=166831220&sharerefer=PC&sharesource=qq_34777982&spm=1011.2480.3001.8118
智码看视界6 天前
kafka·消息队列·pulsar·消息中间件·流处理·高吞吐·架构选型
技术选型指南:Pulsar vs Kafka:消息队列选型终极对比与压测Kafka 在日志、指标、事件流场景已经是事实标准,但它有几个结构性短板:分区即存储:分区数量直接决定吞吐和扩展性,扩分区要迁移数据
俊哥大数据6 天前
分布式·flink·kafka·数据湖·paimon
Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战场景:车联网 TBox 终端按国标 GB32960 协议上报报文,经网关接入 Kafka;Flink 以 Table API / SQL 直接将原始报文(Original)落湖 Paimon,形成 ODS 贴源层,供下游 Doris / Spark / Hive 查询与数仓分层加工。 本文基于生产实战整理,涵盖架构、建模、代码、配置、Checkpoint、打包、DolphinScheduler 调度、Savepoint 平滑启停全链路,可直接落地复用。
今年下半年7 天前
物联网·websocket·网络协议·tcp/ip·微服务·udp·kafka
记录一次IBMS物联网项目的架构设计及技术栈应用IBMS(智能楼宇集成管理平台)面向公共资源交易中心园区,把建筑内的智能照明、温湿度/烟感环境传感、门禁、一卡通、人脸道闸、视频监控、LED 信息屏、开标/评标业务场景统一接入、联动控制与可视化展示;同时与海康威视安防平台、内部数据总线、第三方排队叫号/短信/CA 认证等系统互通。
Nano叶落13 天前
kafka
Kafka 消费积压排查入门:Docker 搭环境亲手制造一次 ‘消息堵死‘,10 分钟看懂 Lag线上数据同步延迟几十分钟,应用没报错、没重启,运维说"Kafka 堵了"你却不知道从哪里查起?本文用 Docker 搭一套可复现环境,亲手制造一次消费积压,手把手带你走完积压排查的第一步:「认识 → 制造 → 观测」。
吉甫作诵14 天前
大数据·运维·分布式·kafka·消息队列
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配Kafka 的日常运维里,真正让人头疼的往往不是「怎么启动」,而是三件事:消费组积压了怎么定位、位移(Offset)乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑,而且坑基本都藏在客户端工具的版本差异和参数语义里。
imDwAaY14 天前
学习·kafka·rabbitmq
消息队列四大核心问题:顺序性、幂等性、可靠性与一致性消息从生产者产生,到消费者处理完,中间要经过三段:生产者把消息发到 broker,broker 把消息存下来,消费者取走并处理。可靠性、顺序性、幂等性、一致性这四件事都是围绕这条链路讲的,区别只在于盯的位置不一样。
wno70415 天前
spring boot·kafka
Spring Boot整合KafkaKafka是一个分布式的、可分区的、可复制的消息系统,下面是Kafka的几个基本术语:producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:
音符犹如代码15 天前
java·大数据·ai·kafka
Kafka 接入 AI 的三条路线:MCP 提案、会话记忆与实时上下文大家好,我是程序员天天困。翻 Kafka 4.3 发布公告时我愣了一下:致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布,贡献者里混进了 AI。不过 Kafka 接入 AI 真正值得聊的,不是让 AI 帮你写 Kafka 代码,而是给 AI 系统补上三类能力:操作 Kafka、记住上下文、实时处理数据。
happy_king_zi15 天前
kafka·消息队列·sre
kafka两种部署模式的区别Kafka 的 KRaft 模式(Kafka Raft Metadata mode)与传统的 ZooKeeper 模式的核心区别在于元数据管理方式的不同。ZooKeeper 模式依赖外部 ZooKeeper 集群来管理元数据,而 KRaft 模式将元数据管理内置到 Kafka 本身,使用 Raft 共识协议
happy_king_zi15 天前
kafka·消息队列
Kafka 3.9.2 KRaft 模式三节点集群完整部署指南Kafka是一个能够支持高并发以及流式消息处理的消息中间件,并且Kafka天生就是支持集群的,今天就主要来介绍一下如何搭建Kafka集群。
明快de玄米6115 天前
kafka
Kafka 可靠消息投递:核心机制总结面向已经落地了 Outbox 方案的读者,解释 Kafka 可靠投递背后的核心机制:PID、Sequence、幂等、批次、事务、Exactly-Once、租约。读完能回答"为什么这么配置、为什么这么写代码"。
明快de玄米6115 天前
kafka
Kafka:基于 Outbox 的可靠消息投递完整方案核心:生产者用 outbox 保证消息不丢,消费者用幂等表保证不重复,消费者死信全量搬运回原 topic。固定租约,不搞心跳,死信不落库。
szephyr16 天前
后端·架构·kafka·消息队列·rabbitmq
消息队列入门:RabbitMQ 和 Kafka 到底怎么选,什么时候不该用消息队列不是银弹,硬塞进小项目里,你只是在给未来的自己增加一套要半夜爬起来修的分布式系统。大三做课设的时候,我把一个注册接口里"发邮件、写日志、推通知"全塞在同步调用里,结果邮件服务一抖,整个注册就 500。后来才明白,这种场景就该用消息队列。但这玩意儿到底什么时候该上、RabbitMQ 和 Kafka 又差在哪,我踩了半年才理清楚。这篇给初学者一个能直接照着选、照着跑的入门。