kafka

kafka重复消费目录1、生产者重复发送消息生产者幂等性生产者事务消息2、消费者重复消费消息导致重复消费的情况1、生产者重复发送消息

开源数据库管理工具 CloudDM 4.4.0 发布，新增 Kafka、SAP HANA 数据源CloudDM 是一款免费且开源的团队化数据库管理工具，提供统一 Web 数据库访问、权限控制、数据脱敏、SQL 审核、流程协同和数据库 CI/CD 等能力。

【Kafka 源码手记】01 从消息队列到 Event Streaming写这个系列之前，我觉着有必要先搞清楚一件事：Kafka 出现之前，世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候，ActiveMQ 已经是 Apache 顶级项目，RabbitMQ 从 2007 年发布算起也已流行数年，两个都是久经考验的消息中间件，LinkedIn 内部也并非没有这类系统可用。一家公司明明有现成的消息中间件，还要再造一个，通常说明旧东西在某些场景下真的不好用了。

深入剖析：GCP Pub/Sub 与 Apache Kafka 对消息处理延迟与消费者卡死的处理机制异同在设计分布式事件驱动架构（EDA）或有状态实时流计算系统（如 Apache Flink、Spark Streaming）时，有一条不可动摇的物理定律：网络必然会抖动，消费者必然会发生停顿、甚至可能发生毫无预警的悄然死亡。

笔墨登场说说

centos 8 使用 kafka_2.13-4.3.1.tgz 安装kafka在 CentOS 8 上安装 Kafka 4.3.1（kafka_2.13-4.3.1.tgz）需要特别注意，因为从 Kafka 3.3.x 开始，官方已逐步弃用 ZooKeeper，并在后续版本中全面转向 ‌KRaft（Kafka Raft）‌ 模式。Kafka 4.x 版本默认且推荐以 KRaft 模式运行，不再依赖独立的 ZooKeeper 服务。

kafka一直restarting,报错InconsistentClusterIdException问题截图日志docker logs -f kafka1之前的操作步骤# 停止旧服务docker compose -f docker-compose-kafka.yml down

今年下半年

【消息队列】Spring Boot 集成 Kafka 消息队列：确保消费完成（手动提交偏移量+幂等判断+失败重试机制）Kafka 消费者的偏移量（offset）提交方式决定了消息的投递语义：本项目要的是「不能丢单」：订单消息必须先成功写入 MySQL，才允许提交偏移量。自动提交做不到这一点，因此必须：

此时不提桶，更待何时

06-14-A-Kafka集群运维与迁移实战详解️ 关键词：集群规划 · Partition 重分配 · 副本均衡 · MirrorMaker2 · 跨集群迁移 · 双集群容灾 · 滚动升级 · KRaft 迁移 · 配额 Quota · 安全认证 SASL

Acceldata ODP（Open Data Platform）3.3.6.4（RHEL9）保姆级完整安装手册Acceldata ODP（Open Data Platform）3.3.6.4（RHEL9）保姆级完整安装手册

用户149448481320

Raft 为什么取代了 Paxos？从 DLedger 和 KRaft 的技术选型聊起上篇拆了 DLedger 的选主流程和日志复制机制，也对比了它和 Kafka KRaft 的差异。但有一件事我一直没有深入讲——为什么 DLedger 和 KRaft 都选择了 Raft，而不是 Paxos？

此时不提桶，更待何时

06-16-B-Kafka面试与生产事故实战️ 关键词：Kafka 面试题 · ISR · Rebalance · 零拷贝 · 消息丢失 · 消费积压 · Exactly-Once · Partition

阿里云云原生

Kafka 不止于消息：阿里云发布面向 AI 的流算湖一体化实时数据平台9 月 22 日，阿里云在云栖大会 AI 实时数据智能论坛上正式发布 Kafka 流算湖一体化实时数据平台——从统一实时数据入口，到数据进来即算、处理后原生入湖，云消息队列 Kafka 版加速向实时数据平台演进。

Docker 一键启动服务合集：Redis、MySQL、Kafka、MinIO、Prometheus 等（网盘转存防失效）在日常开发与运维中，我们经常需要快速拉起 Redis、MySQL、Kafka、MinIO、Prometheus 等中间件。手动一个个写 docker run 命令既繁琐又容易出错，为此我整理了一套 Docker 一键启动服务合集，把常用中间件的启动脚本打包分享给大家。

此时不提桶，更待何时

06-12-A-Kafka存储深水区与源码解析详解️ 关键词：RecordBatch · 日志段恢复 · snapshot · LogCleaner · 日志压缩 · 时间索引 · Tiered Storage · 副本拉取线程 · LogSegment 滚动 · 文件句柄

此时不提桶，更待何时

06-15-A-Kafka生态集成与流处理详解️ 关键词：Kafka Connect · Kafka Streams · KTable · Flink on Kafka · Schema Registry · CDC · 日志管道 · Exactly-Once 流处理 · Spring Kafka

做个文艺程序员

MinIO第05篇：MinIO事件通知机制与Kafka集成——构建SaaS平台的异步文件处理管道系列导读：前四篇我们完成了从架构认知到基础集成，再到大文件上传和多租户隔离的完整链路。但到目前为止，所有的文件处理都是“被动”的——用户上传完文件，服务端返回成功，然后呢？缩略图谁生成？视频谁转码？内容谁审核？这一篇，我们给MinIO装上“神经系统”，让文件上传自动触发下游处理，彻底告别同步阻塞。

天空鸟_时光不老

07-检查点与状态持久化这是我"Java 转 AI 工程"系列的第 7 篇。前面把库存调拨的 Agent 图搭起来、能跑通人工审核了，这一篇处理一个更现实的问题：跑到一半的流程，进程没了怎么办。顺便把 PlantUML 接进来，让流程图不再靠截图维护。

此时不提桶，更待何时

06-13-A-Kafka客户端与协议深入详解️ 关键词：Kafka 协议 · ApiVersions · 请求响应模型 · Producer 内部线程 · Sender · RecordAccumulator · 拦截器 · 序列化 · ConsumerCoordinator · HeartbeatThread · 位点提交协议 · 客户端调优

ISR机制保障数据一致性Kafka 采用主从（Leader-Follower）复制模型来保障数据的可靠性与一致性。分区副本之间通过 ISR（In-Sync Replicas）机制协调复制进度，并以 HW（High Watermark，高水位）作为消费者可见性的判定基准。

docker-compose方式部署kafka集群（Kraft方式）——筑梦之路仅供参考