kafka

智码看视界

技术选型指南：Pulsar vs Kafka：消息队列选型终极对比与压测Kafka 在日志、指标、事件流场景已经是事实标准，但它有几个结构性短板：分区即存储：分区数量直接决定吞吐和扩展性，扩分区要迁移数据

俊哥大数据

Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战场景：车联网 TBox 终端按国标 GB32960 协议上报报文，经网关接入 Kafka；Flink 以 Table API / SQL 直接将原始报文（Original）落湖 Paimon，形成 ODS 贴源层，供下游 Doris / Spark / Hive 查询与数仓分层加工。本文基于生产实战整理，涵盖架构、建模、代码、配置、Checkpoint、打包、DolphinScheduler 调度、Savepoint 平滑启停全链路，可直接落地复用。

今年下半年

记录一次IBMS物联网项目的架构设计及技术栈应用IBMS（智能楼宇集成管理平台）面向公共资源交易中心园区，把建筑内的智能照明、温湿度/烟感环境传感、门禁、一卡通、人脸道闸、视频监控、LED 信息屏、开标/评标业务场景统一接入、联动控制与可视化展示；同时与海康威视安防平台、内部数据总线、第三方排队叫号/短信/CA 认证等系统互通。

Kafka 消费积压排查入门：Docker 搭环境亲手制造一次 ‘消息堵死‘，10 分钟看懂 Lag线上数据同步延迟几十分钟，应用没报错、没重启，运维说"Kafka 堵了"你却不知道从哪里查起？本文用 Docker 搭一套可复现环境，亲手制造一次消费积压，手把手带你走完积压排查的第一步：「认识 → 制造 → 观测」。

Kafka 集群安装与运维实战：消费组排查、Offset 重置与副本重分配Kafka 的日常运维里，真正让人头疼的往往不是「怎么启动」，而是三件事：消费组积压了怎么定位、位移（Offset）乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑，而且坑基本都藏在客户端工具的版本差异和参数语义里。

消息队列四大核心问题：顺序性、幂等性、可靠性与一致性消息从生产者产生，到消费者处理完，中间要经过三段：生产者把消息发到 broker，broker 把消息存下来，消费者取走并处理。可靠性、顺序性、幂等性、一致性这四件事都是围绕这条链路讲的，区别只在于盯的位置不一样。

Spring Boot整合KafkaKafka是一个分布式的、可分区的、可复制的消息系统，下面是Kafka的几个基本术语：producers通过网络将消息发送到Kafka集群，集群向消费者提供消息，如下图所示：

音符犹如代码

Kafka 接入 AI 的三条路线：MCP 提案、会话记忆与实时上下文大家好，我是程序员天天困。翻 Kafka 4.3 发布公告时我愣了一下：致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布，贡献者里混进了 AI。不过 Kafka 接入 AI 真正值得聊的，不是让 AI 帮你写 Kafka 代码，而是给 AI 系统补上三类能力：操作 Kafka、记住上下文、实时处理数据。

kafka两种部署模式的区别Kafka 的 KRaft 模式（Kafka Raft Metadata mode）与传统的 ZooKeeper 模式的核心区别在于元数据管理方式的不同。ZooKeeper 模式依赖外部 ZooKeeper 集群来管理元数据，而 KRaft 模式将元数据管理内置到 Kafka 本身，使用 Raft 共识协议

Kafka 3.9.2 KRaft 模式三节点集群完整部署指南Kafka是一个能够支持高并发以及流式消息处理的消息中间件，并且Kafka天生就是支持集群的，今天就主要来介绍一下如何搭建Kafka集群。

明快de玄米61

Kafka 可靠消息投递：核心机制总结面向已经落地了 Outbox 方案的读者，解释 Kafka 可靠投递背后的核心机制：PID、Sequence、幂等、批次、事务、Exactly-Once、租约。读完能回答"为什么这么配置、为什么这么写代码"。

明快de玄米61

Kafka：基于 Outbox 的可靠消息投递完整方案核心：生产者用 outbox 保证消息不丢，消费者用幂等表保证不重复，消费者死信全量搬运回原 topic。固定租约，不搞心跳，死信不落库。

消息队列入门：RabbitMQ 和 Kafka 到底怎么选，什么时候不该用消息队列不是银弹，硬塞进小项目里，你只是在给未来的自己增加一套要半夜爬起来修的分布式系统。大三做课设的时候，我把一个注册接口里"发邮件、写日志、推通知"全塞在同步调用里，结果邮件服务一抖，整个注册就 500。后来才明白，这种场景就该用消息队列。但这玩意儿到底什么时候该上、RabbitMQ 和 Kafka 又差在哪，我踩了半年才理清楚。这篇给初学者一个能直接照着选、照着跑的入门。

A.说学逗唱的Coke

【大模型专题】别再用 HTTP 直连 Agent 了：用 Kafka 承载 A2A 协议，从 PoC 走到生产2025 年 4 月，Google 发布了 Agent2Agent（A2A）协议，试图给「一个 Agent 怎么调用另一个 Agent」这件事定义一个公共语言。2025 年 6 月，A2A 被捐给 Linux Foundation 托管，摆脱了单一厂商的标签。到 2026 年初，A2A v1.0 正式发布，生态侧已经积累了 150 多个采纳组织、5 个官方 SDK（Python / Go / JavaScript / Java / .NET），GitHub 上相关仓库累计 22k+ stars。

用户53139731817

[Kafka源码揭秘] 消息写入全链路：网络IO与请求入队作为支撑每秒百万级吞吐的分布式消息系统，Kafka的高性能离不开一套设计精妙的网络通信架构。很多开发者在日常使用中只关注生产者的send API和消费者的poll方法，却很少深入了解一条消息从网络端口进入Broker后，是如何完成从字节流转业务请求的全流程。本文作为消息写入全链路系列的第一篇，将聚焦Broker端的SocketServer与RequestChannel核心组件，从源码层面拆解Kafka如何基于Reactor模式实现高效的网络请求接收、解析与入队，帮你彻底搞懂Kafka高性能网络层的设计奥秘

一个 Partition就是一个年级，一个消费者组占用1年级1班，另一个消费者组占用1年级2班，座位号（offset）可以相同，但班级号不同？你这个比喻有部分非常精确，但有一处关键偏了需要修正——"班级不同"暗示数据被分割了，但 Kafka 实际上是同一份数据多 Group 各自订阅。

Kafka 三节点集群：只订阅一个 broker 会丢消息吗？能用 VIP订阅吗？转载请注明出处：两个问题，一句话答案：这两个判断都来自同一个底层机制。理解了机制，两个问题其实是同一个问题。

Kafka 生产者消息丢失：ACK、重试与可靠发送生产者调用 send 方法，并不代表消息已经可靠写入 Kafka。网络抖动、Leader 切换、副本同步不足和错误的 ACK 配置，都可能让应用看到“已发送”，最终却找不到消息。本文重点拆解 ACK 机制，并通过 Spring Kafka 配置说明如何提高发送可靠性。

【中台·技术篇】消息队列中台：Kafka/RocketMQ 统一管理与多租户隔离消息队列是微服务间异步通信的核心。中台化后，多个业务线共用一套消息队列，如何隔离、如何管理、如何保证可靠性是关键。本篇讲解 Kafka 和 RocketMQ 的中台化建设。

程序员天天困

Kafka 接入 AI 的三条路线：MCP 提案、会话记忆与实时上下文大家好，我是程序员天天困。翻 Kafka 4.3 发布公告时我愣了一下：致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布，贡献者里混进了 AI。不过 Kafka 接入 AI 真正值得聊的，不是让 AI 帮你写 Kafka 代码，而是给 AI 系统补上三类能力：操作 Kafka、记住上下文、实时处理数据。