kafka

明快de玄米6136 分钟前
kafka
Kafka:基于 Outbox 的可靠消息投递完整方案核心:生产者用 outbox 保证消息不丢,消费者用幂等表保证不重复,消费者死信全量搬运回原 topic。固定租约,不搞心跳,死信不落库。
szephyr1 天前
后端·架构·kafka·消息队列·rabbitmq
消息队列入门:RabbitMQ 和 Kafka 到底怎么选,什么时候不该用消息队列不是银弹,硬塞进小项目里,你只是在给未来的自己增加一套要半夜爬起来修的分布式系统。大三做课设的时候,我把一个注册接口里"发邮件、写日志、推通知"全塞在同步调用里,结果邮件服务一抖,整个注册就 500。后来才明白,这种场景就该用消息队列。但这玩意儿到底什么时候该上、RabbitMQ 和 Kafka 又差在哪,我踩了半年才理清楚。这篇给初学者一个能直接照着选、照着跑的入门。
A.说学逗唱的Coke2 天前
人工智能·kafka·a2a
【大模型专题】别再用 HTTP 直连 Agent 了:用 Kafka 承载 A2A 协议,从 PoC 走到生产2025 年 4 月,Google 发布了 Agent2Agent(A2A)协议,试图给「一个 Agent 怎么调用另一个 Agent」这件事定义一个公共语言。2025 年 6 月,A2A 被捐给 Linux Foundation 托管,摆脱了单一厂商的标签。到 2026 年初,A2A v1.0 正式发布,生态侧已经积累了 150 多个采纳组织、5 个官方 SDK(Python / Go / JavaScript / Java / .NET),GitHub 上相关仓库累计 22k+ stars。
用户531397318173 天前
kafka·消息队列
[Kafka源码揭秘] 消息写入全链路:网络IO与请求入队作为支撑每秒百万级吞吐的分布式消息系统,Kafka的高性能离不开一套设计精妙的网络通信架构。很多开发者在日常使用中只关注生产者的send API和消费者的poll方法,却很少深入了解一条消息从网络端口进入Broker后,是如何完成从字节流转业务请求的全流程。本文作为消息写入全链路系列的第一篇,将聚焦Broker端的SocketServer与RequestChannel核心组件,从源码层面拆解Kafka如何基于Reactor模式实现高效的网络请求接收、解析与入队,帮你彻底搞懂Kafka高性能网络层的设计奥秘
swordbob3 天前
kafka
一个 Partition就是一个年级,一个消费者组占用1年级1班,另一个消费者组占用1年级2班,座位号(offset)可以相同,但班级号不同?你这个比喻有部分非常精确,但有一处关键偏了需要修正——"班级不同"暗示数据被分割了,但 Kafka 实际上是同一份数据多 Group 各自订阅。
香吧香3 天前
kafka
Kafka 三节点集群:只订阅一个 broker 会丢消息吗?能用 VIP订阅 吗?转载请注明出处:两个问题,一句话答案:这两个判断都来自同一个底层机制。理解了机制,两个问题其实是同一个问题。
雾隐隐o3 天前
kafka
Kafka 生产者消息丢失:ACK、重试与可靠发送生产者调用 send 方法,并不代表消息已经可靠写入 Kafka。网络抖动、Leader 切换、副本同步不足和错误的 ACK 配置,都可能让应用看到“已发送”,最终却找不到消息。本文重点拆解 ACK 机制,并通过 Spring Kafka 配置说明如何提高发送可靠性。
heimeiyingwang3 天前
kafka·rocketmq·中台
【中台·技术篇】消息队列中台:Kafka/RocketMQ 统一管理与多租户隔离消息队列是微服务间异步通信的核心。中台化后,多个业务线共用一套消息队列,如何隔离、如何管理、如何保证可靠性是关键。本篇讲解 Kafka 和 RocketMQ 的中台化建设。
程序员天天困4 天前
大数据·后端·kafka
Kafka 接入 AI 的三条路线:MCP 提案、会话记忆与实时上下文大家好,我是程序员天天困。翻 Kafka 4.3 发布公告时我愣了一下:致谢名单里写着 Claude、Claude Sonnet 4.6 和 Copilot。一个消息队列的版本发布,贡献者里混进了 AI。不过 Kafka 接入 AI 真正值得聊的,不是让 AI 帮你写 Kafka 代码,而是给 AI 系统补上三类能力:操作 Kafka、记住上下文、实时处理数据。
hey you~5 天前
kafka·消息队列·rocketmq·系统集成·云客服·多渠道接入·接口对接
云客服多渠道统一接入,消息队列技术实现方案摘要:云客服多渠道统一接入的消息队列实现方案,核心是"统一接入层 + 消息中间件 + 消费者处理层"三层架构。接入层将网页、APP、小程序、邮件、社交媒体等渠道消息标准化后投递至消息队列,处理层按业务类型消费,实现渠道解耦、削峰填谷与异步处理。本文给出架构分层、消息队列选型对比、Topic 与分区设计、接口对接规范、性能指标测算(附文档级出处)、可靠性保障、压测数据框架与监控排查方案,面向技术负责人提供可落地的工程实现参考。
雾隐隐o5 天前
kafka
Kafka 消费者消息丢失:Offset 原理与解决方案Kafka 消费者“丢消息”的根源,通常不是 Broker 把数据弄丢了,而是消费进度提交得过早:业务尚未处理成功,offset 却已经推进。本文从 Partition 与 Offset 的关系讲起,再结合 Spring Kafka 演示自动提交、手动确认及其适用边界。
clz13145216 天前
分布式·kafka·linq
Kafka 日消 10 亿场景:用 ConcurrentLinkedQueue 实现高性能批量消费缓冲针对日消 10 亿级别(峰值 3-5 万 TPS)的 Kafka 消费场景,使用 ConcurrentLinkedQueue(CLQ)替代 LinkedBlockingQueue 的核心目的是消除入队时的锁竞争。但 CLQ 是纯无锁非阻塞队列,没有原生的 drainTo 方法,因此“批量 Drain”需要自行实现。
(Charon)7 天前
学习·架构·kafka
【Kafka】消息队列学习(一):为什么需要Kafka?从消息队列到整体架构在没有消息队列之前,两个系统之间最直接的通信方式通常就是:例如一个电商系统中,用户提交订单以后,需要执行:
clz13145217 天前
分布式·flink·kafka
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工风险特征系统 EPC 子系统,是用于根据后管配置的接入的 Kafka 数据源信息和数据集信息清洗加工 Flink 指标的。它承担着从原始数据接入到最终指标产出的关键链路职责,是风险特征计算体系中的重要一环。
富士康质检员张全蛋7 天前
kafka
Kafka实战 生产阶段 消费阶段的拦截器拦截器作用在生产阶段,就是生产者发送一条消息给Kafka,Kafka收到了这样一条消息,接下来需要将这个消息带入到分区器里面进行分区,存入到指定的分区。
clz13145217 天前
flink·kafka·linq
用 Akka Actor 模拟消费 Kafka 加工处理并发送到 Flink Out Kafka 的完整示例本文基于 Akka Actor 模型,演示如何模拟一条完整的 Kafka 消息处理流水线:从消费 Kafka 消息开始,经过加工处理,最终发送到名为 flink_out 的 Kafka 主题。示例使用 JDK 1.8 + Akka 2.5.11 + Scala 2.11,通过两个 ActorSystem 和两条 LookupEventBus 实现消息的解耦流转,完整复刻了真实项目中 DatasetServiceV2 / Planner / OutputServiceV2 的核心架构。
(Charon)7 天前
分布式·学习·kafka
【Kafka】消息队列学习(二):Topic、Partition与Offset,消息到底存在哪里上一篇介绍 Kafka 时,可以先把整个流程理解成:例如一个系统中可能存在:订单系统产生的消息发送到:
大橙子plus8 天前
linux·运维·kafka
linux搭建kafka本文面向需要快速搭建 Kafka 开发环境的开发者。按照本文步骤操作,你可以在 10 分钟内完成 Kafka 与 Kafka UI 的部署,并立即开始消息的生产与消费调试。 拉取
letisgo58 天前
java·面试·kafka·消息队列·rocketmq
JAVA 高级进阶10篇《消息队列实战:RocketMQ/Kafka选型与“不丢不重有序“三连解》「Java高级技能提升系列」第10篇(全20篇)· 面向2026年中高级Java岗面试 · 专栏持续更新,欢迎关注