kafka

goehou15 小时前
kafka·消息队列·幂等·ai agent
Kafka 的默认配置适合演示,不适合生产引入 Kafka 之后,能发能收当天就通了,问题都是从第二周开始的。消息丢了、重复消费、消费积压、磁盘打满、分区倾斜,一个一个冒出来。
ClouGence20 小时前
数据库·kafka
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源CloudDM 是一款免费且开源的团队化数据库管理工具,提供统一 Web 数据库访问、权限控制、数据脱敏、SQL 审核、流程协同和数据库 CI/CD 等能力。
用户3610588626122 天前
kafka
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker上一篇讲了 batch 什么时候变 READY。但很多人遇到过这种情况:监控显示 batch 已经 ready 了,消息却没发出去,延迟持续走高。
西木Qi2 天前
分布式·kafka
Kafka消息中间件单机版安装配置Kafka消息中间件集群安装配置
飞奔的瓜牛3 天前
中间件·性能优化·kafka
Kafka 生产实践指南:使用要点、性能优化与运维维护Kafka 作为高吞吐、可水平扩展的分布式消息中间件,几乎是 Java 后端项目的标配。但很多团队在引入 Kafka 后,往往只关注“能发能收”,忽略了可靠性、顺序性、幂等性和长期运维成本,最终在生产环境踩坑:消息丢失、重复消费、消费积压、磁盘打满、分区倾斜、集群抖动等问题层出不穷。
qq_452396238 天前
分布式·kafka
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》标签:RocketMQ | CommitLog | ConsumeQueue | 存储模型 | 顺序写 | 零拷贝 | Kafka | 面试 适合人群:想搞懂 RocketMQ 存储为什么这么设计、被“顺序写高性能”一句话打发过的工程师 阅读收益:搞清楚 CommitLog 和 ConsumeQueue 各自存了什么、为什么 RocketMQ 要用“写一条、读两次”的模型、Kafka 的多分区存储在 Topic 数量增长后为什么会出现随机写、以及 ConsumeQueue 的 20 字节到底装了什么
我不会起名字32210 天前
后端·mongodb·kafka·go·im·故障排查
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
qq_4523962310 天前
安全·kafka·ssl
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》标签:Kafka | SASL | SSL | ACL | 多租户 | SCRAM | 配额 | 安全 适合人群:要把“裸奔”的 Kafka 集群接入认证授权、或正在做多租户隔离的工程师 阅读收益:搞清楚 SSL 握手失败最高发的坑、SASL 机制怎么选、ACL Authorizer 在 KRaft 下换成了谁、以及配额“按 Broker 算”对多租户意味着什么
用户36105886261211 天前
kafka
KafkaProducer 元数据管理:send() 卡住时,它在等什么摘要:上一篇讲了 KafkaProducer 构造器不发任何网络请求。这篇拆 waitOnMetadata 真实源码——第一次 send() 为什么卡 60 秒,ProducerMetadata 怎么从只记 bootstrap 地址到知道每个分区 leader,以及 STABLE / NEED_UPDATE / IN_FLIGHT 三态状态机。基于 kafka-clients 3.9。
空奈qwq11 天前
分布式·架构·kafka
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析面试官问"Kafka 为什么快",你只会答"零拷贝"?这篇从手写队列开始,一层层讲透 Kafka 的架构与设计。 含完整可运行 Python 代码(建 Topic / 生产者 / 消费者)+ 踩坑记录 + 高频面试题。
用户36105886261213 天前
kafka
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件摘要:一行 new KafkaProducer(props) 背后,是配置校验、序列化器/分区器/拦截器装配、32MB 发送缓冲、事务管理器与一条 Sender 守护线程的完整启动,却没有发起任何一次网络请求。本文基于 kafka-clients 3.9.x 源码,逐段拆解初始化全过程,并给出生产环境排查清单。
知识搬运临时工14 天前
后端·kafka
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%先说结论再解释:用 FileChannel.transferTo 把 1 GiB 缓存文件发出去,用户态 CPU 从 0.093 秒掉到 0.016 秒,降到六分之一。但墙钟时间从 0.60 秒变成 0.67 秒,慢了 11%。
一条泥憨鱼15 天前
java·后端·kafka·消息队列·rabbitmq
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路👋 关于作者你好,这里是一条泥憨鱼 | 专注于 后端开发、AI 前沿技术与计算机基础 。🏠 个人主页:一条泥憨鱼
斯普信专业组15 天前
kafka·流程图
Kafka 消费者 poll() 流程与原理详解Kafka 消费者采用 Pull(拉取)模式,由消费者主动向 Broker 拉取消息,而不是由 Broker 主动推送。
ly768915 天前
分布式·kafka·linq·apache camel·幂等消费者·重试副作用·去重边界
幂等消费者与重试副作用:Kafka 端点接入时的去重边界假设你所在团队有一个存量订单库,业务部门希望把 Kafka 中不断流入的“订单变更事件”同步到旧系统的客户积分表里。Kafka 主题里同一条事件可能不止出现一次:生产者发送超时后重发、消费者处理完但提交位点前进程崩溃、再均衡后分区被重新分配,都会让同一业务事件再次进入你的处理逻辑。你要完成的任务不是“把 Kafka 教程再读一遍”,而是:让这条 Camel 路由在重复投递时只产生一次业务效果,并且能说清楚哪些重复它能挡住、哪些挡不住。
96245616 天前
中间件·kafka·activemq
容器 RUNNING,为什么中间件仍不可用?ActiveMQ 与 Kafka/ZooKeeper 恢复实录一套分阶段启动工具在基础设施就绪检查中反复超时。SSH 可连接,Docker 能响应,容器也显示 RUNNING,但 ActiveMQ 的 61616 与两个 Kafka broker 的 9092 未开放。排查最终落到了两个不同层面:ActiveMQ 的 KahaDB 恢复位置问题,以及 Kafka 启动失败与 ZooKeeper 从节点视图不一致。
斯普信专业组16 天前
分布式·zookeeper·kafka
Kafka 3.9.1 三节点集群部署方案(ZooKeeper 模式)本文采用 ZooKeeper 模式部署 Kafka 三节点集群:集群元数据(Topic、分区、副本分配、ACL、controller 归属)存放在独立 ZooKeeper 集群的 znode 下。
皮皮林55117 天前
kafka
Kafka 怎么保证消费只消费一次的?先说结论:Kafka 默认只能保证 At Least Once(至少一次,不丢但可能重复),“只消费一次”需要开发者在消费端做额外设计。
茶海棠17 天前
hadoop·zookeeper·kafka·hbase
Hadoop+zookeeper+HBase+Kafka集群搭建全流程本文档仅用于流程参考。 如有错误请联系我进行修改。 行文比较粗糙,还请见谅。 请善用AI进行辅助。简述大概流程: 首先创建第一台虚拟机,然后搭建单机伪分布式Hadoop,并使用自带的wordcount进行验证。 然后修改为1主2从分布式集群,逐步引入zookeeper、HBase、Kafka,最后使用自动化脚本进行快速启动集群、停止集群、重启集群、查看集群状态。