kafka

96245615 小时前
中间件·kafka·activemq
容器 RUNNING,为什么中间件仍不可用?ActiveMQ 与 Kafka/ZooKeeper 恢复实录一套分阶段启动工具在基础设施就绪检查中反复超时。SSH 可连接,Docker 能响应,容器也显示 RUNNING,但 ActiveMQ 的 61616 与两个 Kafka broker 的 9092 未开放。排查最终落到了两个不同层面:ActiveMQ 的 KahaDB 恢复位置问题,以及 Kafka 启动失败与 ZooKeeper 从节点视图不一致。
斯普信专业组16 小时前
分布式·zookeeper·kafka
Kafka 3.9.1 三节点集群部署方案(ZooKeeper 模式)本文采用 ZooKeeper 模式部署 Kafka 三节点集群:集群元数据(Topic、分区、副本分配、ACL、controller 归属)存放在独立 ZooKeeper 集群的 znode 下。
皮皮林5511 天前
kafka
Kafka 怎么保证消费只消费一次的?先说结论:Kafka 默认只能保证 At Least Once(至少一次,不丢但可能重复),“只消费一次”需要开发者在消费端做额外设计。
茶海棠2 天前
hadoop·zookeeper·kafka·hbase
Hadoop+zookeeper+HBase+Kafka集群搭建全流程本文档仅用于流程参考。 如有错误请联系我进行修改。 行文比较粗糙,还请见谅。 请善用AI进行辅助。简述大概流程: 首先创建第一台虚拟机,然后搭建单机伪分布式Hadoop,并使用自带的wordcount进行验证。 然后修改为1主2从分布式集群,逐步引入zookeeper、HBase、Kafka,最后使用自动化脚本进行快速启动集群、停止集群、重启集群、查看集群状态。
后台模板学习2 天前
kafka·rabbitmq·linq
Kafka 与 RabbitMQ 在用户认证与权限管理场景在现代分布式系统中,消息队列技术已成为处理异步通信、解耦服务组件和保障高并发能力的重要基础设施。特别是在用户认证与权限管理这一场景中,消息队列的可靠性、性能及扩展性对系统整体稳定性有着直接影响。
真上帝的左手2 天前
分布式·中间件·kafka
12. 消息队列-Kafka进阶每个 Java 开发者心里都有个"Kafka 情结":一听就高大上,一用就心里没底。它就像一家口碑两极分化的快递公司——配置得当,包裹一个不落、飞快送达;配置一错,丢件、重派、乱序三连击,能把你的线上系统折腾到半夜。
千里达景区票务系统3 天前
kafka·消息队列·rabbitmq·rocketmq
消息队列选型对比:RabbitMQ vs RocketMQ vs Kafka做后端开发的,几乎没有不用消息队列的。解耦、异步、削峰,这三大作用谁都知道。但真到了选型的时候,到底选哪个?RabbitMQ、RocketMQ还是Kafka?
Sayai3 天前
大数据·运维·分布式·flink·kafka·消息队列·高可用
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)做日志平台迟早会遇到一个需求:两个数据中心(或两地三中心的"两地")都要有全量日志。监管审计要求容灾侧数据完整、故障切换时查询不中断、或者干脆是"总行一套、灾备一套"的硬性架构约束——这时候单中心自产自销的 Kafka + Elasticsearch 就不够用了,跨中心的日志同步必须安排上。
jianjinwssy3 天前
人工智能·docker·kafka
从零设计一个 Agent 安全沙箱:Docker 隔离、三级风控与 Kafka 审计Agent 不仅可以生成文本,还可以调用 Shell 工具完成文件处理、项目构建和脚本执行。例如:但如果直接在宿主机执行模型生成的命令,可能出现误删除、凭证泄露、资源耗尽等问题:
一条泥憨鱼4 天前
java·分布式·学习·kafka
【Kafka】零基础学习教程👋 关于作者你好,这里是一条泥憨鱼 | 专注于 后端开发、AI 前沿技术与计算机基础 。 🏠 个人主页:一条泥憨鱼
9624564 天前
java·mysql·kafka
补打一条卡,为什么要从前一天重新算:人工补录与实时重算业务复盘摘要:考勤管理员补录一条漏卡,表面上只是新增一个时间点,实际却要完成可信身份覆盖、批量原子写入、跨日重算范围计算、分析任务去重、任务落库和 Kafka 实时通知。恢复这条链路时最反直觉的发现是:补录时间为凌晨 05:12,并不意味着只重算当天;系统把分析开始时间向前扩一天,以便重新判断它究竟属于前一天夜班的下班卡,还是当天的上班卡。本文同时复盘一个常见误区:afterCommit 能防止回滚后误发消息,却不能消除数据库与 Kafka 的双写窗口。
RobinXYuan5 天前
kafka·源码阅读
【Kafka 源码手记】05 Broker 网络层与请求处理(中):Processor 事件循环与线上的字节上篇我们详细看了 Acceptor 的工作流程,也对 Processor 有了一些简单了解,最后收在安全握手:listener 的身份在 Processor 构造时变成了 ChannelBuilder,握手在事件循环里逐 poll 推进,ready() 之前业务字节一个不读。这一篇接着往下走——连接就绪之后,Processor 的七步循环怎么流转、一条连接为什么同一时刻只能有一个在途请求、线上的字节怎么被切成一帧一帧的请求、双方又怎么对表版本,以及这整件事为什么没有交给 Netty 去做。
坐吃山猪5 天前
kafka
Kafka13-自定义分区器1-走自定义分区器发送消息:走 partitionKafkaTemplate:带 key 按 key 的 hash 选分区,不带 key 随机选分区 2-代码仓库:https://gitee.com/enzoism/springboot-kafka-verify -b kafka-noauth
starzy19905 天前
分布式·kafka
Kafka请求进门口:Processor是怎么把请求读上来的摘要:上一篇讲 Processor 怎么启动、怎么把新连接注册到 Selector。但连接注册完只是第一步——真正的问题是:Producer 发过来的字节,Processor 是怎么读上来、怎么解析成一个完整 Request 的?这篇从 poll 到入队,把请求接收全链路讲透。
starzy19906 天前
大数据·kafka
Kafka网络层第一道门:Acceptor线程是怎么启动的摘要:前 23 篇一直在讲 Producer 端。从这篇开始翻到 Broker 端——Kafka 是怎么监听 9092 端口、接受 Producer 连接、把连接分发给 IO 线程的?这是整个 Broker 网络层的起点。
huaweichenai6 天前
spring boot·后端·kafka
spring boot对接kafka实现消息队列处理
你看我名字6 天前
运维·架构·kafka
Kafka 架构、消息可靠性与生产运维:从分区模型到故障治理Kafka 架构、消息可靠性与生产运维:从分区模型到故障治理本文适合云计算、平台工程和 Java/Go 后端工程师。重点不是记命令,而是理解 Kafka 如何用分区、复制和日志顺序解决大规模事件流问题。
starzy19906 天前
大数据·kafka
Kafka源码深度剖析:消息有异常是如何处理的摘要:用了这么久 KafkaProducer,你真的清楚 send() 到底什么时候抛异常、什么时候走回调?为什么有些错误业务代码永远 catch 不到?这篇从源码级别梳理 Producer 端六类异常的产生、分类、传递路径和重试决策。
starzy19906 天前
大数据·kafka
Kafka写数据入口:消息进了Broker之后交给谁摘要:网络层把 Produce 请求解析完、RequestHandler 按 apiKey 路由之后,消息真正落盘的第一站是 ReplicaManager.appendRecords。这篇进入存储层,讲清楚写数据的调用链、appendRecords 内部五步、acks 三种分支,以及 acks=all 时请求为什么不会把业务线程堵死。
螺蛳粉 螺蛳粉6 天前
物联网·zookeeper·kafka·消息队列·parcel·cdh集成·csd
CDH第七篇:CDH 集成 Kafka 实战:CSD + Parcel 组合拳,先装 ZooKeeper 是铁律目录 一、为什么 Kafka 要"外挂"进 CDH 二、集成前必懂:CSD 与 Parcel 的分工 三、4 步完成 Kafka 集成 四、小内存救命调参:Broker 堆改 256M 五、功能验证:建 Topic 收发消息 六、结语与系列预告 一、为什么 Kafka 要"外挂"进 CDH 在物联网架构案例里,海量设备上报数据先打进消息队列削峰,再落存储、进计算。Kafka 是这一层的标准选择。