技术栈
kafka
此时不提桶,更待何时
21 小时前
运维
·
kafka
06-14-A-Kafka集群运维与迁移实战详解
️ 关键词:集群规划 · Partition 重分配 · 副本均衡 · MirrorMaker2 · 跨集群迁移 · 双集群容灾 · 滚动升级 · KRaft 迁移 · 配额 Quota · 安全认证 SASL
yumgpkpm
1 天前
大数据
·
人工智能
·
hive
·
hadoop
·
kafka
·
hbase
·
cloudera
Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册
Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册
用户149448481320
1 天前
kafka
·
raft
Raft 为什么取代了 Paxos?从 DLedger 和 KRaft 的技术选型聊起
上篇拆了 DLedger 的选主流程和日志复制机制,也对比了它和 Kafka KRaft 的差异。但有一件事我一直没有深入讲——为什么 DLedger 和 KRaft 都选择了 Raft,而不是 Paxos?
此时不提桶,更待何时
1 天前
分布式
·
面试
·
kafka
06-16-B-Kafka面试与生产事故实战
️ 关键词:Kafka 面试题 · ISR · Rebalance · 零拷贝 · 消息丢失 · 消费积压 · Exactly-Once · Partition
阿里云云原生
1 天前
kafka
Kafka 不止于消息:阿里云发布面向 AI 的流算湖一体化实时数据平台
9 月 22 日,阿里云在云栖大会 AI 实时数据智能论坛上正式发布 Kafka 流算湖一体化实时数据平台——从统一实时数据入口,到数据进来即算、处理后原生入湖,云消息队列 Kafka 版加速向实时数据平台演进。
龙腾-虎跃
1 天前
redis
·
mysql
·
docker
·
kafka
·
prometheus
·
小龙虾
·
miniio
Docker 一键启动服务合集:Redis、MySQL、Kafka、MinIO、Prometheus 等(网盘转存防失效)
在日常开发与运维中,我们经常需要快速拉起 Redis、MySQL、Kafka、MinIO、Prometheus 等中间件。手动一个个写 docker run 命令既繁琐又容易出错,为此我整理了一套 Docker 一键启动服务合集,把常用中间件的启动脚本打包分享给大家。
此时不提桶,更待何时
2 天前
分布式
·
kafka
·
linq
06-12-A-Kafka存储深水区与源码解析详解
️ 关键词:RecordBatch · 日志段恢复 · snapshot · LogCleaner · 日志压缩 · 时间索引 · Tiered Storage · 副本拉取线程 · LogSegment 滚动 · 文件句柄
此时不提桶,更待何时
2 天前
分布式
·
kafka
06-15-A-Kafka生态集成与流处理详解
️ 关键词:Kafka Connect · Kafka Streams · KTable · Flink on Kafka · Schema Registry · CDC · 日志管道 · Exactly-Once 流处理 · Spring Kafka
做个文艺程序员
2 天前
kafka
·
消息队列
·
springboot
·
minio
·
事件驱动
·
异步处理
MinIO第05篇:MinIO事件通知机制与Kafka集成——构建SaaS平台的异步文件处理管道
系列导读:前四篇我们完成了从架构认知到基础集成,再到大文件上传和多租户隔离的完整链路。但到目前为止,所有的文件处理都是“被动”的——用户上传完文件,服务端返回成功,然后呢?缩略图谁生成?视频谁转码?内容谁审核?这一篇,我们给MinIO装上“神经系统”,让文件上传自动触发下游处理,彻底告别同步阻塞。
天空鸟_时光不老
2 天前
java
·
人工智能
·
spring boot
·
spring
·
spring cloud
·
kafka
·
maven
07-检查点与状态持久化
这是我"Java 转 AI 工程"系列的第 7 篇。前面把库存调拨的 Agent 图搭起来、能跑通人工审核了,这一篇处理一个更现实的问题:跑到一半的流程,进程没了怎么办。顺便把 PlantUML 接进来,让流程图不再靠截图维护。
此时不提桶,更待何时
2 天前
分布式
·
kafka
06-13-A-Kafka客户端与协议深入详解
️ 关键词:Kafka 协议 · ApiVersions · 请求响应模型 · Producer 内部线程 · Sender · RecordAccumulator · 拦截器 · 序列化 · ConsumerCoordinator · HeartbeatThread · 位点提交协议 · 客户端调优
初见月
3 天前
kafka
ISR机制保障数据一致性
Kafka 采用主从(Leader-Follower)复制模型来保障数据的可靠性与一致性。分区副本之间通过 ISR(In-Sync Replicas)机制协调复制进度,并以 HW(High Watermark,高水位)作为消费者可见性的判定基准。
筑梦之路
5 天前
docker
·
容器
·
kafka
docker-compose方式部署kafka集群(Kraft方式)——筑梦之路
仅供参考
用户149448481320
7 天前
kafka
同为消息队列,RocketMQ 和 Kafka 的底层设计差在哪?
刚开始学 RocketMQ 的时候,我看文档上说它支持主从架构,Master 负责写,Slave 负责读。但当我追问“如果 Master 挂了怎么办”的时候,得到的回答是:需要人工介入,修改配置,重启节点。
开开心心就好
7 天前
java
·
前端
·
人工智能
·
智能手机
·
kafka
·
excel
·
memcache
办公软件卸载不干净?专用工具一键清残留
软件介绍Office 这套办公软件,装的时候挺顺,卸起来就费劲了——这一点连官方自己都清楚,所以专门出了官方卸载工具。今天这款 Office Uninstall(简称 OUninstall),就是参照官方卸载工具的思路做出来的。软件有挺长一段时间没更新了,我上次分享的时候,里面还没有 2024 版本的卸载选项,不过这次已经安排上了。
ly7689
8 天前
数据库
·
kafka
·
c#
·
linq
·
isr
·
hw
·
副本同步
ISR 收缩与 HW 推进:副本同步的边界条件与 UnderReplicated 排障
先看一个实际场景。某个订单系统在凌晨的流量低谷触发了监控告警:值班同学的第一反应通常是:“副本因子配置的是 3,为什么 ISR 里只剩 1 个?”更让人不安的是,这个分区仍然可以正常写入,生产者没有报错,消费者也照常消费。看起来“没事”,但此时如果 1011 这台 Broker 宕机,Leader 切换只能从 ISR 里选,而 ISR 只有它自己,分区就不可用了。
此时不提桶,更待何时
10 天前
架构
·
kafka
·
linq
06-09-A-Kafka架构与存储原理详解
️ 关键词:Kafka · Partition · Replica · Segment · 稀疏索引 · 顺序写 · 零拷贝 · PageCache · 批量压缩 · ZooKeeper/KRaft
醉颜凉
11 天前
kafka
·
消息队列
·
rabbitmq
·
rocketmq
·
中间件选型
Kafka 与 RabbitMQ/RocketMQ 选型对比:场景匹配、性能基准与迁移成本
消息队列作为分布式系统中的关键组件,广泛应用于解耦服务、异步处理、流量削峰和日志收集等场景。当前主流的开源消息队列包括 Apache Kafka、RabbitMQ 和 RocketMQ,它们在设计理念、架构特点和适用场景上存在显著差异。选型不当将直接影响系统性能、可扩展性和开发效率。本文将从场景匹配、性能基准和迁移成本三个维度,对这三种消息队列进行全面对比,为技术选型提供参考依据。
筑梦之路
11 天前
容器
·
kafka
·
kubernetes
K8S yaml文件部署kafka集群(Kraft模式)——筑梦之路
yaml文件方式,只需要对存储类名、名空间、节点IP和镜像地址进行调整,就可以在k8s部署起来的kafka集群(Kraft模式),该yaml适用于bitnami版本镜像,该yaml支持集群内外访问。
筑梦之路
11 天前
kafka
·
kubernetes
·
apache
Kafka KRaft 模式 Kubernetes 部署手册(StatefulSet + apache/kafka 官方镜像)——筑梦之路
https://blog.csdn.net/qq_34777982/article/details/166831220?sharetype=blogdetail&sharerId=166831220&sharerefer=PC&sharesource=qq_34777982&spm=1011.2480.3001.8118