kafka

笑尘~Y10 小时前
kafka
Kafka核心技术解析Kafka 是一种高性能的、分布式的、基于发布/订阅模式的消息队列系统,主要用于处理大规模的实时数据流 。其核心优势在于高吞吐量、可持久化、分布式和可扩展性,使其成为构建实时数据管道和流式应用的理想选择 。
江华森11 小时前
笔记·学习·kafka
Kafka 从入门到精通 — 完整学习笔记服务器环境:华为云 ecs-7c2c x 4 台 | Ubuntu 24.04 | 2vCPU/4GiB Kafka 版本:4.3.0 | Scala 2.13 | KRaft 模式(无 ZooKeeper) 集群架构:3 Controller + 1 Broker | 内网互联 192.168.0.x 集群 UUID:1S9ggrMYQaCHBqfZy8hhOg 实战日期:2026-06-01
Irene199111 小时前
kafka·flume
(课堂笔记)Kafka + Flume 完整实战本笔记系统梳理Kafka核心知识及Flume整合方案。重点包含:1)Kafka核心组件(Topic/Partition/Consumer Group)及消息队列特性;
Irene199112 小时前
kafka·flume
Kafka + Flume 实操详情记录(略繁琐,包含错误和排查记录)Kafka基础定义:分布式发布/订阅消息队列系统 核心概念:消息队列价值:排错要点关键理解注:实际环境需根据具体路径和主机名调整配置
JAVA面经实录91712 小时前
java·kafka
Kafka 全套学习知识手册Kafka 全套学习知识手册(入门 → 源码 → 运维 → 面试 → 实战):本文档整合 Kafka 基础、核心原理、高阶特性、客户端开发、运维调优、故障排查、架构设计、安全、生态、面试考点全体系内容,适用于开发、运维、架构师、面试备考,为企业生产级完整学习资料。
是小王同学啊~1 天前
笔记·面试·kafka
Kafka 面试通关笔记:高频八股 + 生产实战 + 追问链路(上)这不是一份单纯背概念的 Kafka 八股文,而是把面试中真正高频的问题、容易被追问的点,以及生产场景里经常遇到的坑串起来整理成的一套复习资料。
Devin~Y1 天前
java·spring boot·redis·spring cloud·kafka·kubernetes·micrometer
从内容社区到AIGC客服:Spring Boot、Redis、Kafka、K8s、RAG的三轮大厂Java面试对话(附标准答案)面试官给出一个真实常见的大厂业务:内容发布接口你会怎么设计?需要哪些字段、校验与幂等?小Y: 接口就 POST /content/publish,传标题、正文、图片啥的。幂等的话加个 token……应该就行。
Hello_worlds1 天前
docker·kafka·磁盘·排障
Kafka InconsistentClusterIdException 导致容器无限重启,磁盘打满排查与修复收到磁盘使用率告警,持续超过 85%,触发值 88.6%。登机排查:492G 的数据盘用掉了 416G。
007张三丰1 天前
物联网·mqtt·kafka·freertos·时序数据库·tdengine·aiot
AIoT与嵌入式系统深度解析:2026软考案例核心考点全攻略2026年5月软考高级系统架构设计师的案例分析中,嵌入式系统+AIoT融合作为选做题之一强势登场。AIoT(人工智能物联网) 作为2026年的热门技术方向,不仅出现在软考考卷上,更被写入国家级政策体系——2026年5月8日,国家网信办、发改委、工信部联合发布《智能体规范应用与创新发展实施意见》,首次将智能体定义为具备自主感知、记忆、决策、交互与执行能力的智能系统,标志着中国式AIoT的发展进入全新阶段。
jiayong232 天前
分布式·面试·kafka
Kafka 高吞吐消息链路常见面试问题及详细解答Kafka 适合海量数据入口,是因为它把数据写入和数据处理解耦了。它通过分区实现并行,通过顺序追加日志提升写入吞吐,通过副本提高可靠性,通过 offset 支持回放和恢复,通过消费组支持横向扩展。
段一凡-华北理工大学2 天前
人工智能·hadoop·学习·架构·kafka·工业智能体·高炉炼铁智能化
工业领域的Hadoop架构学习~系列文章05:Kafka消息队列 - 工业数据流传输导言:任何不理解Kafka消息语义和ISR机制的工程师无法设计可靠的工业数据采集系统。本期我们将深入Kafka的核心设计,从分布式日志的数学本质出发,阐明ISR机制如何保证数据持久性;解析Exactly-Once语义的实现原理;以及工业场景的高吞吐、低延迟配置优化策略。
西安邮电大学3 天前
java·后端·kafka
Kafka保证消息顺序性Kafka 保证消费顺序性(核心方案+原理)Kafka 默认只保证分区内消息有序,分区之间无序,所有顺序方案都围绕分区设计。
Devin~Y3 天前
java·spring boot·redis·spring cloud·kafka·kubernetes·mybatis
大厂Java面试实录:Spring Boot/Cloud、Kafka、Redis、K8s 可观测性 + RAG/Agent(小Y翻车版)你面试的岗位是内容社区 + UGC + 音视频平台的后端 Java 工程师。M:用户点“发布”可能抖手点两次,你的 POST /videos 怎么防重复?
西安邮电大学4 天前
java·后端·其他·面试·kafka
Kafka如何避免重复消费一、重复消费的根本原因核心:offset 提交时机 和 消息处理完成 不同步自动提交 offset(默认) 消费者定时自动提交位移,还没处理完消息就提交了。若此时消费者宕机/重启,会从上一次已提交 offset 之后重新拉取,造成重复。
未若君雅裁4 天前
分布式·kafka
Kafka 数据存储与清理机制:Topic、Partition、Segment与日志删除Kafka 的底层不是把消息一条条放进传统队列,而是把 Topic 的数据按 Partition 写成追加日志。理解它的存储结构,才能解释为什么 Kafka 能高吞吐,也能解释日志为什么可以按时间或大小清理。
大帅点兵4 天前
大数据·clickhouse·flink·spark·kafka·hbase
设计一个金融交易监控系统场景:设计一个金融交易监控系统要求:实时检测异常交易(<100ms)每日生成风险报告数据准确性要求100%
Plastic garden4 天前
分布式·kafka
KafkaKafka 是一个分布式的、基于发布/订阅模式的消息队列系统,被广泛应用于大数据日志收集、实时数据处理和流式计算等场景。
未若君雅裁4 天前
分布式·微服务·kafka
Kafka 顺序消费:分区、消费者组、Key与业务有序性Kafka 面试里问顺序消费,最容易答错成“Kafka 天然有序”。准确说法是:Kafka 只能保证单个分区内部有序,不能保证跨分区全局有序。
Advancer-4 天前
java·spring·kafka
点评plus---异步消费之后可靠的生成订单来自阿星不是程序员开源项目点评plus之前已经对秒杀系统进行了异步化升级。用户的购券请求会先通过 Lua 脚本完成原子性校验(库存校验、一人一单校验)以及 Redis 预扣库存。
未若君雅裁4 天前
分布式·微服务·kafka
Kafka 消息可靠性:发送确认、acks、副本保存与Offset手动提交Kafka 经常被用在日志采集、用户行为、订单事件、数据同步和异步解耦场景。它的吞吐量很高,但高吞吐不等于天然不丢消息。面试里问“Kafka 如何保证消息不丢”,要沿着生产者、Broker、消费者三段链路讲。