kafka

__土块__18 小时前
kafka·线程池·分库分表·java面试·threadlocal·缓存一致性·大厂一面
Java 大厂一面模拟:从线程本地存储到分库分表路由的连环拷问这是一场模拟 30 分钟左右的 Java 大厂一面,面向 1-3 年经验的 Java 后端候选人或校招高阶候选人。面试官风格贴近真实大厂一面节奏,注重基础原理、并发安全、JVM 底层、数据库设计与缓存一致性,同时结合典型业务场景(如订单、用户、活动系统)进行连续追问。整场面试强调“拷打感”——问题层层递进,从表象到原理,再到边界条件和线上落地取舍。
面向Google编程20 小时前
大数据·kafka
从零学习Kafka:认证机制前面在学习配置参数时,有同学指出没有 SSL 相关的参数,那么今天就整体看一下 Kafka 的认证机制有哪些。
却话巴山夜雨时i20 小时前
spring boot·redis·spring cloud·微服务·kafka·prometheus·java面试
互联网大厂Java面试:从Spring Boot到Kafka的业务场景深度剖析谢飞机今天来到了一家知名互联网大厂参与Java开发岗位的面试,面试官是一位技术严谨且经验丰富的资深架构师。在这次面试中,问题围绕“电商场景”展开,涉及Spring Boot、Kafka、Redis、微服务等核心技术栈。
qq_2975746720 小时前
分布式·kafka·linq
【Kafka系列·进阶第三篇】流处理与数据治理实战:Streams实时计算+Schema校验+多租户管控大家好,在上一篇进阶第二篇中,我们完成了Kafka全链路性能调优,让集群实现高吞吐+低延迟的双达标,彻底解决了高并发场景下的性能瓶颈。但很多同学会发现,普通的生产消费模式,只能实现消息的简单传输,无法满足实时数据清洗、聚合计算、动态过滤等业务需求;同时随着团队接入增多,消息格式混乱、权限管控缺失,也成了生产环境的新痛点。
Rick199321 小时前
分布式·kafka
Kafka 的 ISR 是什么ISR = In-Sync Replicas 中文叫:同步副本集合它是 Kafka 保证消息不丢失、高可用的核心机制。
qq_297574672 天前
分布式·kafka
【Kafka系列·进阶第一篇】生产可靠性实战:死信队列+幂等性+集群扩容+灾备切换大家好,在前面的入门系列中,我们完成了Kafka监控运维体系搭建,实现了集群状态可视、故障主动告警,彻底告别运维黑盒。但在真实的生产场景中,消息乱序、重复消费、死信堆积、集群瓶颈、单点故障依然是高频痛点,哪怕监控及时,没有对应的兜底和扩容方案,依然会影响业务稳定性。
请为小H留灯2 天前
分布式·kafka·linq·消费
Kafka详解及实战案例很多技术人员刚接触Kafka时,会被各种术语绕晕。其实只要抓住"消息流转"的核心逻辑,就能快速理解。我们可以将Kafka比作一个"分布式快递仓库":
Devin~Y2 天前
java·spring boot·redis·elasticsearch·spring cloud·微服务·kafka
大厂内容社区面试实录:从 Spring Boot 微服务到 AI RAG 问答(附详细解析)场景设定:面试分 3 大轮,围绕一个“内容社区 + AI 问答”的业务场景,层层深入:对话结束后,文末给出 每个问题的详细标准答案 + 场景解析,适合小白系统学习。
indexsunny2 天前
java·spring boot·spring cloud·kafka·flyway·hikaricp·microservices
互联网大厂Java求职面试实战:从Spring Boot到Kafka的技术问答解析本次面试发生在一家互联网大厂,谢飞机作为面试者,面试官以严肃的态度针对Java全栈技术栈进行提问,涵盖从核心语言到微服务、消息队列等多领域技术。面试以电商场景为背景,环环相扣,逐步深入。
刘~浪地球3 天前
分布式·kafka·linq
消息队列--Kafka 生产环境最佳实践系列导读:本篇将深入讲解 Kafka 生产环境的部署、配置与最佳实践。✅ Kafka 架构:Broker、Topic、Partition ✅ 生产环境部署:集群规划、配置优化 ✅ 生产者实践:配置、同步/异步发送 ✅ 消费者实践:配置、手动提交 ✅ 监控运维:关键指标、监控工具
却话巴山夜雨时i3 天前
spring boot·redis·微服务·kafka·prometheus·java面试·电商场景
互联网大厂Java面试场景:Spring Boot、微服务与Redis实战解析面试官: 谢飞机,请简单介绍一下Spring Boot的核心功能,以及它在电商场景中的作用。谢飞机: Spring Boot嘛,它是个快速开发框架,用来创建独立的Spring应用。它在电商场景中,可以用来创建用户购物车服务,轻松集成数据库和缓存。
indexsunny3 天前
java·spring boot·面试·kafka·mybatis·电商·技术栈
互联网大厂Java面试实战:Spring Boot、MyBatis与Kafka在电商场景中的应用在互联网大厂的Java求职面试中,面试官与求职者谢飞机展开了一场关于电商平台技术栈的深入对话。面试涵盖了从基础框架到分布式消息队列等多个技术点,结合真实业务场景帮助求职者理解和掌握关键技术。
武子康3 天前
大数据·后端·kafka
大数据-266 实时数仓-Canal + Kafka 实现 MySQL 数据库变更实时捕获Canal 是阿里巴巴开源的 MySQL binlog 增量订阅与消费平台。它模拟 MySQL 的主从复制机制,通过解析 MySQL 的二进制日志(binlog),实现数据库变更的数据捕获(CDC, Change Data Capture)。
creator_Li3 天前
笔记·学习·kafka
Kafka 全面技术笔记Apache Kafka 是一个开源的分布式流处理平台。Kafka 提供了一套统一的高吞吐、低延迟平台,用于处理实时数据流,本质上是一个分布式的、分区的、多副本的提交日志服务(distributed, partitioned, replicated commit log service)。
青春不流名3 天前
分布式·kafka
kafka 集成OAUTHBEARER认证的例子日志格式Avro
洛豳枭薰3 天前
分布式·kafka
kafka重平衡导致的消息重复消费或者消息丢失渐进式(增量合作式)重平衡:会不会导致乱序 / 丢消息? 结论先给你:渐进式重平衡本身不会主动导致消息丢失,但在特定场景下可能引发「乱序消费」和「重复消费」;如果配置不当,也会间接造成丢消息。它的核心优势是大幅降低重平衡的停机时间,但并没有从根本上消除重平衡对语义的影响,只是把风险从「全量暂停」变成了「局部、可控」。 一、先搞懂:渐进式重平衡到底是什么? 传统的 ** 全量重平衡 **(Kafka 2.4 之前默认): 每次重平衡,所有消费者一次性撤销全部分区,全组暂停消费,等待新分配完成后再恢复。 缺点
架构师老Y4 天前
python·架构·kafka·rabbitmq·ruby
011、消息队列应用:RabbitMQ、Kafka与Celery上周半夜被报警叫醒,系统里堆积了十几万条未处理的消息。登录服务器一看,RabbitMQ内存占用98%,生产者还在拼命往里塞数据,消费者却全躺平了。紧急扩容后开始排查,发现某个消费者处理单条消息要30秒,而生产速率是每秒50条——典型的“消费能力跟不上生产速度”导致消息堆积。这种场景在我们后端系统里太常见了,今天就来聊聊消息队列这个“系统解耦神器”和“性能杀手”的双面角色。
talen_hx2964 天前
笔记·学习·kafka
《kafka核心源码解读》学习笔记 Day 02日志是日志段的容器,里面定义了很多管理日志段 的操作。总体上,该文件定义了 10 个类和对象保存了一组待写入消息的各种元数据信息。比如,这组消息中第一条消息的位移值是多少、最后一条消息的位移值是多少;再比如,这组消息中最大的消息时间戳又是多少。
lifallen4 天前
java·大数据·分布式·kafka
如何保证 Kafka 的消息顺序性?理解 Kafka 消息顺序性时最容易乱,是因为大家经常把“发送顺序、落盘顺序、消费顺序、业务处理顺序”混为一谈。 更稳妥的读法是先把链路拆开,始终带着下面几个问题去审视整个流程:
真实的菜4 天前
kafka
Kafka 2.x vs 3.x,我为什么选择升级?这是一个小白的学习记录 边学边练,把踩过的坑都记下来公司项目要用 Kafka,让我负责调研。拿到手一看,好家伙,2.x 和 3.x 到底选哪个?