Kafka 面试题精选

1. Kafka 基础知识与概念
  • Apache Kafka: 开源分布式事件流平台,用于实时数据处理与传输。
  • 主要用途: 大数据实时处理、日志聚合与传输、消息队列与微服务集成、网站活动追踪与用户行为分析、数据集成。
2. Kafka 架构与设计
  • Producer: 发布消息到 Kafka 集群的应用程序。
  • Broker: Kafka 集群的服务器节点,存储并转发消息。
  • Consumer: 从 Kafka 读取消息并处理的应用程序。
  • Topic: 消息的逻辑分类或通道名称。
  • Partition: 每个 Topic 可被划分为多个 Partition,提高并发处理能力。
3. Kafka 消息顺序性保证
  • 分区: 每个 Partition 内部消息有序。
  • 单生产者到单 Partition: 保证消息顺序。
  • 同步发送: acks=all 确保消息被所有 ISR 写入。
  • 消息偏移量: 每个消息的唯一标识,保证消费顺序。
4. Kafka 消息存储
  • Log Segments: 物理存储消息的文件,每个 Partition 由多个 Segments 组成。
  • Segment 命名与滚动: 达到预设大小或时间阈值时滚动。
  • 删除策略: 定期删除旧 Segment 释放空间。
5. Kafka 高可用性与分区机制
  • 副本机制: 每个 Partition 有多个副本分布在不同 Broker 上。
  • ISR 列表: 维护当前活跃副本集,确保数据一致性。
  • 控制器 Broker: 管理集群元数据。
6. Kafka 架构与集群工作方式
  • 生产者发送消息: 消息按分区策略分配到不同 Partition。
  • Broker 存储消息: 追加到 Partition 日志。
  • 消费者订阅消费消息: 通过订阅 Topic 消费消息。
  • 副本和故障转移: Leader 处理请求,Follower 同步数据。
7. Kafka 副本机制
  • 分区副本: 每个 Partition 有 Leader 和 Follower。
  • ISR 列表: 与 Leader 保持同步的 Follower 集合。
  • 数据不丢失保证: 生产者确认策略、副本故障处理、最小 ISR 配置。
8. Kafka 消息传递语义
  • At-Least-Once: 消息至少被处理一次,可能多次。
  • At-Most-Once: 消息最多被处理一次,可能未处理。
  • Exactly-Once: 消息恰好被处理一次。
9. Kafka 性能与优化
  • 影响因素: 硬件资源、配置参数、架构设计。
  • 调优方法: 硬件优化、配置调优、架构设计优化。
10. Kafka 批处理机制
  • 生产者批处理: 累积消息后批量发送。
  • 消费者批处理: 一次性拉取多个消息。
11. Kafka 消息积压处理
  • 增加分区和消费者数量: 提高消费速率。
  • 提高消费批次大小: 减少拉取频率。
  • 优化消费逻辑: 提升处理速度。
12. Kafka 延时问题解决方案
  • 优化网络和硬件: 提升传输和处理速度。
  • 调整批处理策略: 平衡吞吐量与延迟。
  • 增强消费者能力: 提升处理速度。
13. Kafka 故障排查与安全性
  • Broker 宕机影响: 分区不可用,数据丢失风险。
  • 恢复措施: 配置多个副本、监控警报、自动故障转移。
14. Kafka 监控与诊断
  • 使用 Kafka 内置指标: 监控集群状态。
  • 监控 ZooKeeper: 确保元数据管理稳定。
  • 使用工具和平台: Kafka Healthcheck、管理工具。
15. Kafka 安全特性
  • 连接认证: SSL/TLS、SASL、OAuth。
  • 授权: 使用 ACL 实现细粒度控制。
16. 多租户环境下 Kafka 安全隔离
  • 物理或逻辑集群隔离: 区分不同租户数据。
  • 主题和分区隔离: 独立主题或使用前缀区分。
  • 认证与授权: 确保合法租户访问。
  • 网络隔离: 使用网络策略限制访问。
  • 加密: 通信加密,增强数据安全性。
  • 日志清理与保留策略: 管理数据合规性。
  • 监控与审计: 记录审查访问请求。
相关推荐
MinIO官方账号1 小时前
从 HDFS 迁移到 MinIO 企业对象存储
人工智能·分布式·postgresql·架构·开源
蘑菇头爱平底锅2 小时前
十万条数据渲染到页面上如何优化
前端·javascript·面试
圣圣不爱学习2 小时前
阿里云kafka消息写入topic失败
阿里云·kafka
丁总学Java2 小时前
maxwell 输出消息到 kafka
分布式·kafka·maxwell
测试界柠檬2 小时前
面试真题 | web自动化关闭浏览器,quit()和close()的区别
前端·自动化测试·软件测试·功能测试·程序人生·面试·自动化
Redstone Monstrosity2 小时前
字节二面
前端·面试
喜欢猪猪3 小时前
深度解析ElasticSearch:构建高效搜索与分析的基石原创
分布式
UestcXiye3 小时前
面试算法题精讲:求数组两组数差值和的最大值
面试·数据结构与算法·前后缀分解
严格格3 小时前
三范式,面试重点
数据库·面试·职场和发展
码上一元4 小时前
消息队列:如何确保消息不会丢失?
kafka·消息队列·rocketmq