1. Kafka 基础知识与概念
- Apache Kafka: 开源分布式事件流平台，用于实时数据处理与传输。
- 主要用途: 大数据实时处理、日志聚合与传输、消息队列与微服务集成、网站活动追踪与用户行为分析、数据集成。
2. Kafka 架构与设计
- Producer: 发布消息到 Kafka 集群的应用程序。
- Broker: Kafka 集群的服务器节点，存储并转发消息。
- Consumer: 从 Kafka 读取消息并处理的应用程序。
- Topic: 消息的逻辑分类或通道名称。
- Partition: 每个 Topic 可被划分为多个 Partition，提高并发处理能力。
3. Kafka 消息顺序性保证
- 分区: 每个 Partition 内部消息有序。
- 单生产者到单 Partition: 保证消息顺序。
- 同步发送: acks=all 确保消息被所有 ISR 写入。
- 消息偏移量: 每个消息的唯一标识，保证消费顺序。
4. Kafka 消息存储
- Log Segments: 物理存储消息的文件，每个 Partition 由多个 Segments 组成。
- Segment 命名与滚动: 达到预设大小或时间阈值时滚动。
- 删除策略: 定期删除旧 Segment 释放空间。
5. Kafka 高可用性与分区机制
- 副本机制: 每个 Partition 有多个副本分布在不同 Broker 上。
- ISR 列表: 维护当前活跃副本集，确保数据一致性。
- 控制器 Broker: 管理集群元数据。
6. Kafka 架构与集群工作方式
- 生产者发送消息: 消息按分区策略分配到不同 Partition。
- Broker 存储消息: 追加到 Partition 日志。
- 消费者订阅消费消息: 通过订阅 Topic 消费消息。
- 副本和故障转移: Leader 处理请求，Follower 同步数据。
7. Kafka 副本机制
- 分区副本: 每个 Partition 有 Leader 和 Follower。
- ISR 列表: 与 Leader 保持同步的 Follower 集合。
- 数据不丢失保证: 生产者确认策略、副本故障处理、最小 ISR 配置。
8. Kafka 消息传递语义
- At-Least-Once: 消息至少被处理一次，可能多次。
- At-Most-Once: 消息最多被处理一次，可能未处理。
- Exactly-Once: 消息恰好被处理一次。
9. Kafka 性能与优化
- 影响因素: 硬件资源、配置参数、架构设计。
- 调优方法: 硬件优化、配置调优、架构设计优化。
10. Kafka 批处理机制
- 生产者批处理: 累积消息后批量发送。
- 消费者批处理: 一次性拉取多个消息。
11. Kafka 消息积压处理
- 增加分区和消费者数量: 提高消费速率。
- 提高消费批次大小: 减少拉取频率。
- 优化消费逻辑: 提升处理速度。
12. Kafka 延时问题解决方案
- 优化网络和硬件: 提升传输和处理速度。
- 调整批处理策略: 平衡吞吐量与延迟。
- 增强消费者能力: 提升处理速度。
13. Kafka 故障排查与安全性
- Broker 宕机影响: 分区不可用，数据丢失风险。
- 恢复措施: 配置多个副本、监控警报、自动故障转移。
14. Kafka 监控与诊断
- 使用 Kafka 内置指标: 监控集群状态。
- 监控 ZooKeeper: 确保元数据管理稳定。
- 使用工具和平台: Kafka Healthcheck、管理工具。
15. Kafka 安全特性
- 连接认证: SSL/TLS、SASL、OAuth。
- 授权: 使用 ACL 实现细粒度控制。
16. 多租户环境下 Kafka 安全隔离
- 物理或逻辑集群隔离: 区分不同租户数据。
- 主题和分区隔离: 独立主题或使用前缀区分。
- 认证与授权: 确保合法租户访问。
- 网络隔离: 使用网络策略限制访问。
- 加密: 通信加密，增强数据安全性。
- 日志清理与保留策略: 管理数据合规性。
- 监控与审计: 记录审查访问请求。