Java 面经之 Kafka

1. Kafka的文件存储机制?

Kafka中的消息以主题 (topic)进行分类,每个主题可以分成一个或多个分区(partition)。topic是逻辑上的概念,partition 是物理上的概念。

向topic发布消息的客户端是producer,从topic订阅消息的客户端是consumer。采取分片和索引机制将一个partition分为多个segment,一个segment对应".index"和".log"两个文件。".index"文件存储当前文件的索引范围,".log"文件存储真正的数据。

可以很容易地扩展到处理更大规模的数据集,支持高吞吐量的消息生产和消费。

2. ISR机制?

同步副本集(In-Sync Replicas)是指一组与Leader同步的副本集合。

Kafka会定期检查每个Follower是否与Leader保持同步。如果某个Follower在一定时间内没有与Leader保持同步,则该Follower会被移出ISR。如果当前的Leader失效,Kafka会从ISR中选举一个新的Leader以保证数据的一致性 和完整性。

3. Kafka集群数量是怎么考量的?

Kafka的集群数量通常需要按照实际业务需求来确定。

根据经验公式:
kafka_broker_nums=2*(峰值生产速度()*2/100)+1,Kafka的集群数量主要是看生产者端消息的峰值生产速度,确保集群具有一定的冗余能力以应对单点故障。

4. TCP/IP网络体系结构说下?

TCP/IP协议网络体系结构由应用层 、传输层 、网络层 和数据链路层四个层次组成。

其中,应用层将OSI七层模型中的应用层、表示层、会话层合并在了一起,是TCP/IP体系结构的顶层,负责提供网络服务和应用程序之间的接口。

传输层主要为两个主机中的进程之间的通信提供通用的数据传输服务。

网络层负责为分组交换网上的不同主机提供通信服务,将数据从源主机传输到目标主机,通过路由器实现不同网络之间的通信。

网络接口层包含了OSI七层模型中的数据链路层和物理层,是TCP/IP协议的最底层,通过网络媒介传输数据,负责网络接口与硬件设备之间的联系。

5. 手撕:找出10亿整数中出现次数最多的topN

java 复制代码
import java.util.*;
import java.util.Map.Entry;

public class num_topN {

    public static void main(String[] args) {
        int n = 10;  // 定义需要找出出现次数最多的前N个数字
        int[] numbers = new int[1000000000];  // 创建一个大小为10亿的整数数组

        Random rand = new Random();
        for (int i = 0; i < numbers.length; i++) {
            numbers[i] = rand.nextInt(100000);  // 生成范围在0到99999之间的随机数
        }

        Map<integer, integer> frequencyMap = new HashMap&lt;&gt;();
        for (int num : numbers) {
            frequencyMap.put(num, frequencyMap.getOrDefault(num, 0) + 1);  // 统计每个数字的出现次数
        }

        PriorityQueue<entry<integer, integer>&gt; minHeap = new PriorityQueue&lt;&gt;(
                Comparator.comparingInt(Entry::getValue)  // 使用最小堆,按出现次数排序
        );

        for (Entry<integer, integer> entry : frequencyMap.entrySet()) {
            minHeap.offer(entry);  // 将每个元素添加到堆中
            if (minHeap.size() &gt; n) {
                minHeap.poll();  // 保持堆的大小不超过N
            }
        }

        System.out.println("出现次数最多的前" + n + "个数字:");
        while (!minHeap.isEmpty()) {
            Entry<integer, integer> entry = minHeap.poll();  // 从堆中取出元素
            System.out.println("数字 " + entry.getKey() + " 出现了 " + entry.getValue() + " 次");  // 打印结果
        }
    }
}
相关推荐
知守观11 分钟前
同一个团队两套分包:DDD 四层落地后,domain 层最大的类还是 5885 行
java·后端·领域驱动设计
文丑颜不良啊28 分钟前
LeetCode2541~2560题目解析
java·leetcode
瑞雪兆丰年兮36 分钟前
JavaWeb-day11-SpringBootWeb案例(文件上传)
java·运维·服务器·javaweb·oss
Highcharts.js1 小时前
Highcharts智能数据分析平台Orbit 多语言配置技术文档
java·前端·javascript·highcharts·orbit·智能数据分析·设置文档
Rain的Java大神之路1 小时前
设计一套生产级 API 接口:从契约、安全、幂等到限流,我踩过的坑都在这了
java·后端·面试
SimonKing1 小时前
零配置也能白嫖前沿大模型!dsh-our-free-model插件真香警告
java·后端·程序员
草莓熊Lotso1 小时前
【C++ 基于微服务的即时通讯系统】文件存储子服务实战:UUID生成、文件IO封装与全接口单元测试
开发语言·网络·数据库·c++·微服务·架构·单元测试
nice_lcj5201 小时前
【从零理解 Spring AI · 15】让检索更准:先宽召回,再精排序
java·后端·rag·spring ai·ai应用开发·检索优化·重排序
qq_452396232 小时前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
huaqianzkh2 小时前
WinForm C#:循环修改控件UI闪烁卡顿?SuspendLayout / ResumeLayout 与 BeginUpdate 优化
开发语言·ui·c#