消息中间件篇之Kafka-高性能设计

一、高性能设计

消息分区:不受单台服务器的限制,可以不受限的处理更多的数据。

顺序读写:磁盘顺序读写,提升读写效率。

页缓存:把磁盘中的数据缓存到内存中,把对磁盘的访问变为对内存的访问。

**零拷贝:**减少上下文切换及数据拷贝。

消息压缩:减少磁盘IO和网络IO。

分批发送:将消息打包批量发送,减少网络开销。

二、零拷贝

  1. 我们在linux操作系统下进行的普通拷贝。(4次拷贝)
  1. kafka使用的零拷贝。(2次拷贝)

三、面试题

面试官:Kafka中实现高性能的设计有了解过嘛?

候选人:Kafka 高性能,是多方面协同的结果,包括宏观架构、分布式存储、ISR 数据同步、以及高效的利用磁盘、操作系统特性等。主要体现有这么几点:

消息分区:不受单台服务器的限制,可以不受限的处理更多的数据。

顺序读写:磁盘顺序读写,提升读写效率。

页缓存:把磁盘中的数据缓存到内存中,把对磁盘的访问变为对内存的访问。

零拷贝:减少上下文切换及数据拷贝。

消息压缩:减少磁盘IO和网络IO。

分批发送:将消息打包批量发送,减少网络开销。

相关推荐
緈諨の約錠30 分钟前
JVM基础篇以及JVM内存泄漏诊断与分析
java·jvm
Slaughter信仰32 分钟前
深入理解Java虚拟机:JVM高级特性与最佳实践(第3版)第十三章知识点问答(15题)
java·开发语言·jvm
绝无仅有34 分钟前
大厂Redis高级面试题与答案
后端·面试·github
Java进阶笔记34 分钟前
JVM默认栈大小
java·jvm·后端
绝无仅有37 分钟前
面试问题之导致 SQL 查询慢的原因及优化建议
后端·面试·github
Hello.Reader43 分钟前
Kafka 实现从网络层到日志与位点的“全景拆解”
分布式·kafka
Hello.Reader1 小时前
Kafka 运维实战基本操作含命令与最佳实践
运维·kafka·linq
shan&cen1 小时前
Day04 前缀和&差分 1109. 航班预订统计 、304. 二维区域和检索 - 矩阵不可变
java·数据结构·算法
在线教学养猪1 小时前
Spring Task
java·后端·spring
_hermit:1 小时前
【从零开始java学习|小结】记录学习和编程中的问题
java·学习