kafka

kafka为什么快

数据分片(每个topic会把数据切分为多个partition,每个partition有自己对应的副本保证可靠性,但是副本在leader partition down掉前不会提供服务)可以横向扩容

连续读速度快

kafka虽然跑在jvm上但是使用堆外内存(内核缓冲区内存)pagecache,所以不需要做内存回收。

kafka会自动预热,把数据加载到缓冲区里

pagecache

虚拟内存:内存地址映射

kafka的windows适配性不好

kafka ack保证数据写到内存里,刷盘策略决定数据什么时候落盘,所以ack不能保证数据不会丢失。

零拷贝

减少内核态缓冲区到用户态缓冲区的cpu拷贝

dma拷贝:io到内核的拷贝

普通拷贝:

零拷贝:

producer的消息会包含key,来决定消息发送到哪个partition。

producer按批次发送数据,当数据停留指定时间或者数据达到一定量时,发送给kafka 中对应partition的leader 副本所在的broker节点的socket receive buffer;

socket通过network threads将数据包装成一个请求置入reque queue,然后通过一个IO线程写入到page cache,pagecache根据刷盘策略落盘;

为了保证落盘前的数据可靠性,会将数据备份到其他的broker上,(follower副本会向leader副本拉取数据,这些follower在leader 副本 down掉前,只做备份,不会被使用。)

副本备份完毕后,会发送给producer一个ack,其中可以在network threads控制消息的顺序(上一条消息存储失败,则下一条数据卡在socket receive buffer)

HDD(机械硬盘)和SSD的随机写与顺序写

HDD :随机写时间浪费在寻址和旋转盘片

SSD:写入数据时,需要先擦除一块物理地址,然后写入在这块地址上的一个page里;因此随机写浪费在擦出有用数据时的数据迁移,并且会造成盘碎片化。

混合云

私有云+公有云

私有云:企业自己建设并为内部提供服务,企业可以更严格地控制访问权限和数据管理。

公有云:第三方云厂商所拥有和运营,用户通过互联网使用这些服务;用户只有服务的使用权,数据的控制权相对较弱。

机器扩容 超过 mysql连接数 导致服务崩溃

相关推荐
yours_Gabriel19 分钟前
【java面试】微服务篇
java·微服务·中间件·面试·kafka·rabbitmq
开航母的李大2 小时前
【中间件】Web服务、消息队列、缓存与微服务治理:Nginx、Kafka、Redis、Nacos 详解
前端·redis·nginx·缓存·微服务·kafka
斯普信专业组15 小时前
Kafka主题运维全指南:从基础配置到故障处理
运维·分布式·kafka
计算机毕设定制辅导-无忧学长15 小时前
Spring Boot 与 Kafka 的深度集成实践(一)
spring boot·kafka·linq
正在努力Coding1 天前
kafka(windows)
分布式·kafka
库森学长2 天前
Kafka为什么这么快?
后端·面试·kafka
Wo3Shi4七2 天前
Kafka综合运用:怎么在实践中保证Kafka_高性能?
后端·kafka·消息队列
网安INF3 天前
CVE-2023-25194源码分析与漏洞复现(Kafka JNDI注入)
java·web安全·网络安全·kafka·漏洞·jndi注入
HAPPY酷3 天前
Kafka 和Redis 在系统架构中的位置
redis·kafka·系统架构
忆雾屿3 天前
云原生时代 Kafka 深度实践:06原理剖析与源码解读
java·后端·云原生·kafka