Kafka 生产者投递内存池源码刨铣

大体逻辑是这样的。。 初始化BufferPool的时候会指定BufferPool的大小 以及内存块(poolableSize)的大小。 在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常,无法申请。 如果是等于poolableSize的话,就会判断free中是否有,有的话就直接从free中取出,没有的话再去申请(这个free可以里面为一个缓存,每次归还的时候会归还到free中(前提free中的ByteBuffer的大小和poolableSize一致))。如果是小于poolableSize的话,就不会从free中获取,而是单独去申请。 判断内存池中剩余的空间大小是通过(nonPooledAvailableMemory) 来控制的。。。 如果申请的时候内存不足,会等待(Deque waiters),当归还的时候会唤醒等待的节点然后再去分配内存

如果需要再本地调试的时候 (可以使用如下代码进行debug)

public class TestKafkaBufferPoolDemo {

public static void main(String[] args) throws InterruptedException {

    Metrics metrics = new Metrics();


    BufferPool bufferPool =  new BufferPool(65536, 16384, metrics, Time.SYSTEM, "producer-metrics");


    ByteBuffer byteBuffer = bufferPool.allocate(6000005, 1);
    bufferPool.deallocate(byteBuffer);


    ByteBuffer byteBuffer2 = bufferPool.allocate(16384, 1);

// bufferPool.deallocate(byteBuffer);

ByteBuffer allocate = bufferPool.allocate(16384, 1);

ByteBuffer allocate2 = bufferPool.allocate(16384, 1);

    ByteBuffer allocate3 = bufferPool.allocate(16384, 1);

    ByteBuffer byteBuffer3 = bufferPool.allocate(16384, 10000);
}

}

相关推荐
雷神乐乐5 分钟前
Maven学习——创建Maven的Java和Web工程,并运行在Tomcat上
java·maven
码农派大星。8 分钟前
Spring Boot 配置文件
java·spring boot·后端
顾北川_野15 分钟前
Android 手机设备的OEM-unlock解锁 和 adb push文件
android·java
江深竹静,一苇以航18 分钟前
springboot3项目整合Mybatis-plus启动项目报错:Invalid bean definition with name ‘xxxMapper‘
java·spring boot
confiself33 分钟前
大模型系列——LLAMA-O1 复刻代码解读
java·开发语言
Wlq041538 分钟前
J2EE平台
java·java-ee
XiaoLeisj1 小时前
【JavaEE初阶 — 多线程】Thread类的方法&线程生命周期
java·开发语言·java-ee
豪宇刘1 小时前
SpringBoot+Shiro权限管理
java·spring boot·spring
Elaine2023911 小时前
02多线程基础知识
java·多线程
gorgor在码农1 小时前
Redis 热key总结
java·redis·热key