Kafka 生产者投递内存池源码刨铣

老耿2024-01-23 14:55

大体逻辑是这样的。。初始化BufferPool的时候会指定BufferPool的大小以及内存块(poolableSize)的大小。在申请内存的时候如果申请的内存大小大于指定的内存块大小就会抛出异常，无法申请。如果是等于poolableSize的话，就会判断free中是否有，有的话就直接从free中取出，没有的话再去申请（这个free可以里面为一个缓存，每次归还的时候会归还到free中（前提free中的ByteBuffer的大小和poolableSize一致））。如果是小于poolableSize的话，就不会从free中获取，而是单独去申请。判断内存池中剩余的空间大小是通过(nonPooledAvailableMemory) 来控制的。。。如果申请的时候内存不足，会等待（Deque waiters），当归还的时候会唤醒等待的节点然后再去分配内存

如果需要再本地调试的时候（可以使用如下代码进行debug）

public class TestKafkaBufferPoolDemo {

public static void main(String[] args) throws InterruptedException {

复制代码

    Metrics metrics = new Metrics();


    BufferPool bufferPool =  new BufferPool(65536, 16384, metrics, Time.SYSTEM, "producer-metrics");


    ByteBuffer byteBuffer = bufferPool.allocate(6000005, 1);
    bufferPool.deallocate(byteBuffer);


    ByteBuffer byteBuffer2 = bufferPool.allocate(16384, 1);

// bufferPool.deallocate(byteBuffer);

ByteBuffer allocate = bufferPool.allocate(16384, 1);

ByteBuffer allocate2 = bufferPool.allocate(16384, 1);

复制代码

    ByteBuffer allocate3 = bufferPool.allocate(16384, 1);

    ByteBuffer byteBuffer3 = bufferPool.allocate(16384, 10000);
}

}