Kafka 生产者缓存

不建议使用:

java 复制代码
public void produce(String message) {
    DmsProducer<String, String> producer = new DmsProducer<String, String>();
    try {
        producer.produce("test1",0, "key", message);
    } finally {
        producer.close();
    }
}

原因:

每次调用produce函数时,都会新建一个producer,每次都需要进行新建与broker连接->获取分区元数据->生产消息的过程,存在性能瓶颈

正确用法:

java 复制代码
private DmsProducer producer;

public void init() {
    this.producer = new DmsProducer();
}

public void produce(String message) {
    if (producer == null) {
        this.init();
    }
    produce(message);
}

public void tearDown() {
    if (this.producer != null) {
        producer.close();
    }
}

进阶优化:

按照上面的使用方式,如果在多线程的环境下,可能会出现一个producer单个sender线程会有性能瓶颈(单发送线程),可能导致,导致入大于出,最终缓存堆积

示例代码:

private ProducerLru cache = new ProducerLru(5);

java 复制代码
class ProducerLru<k, v> extends LinkedHashMap<k, v> {
    
    private int capacity;
    
    public ProducerLru(int capacity) {
        super(capacity, 0.75f, true);
        this.capacity = capacity;
    }
    
    @Override
    protected boolean removeEldestEntry(Map.Entry<k, v> eldest) {
        if (size() > capacity) {
            if (eldest.getValue() instanceof  DmsProducer) {
                DmsProducer producer = (DmsProducer) eldest.getValue();
                producer.close();
            }
        }
        return super.size() > capacity;
    }
    
}

public static void main(String[] args) throws Exception {
    Main main = new Main();
    String topicA = "topicA";
    DmsProducer producer;
    if (main.cache.get(topicA) != null) {
        producer = (DmsProducer) main.cache.get(topicA);
        main.cache.put(topicA, producer);
    } else {
        producer = new DmsProducer();
    }
    main.cache.put(topicA, producer);
}

上述示例中,producerLru的key可以是topic名称,如果是多个用户场景下,也可以以用户名作为key,可以根据实际业务场景进行调整

相关推荐
菜萝卜子29 分钟前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
csdn_aspnet1 小时前
在 Windows 上安装和运行 Apache Kafka
windows·kafka
booooooty4 小时前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
极光雨雨4 小时前
Spring Bean 控制销毁顺序的方法总结
java·spring
Spirit_NKlaus5 小时前
解决HttpServletRequest无法获取@RequestBody修饰的参数
java·spring boot·spring
lwb_01186 小时前
SpringCloud——Gateway新一代网关
spring·spring cloud·gateway
lxsy7 小时前
spring-ai-alibaba 1.0.0.2 学习(七)——集成阿里云百炼平台知识库
学习·spring·阿里云·spring-ai·ai-alibaba
程序猿小D7 小时前
[附源码+数据库+毕业论文]基于Spring+MyBatis+MySQL+Maven+jsp实现的电影小说网站管理系统,推荐!
java·数据库·mysql·spring·毕业设计·ssm框架·电影小说网站
CodeWithMe8 小时前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存
llwszx9 小时前
Spring中DelayQueue深度解析:从原理到实战(附结构图解析)
java·后端·spring·delayqueue·延迟任务