Kafka13-自定义分区器

Kafka13-自定义分区器

1-走自定义分区器发送消息:走 partitionKafkaTemplate:带 key 按 key 的 hash 选分区,不带 key 随机选分区

2-代码仓库:https://gitee.com/enzoism/springboot-kafka-verify -b kafka-noauth

1-自定义分区器

  • 先理解:【自定义分区器】-> 创建的 topic 也有不同的分区,我想按照 Key 分别存放到不同的分区里。
  • 类比分析:有点类似Mysql的分库分表->想让数据按照指定规则分别存放到不同的地方去。
  • 此时和序列化:没有关系,所以我只需要只需要在【生产】的时候指定【存放规则】即可

2-代码实操

  • 1-还是KafkaTemplate<String, String>序列化工具

  • 2-调用KafkaTemplate自带的方法->send(String topic, K key, @Nullable V data)进行存储

复制代码
  @Override
  public ListenableFuture<SendResult<K, V>> send(String topic, K key, @Nullable V data) {
      ProducerRecord<K, V> producerRecord = new ProducerRecord<>(topic, key, data);
      return doSend(producerRecord);
  }
  • 3-业务代码示例
java 复制代码
    @Resource
    private KafkaTemplate<String, String> partitionKafkaTemplate;   
		
		@Operation(summary = "走自定义分区器发送消息", description = "走 partitionKafkaTemplate:带 key 按 key 的 hash 选分区,不带 key 随机选分区")
    @GetMapping("/message/save2")
    public AjaxResult send2(@Parameter(description = "消息内容") @RequestParam String message,
                            @Parameter(description = "消息key(可选)") @RequestParam(required = false) String key) {
        partitionKafkaTemplate.send(KafkaTopicConstants.TEST_TOPIC, key, message).addCallback(this::logSendSuccess,
                ex -> log.error("消息发送失败 topic={}, message={}", KafkaTopicConstants.TEST_TOPIC, message, ex));
        return AjaxResult.success("kafka发送消息成功");
    }

相关推荐
goehou19 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
qq_452396238 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字32210 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962310 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户36105886261211 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq11 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka