kafka生产者指定ip

kafka生产者指定ip

最近工作中遇到一个问题,记录一下,需求中要求往kafka上推送信息。本来是个很简单的需求,但是踩了一个坑。

​ 我通过spring boot集成了kafka写了一个生产者,客户那边给我三个节点的ip,然后我也没多想就配置上来了,但是实际上客户的集群中搞了10个主机部署了kafka,然后我就无了。我只配置了给我的三个节点的hosts,后端就开始疯狂报错hosts unknow的异常。

xml 复制代码
spring:
  kafka:
    bootstrap-servers: ip1:9092,ip2:9092,ip3:9092

​ 这里需要讲一下kafka的机制,当你使用Kafka生产者发送消息时,Kafka会根据负载均衡策略在所有可用的Kafka节点之间进行分配,以确保负载均衡和容错。所以,我的生产者可能会向配置的主机以外的主机发送消息。

​ 如果要限制消息发送到特定的主机, 可以使用spring.kafka.producer.bootstrap-servers属性来指定要使用的Kafka节点的主机地址,而不是使用spring.kafka.bootstrap-servers属性。

复制代码
spring:
  kafka:
    producer:
      bootstrap-servers: ip1:9092,ip2:9092,ip3:9092
相关推荐
茶杯梦轩2 天前
从零起步学习RabbitMQ || 第三章:RabbitMQ的生产者、Broker、消费者如何保证消息不丢失(可靠性)详解
分布式·后端·面试
IvanCodes2 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
回家路上绕了弯4 天前
深入解析Agent Subagent架构:原理、协同逻辑与实战落地指南
分布式·后端
初次攀爬者4 天前
Kafka的Rebalance基础介绍
后端·kafka
初次攀爬者5 天前
Kafka + KRaft模式架构基础介绍
后端·kafka
初次攀爬者5 天前
Kafka + ZooKeeper架构基础介绍
后端·zookeeper·kafka
blasit5 天前
笔记:Qt C++建立子线程做一个socket TCP常连接通信
c++·qt·tcp/ip
初次攀爬者5 天前
Kafka 基础介绍
spring boot·kafka·消息队列
DemonAvenger9 天前
Kafka性能调优:从参数配置到硬件选择的全方位指南
性能优化·kafka·消息队列
初次攀爬者9 天前
ZooKeeper 实现分布式锁的两种方式
分布式·后端·zookeeper