kafka生产者指定ip

kafka生产者指定ip

最近工作中遇到一个问题,记录一下,需求中要求往kafka上推送信息。本来是个很简单的需求,但是踩了一个坑。

​ 我通过spring boot集成了kafka写了一个生产者,客户那边给我三个节点的ip,然后我也没多想就配置上来了,但是实际上客户的集群中搞了10个主机部署了kafka,然后我就无了。我只配置了给我的三个节点的hosts,后端就开始疯狂报错hosts unknow的异常。

xml 复制代码
spring:
  kafka:
    bootstrap-servers: ip1:9092,ip2:9092,ip3:9092

​ 这里需要讲一下kafka的机制,当你使用Kafka生产者发送消息时,Kafka会根据负载均衡策略在所有可用的Kafka节点之间进行分配,以确保负载均衡和容错。所以,我的生产者可能会向配置的主机以外的主机发送消息。

​ 如果要限制消息发送到特定的主机, 可以使用spring.kafka.producer.bootstrap-servers属性来指定要使用的Kafka节点的主机地址,而不是使用spring.kafka.bootstrap-servers属性。

复制代码
spring:
  kafka:
    producer:
      bootstrap-servers: ip1:9092,ip2:9092,ip3:9092
相关推荐
桃酥4032 小时前
聊一聊 单体分布式 和 微服务分布式
分布式·微服务·架构
tan77º4 小时前
【项目】分布式Json-RPC框架 - 抽象层与具象层实现
linux·服务器·c++·分布式·tcp/ip·rpc·json
xiao-xiang7 小时前
zookeeper-保姆级配置说明
分布式·zookeeper·云原生·中间件·zk
鸿蒙先行者10 小时前
鸿蒙分布式能力调用失败解决方案及案例
分布式·harmonyos
yourkin66611 小时前
RocketMQ 分布式事务方案
分布式·rocketmq
lifallen20 小时前
Hadoop MapReduce 任务/输入数据 分片 InputSplit 解析
大数据·数据结构·hadoop·分布式·算法
不懂机器人1 天前
linux编程----网络通信(TCP)
linux·服务器·tcp/ip
Hello.Reader1 天前
Kafka 4.0 从零到一8 步快速上手 + 实战要点与避坑
分布式·kafka
Twinkle1751 天前
linux下的网络编程:TCP(传输控制协议)编程
linux·网络·tcp/ip
一叶飘零_sweeeet1 天前
在分布式环境下正确使用MyBatis二级缓存
java·分布式·mybatis