kafka生产者指定ip

kafka生产者指定ip

最近工作中遇到一个问题,记录一下,需求中要求往kafka上推送信息。本来是个很简单的需求,但是踩了一个坑。

​ 我通过spring boot集成了kafka写了一个生产者,客户那边给我三个节点的ip,然后我也没多想就配置上来了,但是实际上客户的集群中搞了10个主机部署了kafka,然后我就无了。我只配置了给我的三个节点的hosts,后端就开始疯狂报错hosts unknow的异常。

xml 复制代码
spring:
  kafka:
    bootstrap-servers: ip1:9092,ip2:9092,ip3:9092

​ 这里需要讲一下kafka的机制,当你使用Kafka生产者发送消息时,Kafka会根据负载均衡策略在所有可用的Kafka节点之间进行分配,以确保负载均衡和容错。所以,我的生产者可能会向配置的主机以外的主机发送消息。

​ 如果要限制消息发送到特定的主机, 可以使用spring.kafka.producer.bootstrap-servers属性来指定要使用的Kafka节点的主机地址,而不是使用spring.kafka.bootstrap-servers属性。

复制代码
spring:
  kafka:
    producer:
      bootstrap-servers: ip1:9092,ip2:9092,ip3:9092
相关推荐
小小ken5 分钟前
ubuntu添加新网卡时,无法自动获取IP原因及解决办法
linux·网络·tcp/ip·ubuntu·dhcp
子非衣40 分钟前
CenOS7安装RabbitMQ(含延迟队列插件)
分布式·rabbitmq·ruby
科技块儿41 分钟前
提升广告转化ROI的关键一步:IP数据赋能广告定向
网络·网络协议·tcp/ip
YYYing.1 小时前
【计算机网络 | 第五篇】计网之链路层
网络·网络协议·tcp/ip·计算机网络
linweidong1 小时前
中科曙光Java后端开发面试题及参考答案
分布式·设计模式·spring mvc·tcp协议·三次握手·后端开发·java面经
zzxxlty2 小时前
kafka C++ 和 java端计算分区ID不一致排查
java·c++·kafka
rustfs2 小时前
使用 RustFS和 Arq,打造 PC 数据安全备份之道
分布式·docker·云原生·rust·开源
一颗青果2 小时前
TCP全连接队列与抓包
网络·tcp/ip·github
后季暖2 小时前
kafka原理详解
分布式·kafka
回家路上绕了弯3 小时前
Seata分布式事务实战指南:从原理到微服务落地
分布式·后端