kafka生产者指定ip

kafka生产者指定ip

最近工作中遇到一个问题,记录一下,需求中要求往kafka上推送信息。本来是个很简单的需求,但是踩了一个坑。

​ 我通过spring boot集成了kafka写了一个生产者,客户那边给我三个节点的ip,然后我也没多想就配置上来了,但是实际上客户的集群中搞了10个主机部署了kafka,然后我就无了。我只配置了给我的三个节点的hosts,后端就开始疯狂报错hosts unknow的异常。

xml 复制代码
spring:
  kafka:
    bootstrap-servers: ip1:9092,ip2:9092,ip3:9092

​ 这里需要讲一下kafka的机制,当你使用Kafka生产者发送消息时,Kafka会根据负载均衡策略在所有可用的Kafka节点之间进行分配,以确保负载均衡和容错。所以,我的生产者可能会向配置的主机以外的主机发送消息。

​ 如果要限制消息发送到特定的主机, 可以使用spring.kafka.producer.bootstrap-servers属性来指定要使用的Kafka节点的主机地址,而不是使用spring.kafka.bootstrap-servers属性。

复制代码
spring:
  kafka:
    producer:
      bootstrap-servers: ip1:9092,ip2:9092,ip3:9092
相关推荐
车载测试工程师9 小时前
CAPL学习-AVB交互层-媒体函数2-其他类函数待分类
学习·tcp/ip·媒体·capl·canoe
福尔摩斯张12 小时前
插件式架构:解耦与扩展的艺术与实践(超详细)
linux·服务器·网络·网络协议·tcp/ip
..空空的人14 小时前
C++基于protobuf实现仿RabbitMQ消息队列---项目设计
分布式·rabbitmq
毕设源码-赖学姐14 小时前
【开题答辩全过程】以 基于Spark的电商用户行为分析系统为例,包含答辩的问题和答案
大数据·分布式·spark
FserSuN14 小时前
TCP RST 与 Broken Pipe:从协议语义到操作系统信号的体系化梳理
网络·网络协议·tcp/ip
我认不到你15 小时前
paxos一致性算法(大白话+图解)
分布式·后端
川2115 小时前
Kafka消息中间件(超大数据吞吐量)使用
分布式·kafka
apihz15 小时前
全球IP归属地查询免费API详细指南
android·服务器·网络·网络协议·tcp/ip
fiveym15 小时前
PXE装机遇DHCP错误:ICMP echo reply导致IP分配失败原理解析
网络协议·tcp/ip·php
Wang's Blog15 小时前
Kafka: 基于 NestJS 的问卷系统配置与业务实现
分布式·kafka