kafka生产者指定ip

kafka生产者指定ip

最近工作中遇到一个问题,记录一下,需求中要求往kafka上推送信息。本来是个很简单的需求,但是踩了一个坑。

​ 我通过spring boot集成了kafka写了一个生产者,客户那边给我三个节点的ip,然后我也没多想就配置上来了,但是实际上客户的集群中搞了10个主机部署了kafka,然后我就无了。我只配置了给我的三个节点的hosts,后端就开始疯狂报错hosts unknow的异常。

xml 复制代码
spring:
  kafka:
    bootstrap-servers: ip1:9092,ip2:9092,ip3:9092

​ 这里需要讲一下kafka的机制,当你使用Kafka生产者发送消息时,Kafka会根据负载均衡策略在所有可用的Kafka节点之间进行分配,以确保负载均衡和容错。所以,我的生产者可能会向配置的主机以外的主机发送消息。

​ 如果要限制消息发送到特定的主机, 可以使用spring.kafka.producer.bootstrap-servers属性来指定要使用的Kafka节点的主机地址,而不是使用spring.kafka.bootstrap-servers属性。

复制代码
spring:
  kafka:
    producer:
      bootstrap-servers: ip1:9092,ip2:9092,ip3:9092
相关推荐
starzy19903 小时前
SparkSQL 数据源与底层架构深度剖析
大数据·分布式·架构·spark
番茄炒鸡蛋加糖4 小时前
RabbitMQ 全套复盘 + Nacos+ES+MyBatis-Plus 梳理
分布式·rabbitmq
winfreedoms10 小时前
VMware 桥接模式无法联网:从 DHCPDISCOVER 到静态 IP 的完整排障实战
网络协议·tcp/ip·ubuntu·桥接模式·vmware·嵌入式学习
Shadow(⊙o⊙)11 小时前
Linux网络部分——TCP服务端、客户端架构分析多进程、多线程、线程池
c++·tcp/ip·架构
零域码客12 小时前
从 SQLite 到 PostgreSQL:轻量单机到分布式架构选型、避坑与迁移全解析
分布式·postgresql·sqlite·wal·架构设计·后端开发·数据库选型
ltl21 小时前
2PC 的真实失败模式:阻塞、脑裂与恢复
分布式
霸道流氓气质1 天前
分布式系统设计:技术解析与实践
分布式
ACP广源盛139246256731 天前
蚂蚁百灵 Ling‑3.0‑flash 开源 + 昇腾 0‑Day 原生适配@ACP#GSV9001E 在国产算力矩阵中的机会与落地场景
大数据·人工智能·分布式·单片机·嵌入式硬件
Bruce_Liuxiaowei1 天前
基于微步在线威胁情报的公网 IP 攻击迹象监测:threatbook_query 脚本全解析与 BruceSec 平台整合实践
数据库·tcp/ip·安全·网络安全·智能体
80s7771 天前
独享住宅IP、长效代理ip是什么?有哪些作用?
网络·网络协议·tcp/ip