讨论:无法访问不同网段的Kafka问题

问题

X同学:A网段的机器,访问B网段部署的Kafka集群,中间做了网络映射,映射成A网段可以访问的IP地址,A网段程序里配置bootstrap.servers就是这些可以访问的地址。但是最后发现还是无法访问,并且日志里看到了B网段的IP地址。请问怎么处理。

解决办法

kafka可以配置成注册的IP是公网IP:

listeners=INSIDE://<内网IP>:9092,OUTSIDE://<公网IP>:端口 advertised.listeners=INSIDE://内网IP:9092,OUTSIDE://<公网IP>:端口 listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_PLAINTEXT inter.broker.listener.name=INSIDE

试试这个方案,行的话,就不用多做一层映射了。

进一步深入讨论此类问题

如果你们的网络映射配置的没错,那么感觉是跟redis cluster一样的问题。kafka集群的节点之间是使用的内网段地址进行交互,他们压根儿不知道有映射的这个外网地址。

解决问题的办法有几种,简单点的是:让client端的网络上再加一层转换,可以把kafka的内网IP解析成作了映射的外网IP。

更一般化的来看:两个机器A和B在不通的两个网段,IP分别为:10.1.1.101和10.1.2.102。现在想让A能访问B的端口9092。

为了实现这个目标我们已经实现了A和B同时都能访问P(IP 10.1.0.202),那么我们设置对于10.1.0.202:9092的映射转到B,即可实现A通过配置访问P来间接访问到B。

然后我们发现B在一个集群里,还有一个节点C IP为10.1.2.103,A请求B后,会拿到这个C的信息,也就是10.1.2.103,然后发起访问。这时候我们会发现A是无法访问C的,而且上面的办法也不能对C来使用,因为C的IP地址是B给的。

我们新增一个映射到C的IP 10.1.0.203,没地方修改成一个新的映射地址。此时,可以通过修改iptables规则,让A对于10.1.2.103的访问自动转到10.1.0.203。

iptables -t nat -A POSTROUTING -p tcp --dport 9092 -d 10.1.0.203 -j SNAT --to-source 10.1.2.103

类似这种,但是这个办法的一个不足之处是,所有访问的机器都要加这个路由条件。

这个问题的本质是,redis/kafka 集群不是被设计成跨不同的网络访问区来使用的。

相关推荐
我不会起名字32211 小时前
Redis 从 0 到 1(三十三):机器断电 Redis 起不来——AOF/RDB 损坏的 4 步抢救流程
redis·数据恢复·aof·rdb·排查
csdn_aspnet14 小时前
Redis 入门:Windows、Mac安装指南
数据库·windows·redis·缓存·mac
山甫aa15 小时前
锁一篇搞定:乐观锁、悲观锁、CAS、数据库锁与分布式锁【从零开始的 Web 后端学习】
java·数据库·分布式·后端·学习·web
IT规划师15 小时前
Redis 数据类型全解 - HyperLogLog:12 KB 估出亿级 UV(八)
redis·uv·hyperloglog·.net10
aiks_yuan1 天前
Token 放 Redis 还是用 JWT:Java 实测验签和查 Redis 耗时,退出登录、改密码踢下线怎么做(jjwt 0.12 + Redis 7.2)
redis
严肃小白兔1 天前
Cloudflare Durable Objects 支持自动重试:分布式调用如何避免重复执行?
分布式
用户3610588626121 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
方方洛2 天前
ray教程-27-附录F-RayClient与runtime_env与多语言
人工智能·分布式·机器学习
我不会起名字3222 天前
Redis 从 0 到 1(二十九):CPU 突然 100%——commandstats 定位法与 6 步排查链路
redis·cpu·慢查询·排查·commandstats