Apache Kafka Docker容器外连接踩坑一则

第一次接触 Kafka,想要写个 Demo 测试一下,就用 Docker 直接在本地部署了一个,测试的时候踩了个坑:默认配置下从容器外没法连接到容器内部。记录一下解决过程。

部署和配置

使用的是镜像是 bitnami/kafka:latest,运行容器的命令如下:

shellscript 复制代码
docker run -d --name kafka \
    --network kafka \
    -v kafka:/bitnami/kafka \
    -p 9092:9092 \
    -e TZ=Asia/Shanghai \
    -e ALLOW_PLAINTEXT_LISTENER=yes \
    -e KAFKA_CFG_AUTO_CREATE_TOPICS_ENABLE=true \
    bitnami/kafka:latest

同时我还用 provectuslabs/kafka-ui:latest 镜像部署了一个 Kafka UI 用来可视化管理,接入了 kafka 容器网络。

用 org.springframework.kafka:spring-kafka 集成到 Spring Boot 中,连接配置如下:

yaml 复制代码
spring:
  kafka:
    bootstrap-servers:
      - "localhost:9092"

运行和排错

在 kafka-ui 中确认连接成功后,我尝试在其中连接 Kafka 节点,连接成功。

然后 bootRun ------ 运行报错: 看到连接错误,我首先想到是不是 Kafka 本身没有拉起来,于是我在面板中尝试收发消息,全部成功了。

看到日志中的 UnknownHostException: ec79ba9450e3,于是我猜和容器有关系。已知 Docker 本身应该没什么问题,于是去 Docker Hub 上仔细阅读了一下 bitnami/kafka 镜像的 Overview,发现了: 我查了一下 Kafka 的文档,大概是:需要通过配置 advertised.listeners 来告知客户端需要连接的 Kafka 地址,否则客户端就会像我上面一样试图去连接 ec79ba9450e3:9092 这个地址,而 ec79ba9450e3 这个主机名在宿主机中当然是未知的主机名,所以就会导致连接异常。

解决方案

如上文中镜像 Overview 中所写的一样,添加如下的三条环境变量:

ruby 复制代码
KAFKA_CFG_LISTENERS=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://:9094
KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092,EXTERNAL://localhost:9094
KAFKA_CFG_LISTENER_SECURITY_PROTOCOL_MAP=CONTROLLER:PLAINTEXT,EXTERNAL:PLAINTEXT,PLAINTEXT:PLAINTEXT

然后暴露容器端口9094,将应用的 spring.kafka.bootstrap-servers 一项从 "localhost:9092" 改为 "localhost:9094" ,连接成功!

后记

由于我的应用本身实际上也是跑在容器里的,所以只需要像上面的 kafka-ui 一样和 Kafka 组到同一个 Docker 网络里就行了,以上配置实际上是不需要的,Docker 部署的情况下只有需要容器外连接 Kafka 才需要配置这些。


如果上文中有任何地方写的有问题的话欢迎指出,如果觉得有用的话还请点个赞!QwQ

相关推荐
starzy19908 小时前
KafkaProducer 源码深度剖析:与 Broker 建立连接
大数据·kafka
我不会起名字32212 小时前
Kafka 重复消费:自动提交位点与手动提交的 3 个错位
kafka·消息队列·幂等·排查
ly76892 天前
Kafka 消费者重试与死信:Spring for Apache Kafka 的边界设计
spring·kafka·apache·并发消费·消费者重试·死信主题·位移提交
我不会起名字3223 天前
Kafka 顺序消息为什么乱了:分区数变化与重试的 3 类原因
kafka·消息队列·顺序·排查
每天一道题3 天前
Kafka 是如何工作的?从 Broker、Partition、Offset 到 Consumer Group
分布式·kafka
ClouGence3 天前
还在用命令行管理 Kafka?开源 CloudDM 让操作更简单
数据库·kafka·开源
Sayai3 天前
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘
大数据·运维·分布式·kafka·消息队列
孤狼GPT4 天前
ChatGPT、Codex排查实录:Kafka消费者日志明明显示处理成功,为什么同一条消息还是被重复消费?
kafka·springboot·codex·chatgptplus·chatgptpro
starzy19904 天前
KafkaProducer 源码深度剖析:batch 发送的条件
大数据·kafka
SL-staff4 天前
JVS私有化部署运维避坑指南:Kafka容灾、ES冷热分离、RabbitMQ可观测性三实战检查项
elasticsearch·kafka·jvs运维·es冷热分离·rabbitmq监控·中间件巡检·sre实践