Mac m1 通过docker镜像安装kafka

kafka依赖zookeeper,因此需要使用docker同时安装zookeeper和kafka。 macOS的docker在容器和宿主之间无法通过ip直接通信,因此在安装的时候需要特殊注意与ip相关的设置。当容器需要访问宿主ip时,需要使用docker.for.mac.host.internal或者host.docker.internal代替。

zookeeper安装

拉取zookeeper镜像

powershell 复制代码
docker pull zookeeper:3.5.9

启动zookeeper,寻找需要挂载的内容

powershell 复制代码
docker run --name zookeeper3.5.9 -p 2181:2181 --restart always -d zookeeper:3.5.9

停止运行并删除容器

powershell 复制代码
docker stop zookeeper3.5.9
docker rm zookeeper3.5.9

创建挂载地址

/Users/snowsong/docker/zookeeper/data

/Users/snowsong/docker/zookeeper/conf

/Users/snowsong/docker/zookeeper/logs

在挂载地址conf下创建配置文件zoo.cfg,内容如下

powershell 复制代码
dataDir=/data
clientPort=2181
dataLogDir=/datalog
tickTime=2000
initLimit=5
syncLimit=2
autopurge.snapRetainCount=3
autopurge.purgeInterval=0
maxClientCnxns=60
standaloneEnabled=true
admin.enableServer=true
server.1=localhost:2888:3888;2181

启动镜像

powershell 复制代码
docker run -d --name zookeeper3.5.9 --privileged=true -p 2181:2181  -v /Users/snowsong/docker/zookeeper/data:/data -v /Users/snowsong/docker/zookeeper/conf:/conf -v /Users/snowsong/docker/zookeeper/logs:/datalog zookeeper:3.5.9

zookeeper到此就安装完毕啦~~~

kafka安装

拉取镜像-默认Kafka版本

powershell 复制代码
docker pull wurstmeister/kafka

启动镜像

powershell 复制代码
docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=172.17.0.2:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 wurstmeister/kafka
  • -d设置后台运行
  • --name 指定容器别名
  • -p 2181:2181绑定容器端口到宿主端口
  • -e参数可以设置docker容器内环境变量:
    • KAFKA_BROKER_ID=0 在kafka集群中,每个kafka都有一个BROKER_ID来区分自己
    • KAFKA_ZOOKEEPER_CONNECT={host-ip}:{zookeeper-port}/kafka 配置zookeeper管理kafka的路径
    • KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://{host-ip}:9092 把kafka的地址端口注册给zookeeper
    • KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 kafka监听地址

如果失败了则删除镜像重新上传,删除的shell语句为:

powershell 复制代码
docker rm kafka

测试kafka生产和消费

查看镜像信息及地址;

powershell 复制代码
docker inspect --format='{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq) | sed 's#^/##'


生产测试消息

powershell 复制代码
echo "test-message" | docker exec -i kafka /opt/kafka/bin/kafka-console-producer.sh \
  --broker-list 172.17.0.3:9092 \
  --topic test-topic

消费测试消息

powershell 复制代码
docker exec kafka /opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server 172.17.0.3:9092 \
  --topic test-topic \
  --from-beginning
相关推荐
东风微鸣2 分钟前
ArgoCD:我的GitOps探索之旅与未来展望
docker·云原生·kubernetes·可观察性
小指纹14 分钟前
河南萌新联赛2025第(三)场:河南理工大学【补题】
数据结构·c++·算法·macos·ios·objective-c·cocoa
许野平1 小时前
Rust: 获取 MAC 地址方法大全
开发语言·macos·rust·mac
Adorable老犀牛6 小时前
DockerFile文件执行docker bulid自动构建镜像
运维·docker·容器
掘根8 小时前
【MySQL集群架构与实践5】使用Docker实现水平分片
mysql·docker·架构
程序视点9 小时前
Windows桌面美化神器MyDockFinder:让你的电脑瞬间拥有macOS风格界面
windows·macos·mac
yuanzhengme10 小时前
Shell【脚本 02】离线安装配置Zookeeper及Kafka并添加service服务和开机启动(脚本分析)
linux·zookeeper·kafka·自动化·安装脚本
潘多编程10 小时前
云原生三剑客:Kubernetes + Docker + Spring Cloud 实战指南与深度整合
docker·云原生·kubernetes
sakoba11 小时前
Docker学习其二(容器卷,Docker网络,Compose)
运维·网络·学习·docker·容器·基础
黄雪超12 小时前
Kafka——关于Kafka动态配置
大数据·分布式·kafka