【Linux】Docker安装kafka教程（超详细保姆篇）

文章目录

• 安装
• • 1.安装Zookeeper
  • 2.安装kafka
  • 3.创建zookeeper容器
  • 4.创建kafka容器
  • 5.测试kafka
  • [6.退出bash shell](#6.退出bash shell)
• Zookeeper服务启动
• • 1.首先找到Zookeeper安装路径
  • [2.执行./zkServer.sh start](#2.执行./zkServer.sh start)
  • 3.查看运行状态
  • 3.集群配置(可不阅)
• kafka服务启动
• • 1.进入kafka的config目录
  • 2.修改server.properties
  • [3.执行kafka-server-start.sh 命令](#3.执行kafka-server-start.sh 命令)
  • 4.测试zookeeper跟kafka是否启动成功
• 生产消费示例（可不阅）
• • 1.到kafka的bin目录下创建一个主题
  • • kafka启动成功但是无法连接zookeeper解决
  • 2.启动一个生产者，指定topic为刚刚创建的主题mykafka
  • 3.重新打开一个连接页面到bin目录下启动一个消费者

更多相关内容可查看

注：本篇默认已有服务器或虚拟机，并已安装Docker

若虚安装Docker请移步【CentOS7】Linux安装Docker教程（保姆篇）

安装

1.安装Zookeeper

在 Apache Kafka 中，ZooKeeper 主要用于以下几个方面：

• 保存和管理 Kafka 集群的元数据信息。例如，Kafka 集群中的 Broker 信息、Topic 和 Partition
  的信息、Consumer 的偏移量信息等。
• Kafka 集群的选举服务。当 Kafka 集群中的某个或某些 Broker 宕机时，ZooKeeper 可以协助 Kafka
  集群选举出新的 Leader Broker。
• Kafka 集群的状态监控。ZooKeeper 可以监控 Kafka 集群中各个 Broker 的在线状态，并及时通知 Kafka
  集群进行相应的处理。

因此，如果你要在 Docker 中运行 Kafka，你也需要运行 ZooKeeper。

docker pull wurstmeister/zookeeper

安装成功效果图

2.安装kafka

docker pull wurstmeister/kafka

成功效果图

3.创建zookeeper容器

docker run -d --name zookeeper -p 2181 -t wurstmeister/zookeeper

成功效果图

4.创建kafka容器

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=127.0.0.1 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

成功效果图

5.测试kafka

docker exec -it kafka /bin/bash

解析命令：

• docker exec：这是Docker的一个命令，用于在运行的Docker容器中执行命令。
• -it：这是两个选项的组合。-i 选项让Docker的输入保持打开，-t 选项让Docker分配一个伪终端（pseudo-tty）。
• kafka：这是你要在其中执行命令的Docker容器的名称。
• /bin/bash：这是你要在Docker容器中执行的命令。在这个例子中，你是在打开一个bash shell。

成功效果图

6.退出bash shell

exit

成功效果图

Zookeeper服务启动

1.首先找到Zookeeper安装路径

find / -name kafka-topics.sh

成功效果图

2.执行./zkServer.sh start

如果出现最后一行则表示启动成功，但是会发现找不到zoo.cfg文件，如果不报这个可以直接跳过

./zkServer.sh start

成功效果图

进入安装zookeeper的config文件

cd /var/lib/docker/overlay2/80f2f1635bed9db5db5e5697053485db509c413aef6a5a6a3264330a7f53e8b4/diff/opt/zookeeper-3.4.13/conf/

将里面的zoo_xxx.cfg文件更名为zoo.cfg就可以了，当然也可以去改启动文件这里就不详细展开了

可看以下最后启动成功效果图

3.查看运行状态

该状态显示：以standalone模式运行。standalone模式意味着你只运行了一个Zookeeper服务器实例，而不是一个Zookeeper集群

./zkServer.sh status

3.集群配置(可不阅)

如果你需要运行一个Zookeeper集群，你需要在zoo.cfg配置文件中添加更多的server.X参数，并且为每个Zookeeper服务器实例指定一个唯一的ID。

然而，如果你只是在本地进行测试或者开发，standalone模式应该就足够了。现在你可以开始启动你的Kafka服务了。

kafka服务启动

1.进入kafka的config目录

如果不知道自己的kafka的安装路径,执行以下命令查找

find / -name kafka-topics.sh

成功效果图

进入到你查出来的kafka-topics.sh路径的上一个bin路径在进入config目录

cd /var/lib/docker/overlay2/8244efe326332818bd6b780a6333a2af67b2731cf32ded8a9e72f2179c7bb7d6/diff/opt/kafka_2.13-2.8.1/config
ll

成功效果图

2.修改server.properties

找到config文件下的server.properties并进行修改端口，保存

3.执行kafka-server-start.sh 命令

我这里为了保险起见，用的是kafka-server-start.sh 的全路径，跟server.properties的全路径

/var/lib/docker/overlay2/8244efe326332818bd6b780a6333a2af67b2731cf32ded8a9e72f2179c7bb7d6/diff/opt/kafka_2.13-2.8.1/bin/kafka-server-start.sh /var/lib/docker/overlay2/8244efe326332818bd6b780a6333a2af67b2731cf32ded8a9e72f2179c7bb7d6/diff/opt/kafka_2.13-2.8.1/config/server.properties

成功示例

4.测试zookeeper跟kafka是否启动成功

QuorumPeerMain为zookeeper服务

Kafka为kafka服务

jps

生产消费示例（可不阅）

1.到kafka的bin目录下创建一个主题

./kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic mykafka 
# --create 创建一个主题
# --zookeeper 连接zookeeper
# --replication-factor kafka副本数
# --partitions kafka分区数
# --topic mykafka 主题名称

成功示例

kafka启动成功但是无法连接zookeeper解决

1.进入/etc/hosts 加上最后一行，192.168.x.x zookeeper。代表将将主机名映射到IP地址

2.检查zookeeper连接是否是本地，并重新试一下

2.启动一个生产者，指定topic为刚刚创建的主题mykafka

/kafka-verifiable-producer.sh --broker-list localhost:9092 --topic mykafka 

如果这个命令报找不到kafka-verifiable-producer.sh,但是你发现当前路径有这个kafka-verifiable-producer.sh，那就用全路径重新执行,你的全路径在上文已经find过了

/var/lib/docker/overlay2/8244efe326332818bd6b780a6333a2af67b2731cf32ded8a9e72f2179c7bb7d6/diff/opt/kafka_2.13-2.8.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mykafka

成功示例

3.重新打开一个连接页面到bin目录下启动一个消费者

./kafka-console-consumer.sh --topic mykafka --bootstrap-server 192.xxx.xxx.xxx:9092

以上同理如果找不到则使用全路径

/var/lib/docker/overlay2/8244efe326332818bd6b780a6333a2af67b2731cf32ded8a9e72f2179c7bb7d6/diff/opt/kafka_2.13-2.8.1/bin/kafka-console-consumer.sh --topic mykafka --bootstrap-server 192.168.xxx.xxx:9092

如果配置文件配置的localhost，则使用进行测试

./kafka-console-consumer.sh --topic mykafka --bootstrap-server localhost:9092

成功效果图

生产者

消费者

成功啦！！！！