docker快速部署kafka

一、创建docker网络

docker network create net

二、部署zookeeper

**注意:**启动zookeeper时，需要加入docker网络,增加 --net net 参数

三、拉取kafka镜像

docker pull wurstmeister/kafka

docker pull wdkang/kafka-console-ui

四、启动kafka

docker run --restart=always --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181/kafka -e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://154.18.222.31:9092 -e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9092 -e ALLOW_PLAINTEXT_LISTENER=yes -e KAFKA_HEAP_OPTS='-Xms512M -Xmx4G' -e KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 -v /etc/localtime:/etc/localtime --net net -d wurstmeister/kafka

注意：KAFKA_ADVERTISED_LISTENERS 参数如果是云服务器，需要填公网ip

五、启动kafka可视化工具

创建如下application.yml配置文件

server:
  port: 7766
  servlet:
    # 不要修改context-path
    context-path: /

kafka:
  config:
    # 如果不存在default集群，启动的时候默认会把这个加载进来(如果这里配置集群地址了)，如果已经存在，则不加载
    # kafka broker地址，多个以逗号分隔，不是必须在这里配置，也可以启动之后，在页面上添加集群信息
    bootstrap-server: kafka:9092
    # 集群其它属性配置
    properties:
#      request.timeout.ms: 5000
    # 缓存连接，不缓存的情况下，每次请求建立连接. 即使每次请求建立连接，其实也很快，某些情况下开启ACL，查询可能很慢，可以设置连接缓存为true，
    # 或者想提高查询速度，也可以设置下面连接缓存为true
    # 缓存 admin client的连接
    cache-admin-connection: false
    # 缓存 producer的连接
    cache-producer-connection: false
    # 缓存 consumer的连接
    cache-consumer-connection: false

spring:
  application:
    name: kafka-console-ui
  # h2 database
  datasource:
    url: jdbc:h2:file:${data.dir:${user.dir}}/data/db/kafka-console
#    url: jdbc:h2:mem:testdb
    driver-class-name: org.h2.Driver
    username: kafka
    password: 1234567890
    schema: classpath:db/schema-h2.sql
#    data: classpath:db/data-h2.sqldata.dir
    initialization-mode: always
  h2:
    console:
      enabled: true
#      settings:
#        web-allow-others: true

logging:
  home: ./

# 基于scram方案的acl，这里会记录创建的用户密码等信息，定时扫描，如果集群中已经不存在这些用户，就把这些信息从db中清除掉
cron:
#  clear-dirty-user: 0 * * * * ?
  clear-dirty-user: 0 0 1 * * ?

# 权限认证设置，设置为true，需要先登录才能访问
auth:
  enable: false
  # 登录用户token的过期时间，单位：小时
  expire-hours: 24
  # 隐藏集群的属性信息，如果当前用户没有集群切换里的编辑权限，就不能看集群的属性信息，有开启ACL的集群需要开启这个
  hide-cluster-property: true
  # 是否启用集群的数据权限，如果启用，可以配置哪些角色看到哪些集群. 不启用，即使配置了也不生效，每个角色的用户都可以看到所有集群信息.
  enable-cluster-authority: false
  # 重新加载权限信息，版本升级替换jar包的时候，新版本里增加了新的权限菜单，这个设置为true.然后在角色列表里分配新增加的菜单权限.
  reload-permission: true
log:
  # 是否打印操作日志（增加、删除、编辑）
  print-controller-log: true

启动

docker run --restart=always -p 7766:7766 --name kafka-console-ui --net net -v /root/application.yml:/app/config/application.yml -v /etc/localtime:/etc/localtime -d wdkang/kafka-console-ui

访问ip:7766，查看结果