kafka单机安装

kafka单机安装

下载地址

  1. 官网:https://kafka.apache.org/
  2. 最新版本下载页面:https://kafka.apache.org/downloads

说明

  1. 版本选择:3.0.0,kafka_2.12-3.0.0.tgz
  2. 下载地址:https://archive.apache.org/dist/kafka/3.0.0/kafka_2.12-3.0.0.tgz

安装前准备

  1. 安装环境:linux,centos7
  2. 安装java环境,参考:linux安装java -centos安装java -linux配置java环境变量
  3. 安装zookeeper集群,参考:zookeeper集群安装

单机安装

  1. 复制下载的安装包到Linux服务器,安装包名:kafka_2.12-3.0.0.tgz

  2. 进入到安装包所在路径,将安装包解压到指定目录

    shell 复制代码
    tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/
  3. 重命名,将kafka_2.12-3.0.0重命名为kafka

    shell 复制代码
    cd /opt/module
    mv kafka_2.12-3.0.0/ kafka
  4. 修改配置文件config/server.properties

    1. broker.id是唯一标识,如果是集群安装,集群内不能重复

      properties 复制代码
      broker.id=0
    2. log.dirs是kafka存储数据路径,默认路径为:/tmp/kafka-logs,调整到kafka根目录下

      properties 复制代码
      log.dirs=/opt/module/kafka/datas
    3. zookeeper.connect是zookeeper连接地址,调整为集群模式

      properties 复制代码
      zookeeper.connect=192.168.145.132:2181,192.168.145.133:2181,192.168.145.134:2181/kafka

      连接地址后面拼接/kafka节点,用来存储kafka相关的信息,避免zookeeper信息混乱

      安装zookeeper集群,参考:zookeeper集群安装

    4. listeners默认不需要配置,有缺省配置,必要时应手动指定,下面的描述信息

      properties 复制代码
      # The address the socket server listens on. It will get the value returned from 
      # java.net.InetAddress.getCanonicalHostName() if not configured.
      #   FORMAT:
      #     listeners = listener_name://host_name:port
      #   EXAMPLE:
      #     listeners = PLAINTEXT://your.host.name:9092
      #listeners=PLAINTEXT://:9092

      java.net.InetAddress.getCanonicalHostName()获取的信息可能不是我们想要的,需要手动配置

      properties 复制代码
      listeners=PLAINTEXT://192.168.145.132:9092
    5. advertised.listeners默认不需要配置,有缺省配置,必要时应手动指定,下面的描述信息

      properties 复制代码
      # Hostname and port the broker will advertise to producers and consumers. If not set, 
      # it uses the value for "listeners" if configured.  Otherwise, it will use the value
      # returned from java.net.InetAddress.getCanonicalHostName().
      #advertised.listeners=PLAINTEXT://your.host.name:9092
  5. 配置环境变量/etc/profile.d/my_env.sh

    properties 复制代码
    KAFKA_HOME=/opt/module/kafka
    PATH=$PATH:$KAFKA_HOME/bin
    export KAFKA_HOME PATH

    使配置生效

    shell 复制代码
    source /etc/profile

启动kafka服务端

  1. 先启动zookeeper集群,在每个服务器中,分别启动zookeeper

    shell 复制代码
    cd /opt/module/zookeeper-3.5.7/bin
    ./zkServer.sh start

    安装zookeeper集群,参考:zookeeper集群安装

  2. 启动kafka

    shell 复制代码
    cd /opt/module/kafka/bin
    ./kafka-server-start.sh -daemon ../config/server.properties

    启动kafka需要指定配置文件

  3. 停止kafka

    shell 复制代码
    cd /opt/module/kafka/bin
    ./kafka-server-stop.sh

    注意:先停止kafka,再停止zookeeper

相关推荐
信徒_31 分钟前
Kafka topic 中的 partition 数据倾斜问题
分布式·kafka
Paraverse_徐志斌31 分钟前
Kafka 如何保证消息顺序性
分布式·中间件·kafka·消息队列
杨不易呀39 分钟前
Java面试全记录:Spring Cloud+Kafka+Redis实战解析
redis·spring cloud·微服务·kafka·高并发·java面试·面试技巧
我叫珂蛋儿吖2 小时前
[redis进阶六]详解redis作为缓存&&分布式锁
运维·c语言·数据库·c++·redis·分布式·缓存
椰椰椰耶4 小时前
【RabbitMQ】工作队列和发布/订阅模式的具体实现
分布式·rabbitmq·ruby
猪猪果泡酒4 小时前
Spark,RDD中的行动算子
大数据·分布式·spark
2401_871290585 小时前
Spark处理过程-转换算子
大数据·分布式·spark
Betty_蹄蹄boo5 小时前
运行Spark程序-在Spark-shell——RDD
大数据·分布式·spark
堕落年代5 小时前
SpringBoot的单体和分布式的任务架构
spring boot·分布式·架构
爱吃香菜---www5 小时前
spark-cache模式
大数据·分布式·spark