Kafka的安装与基本操作
一、前提工作
二、Kafka安装
三、Kafka基本操作
一、前提工作
必须安装了zookeeper
单机可参考:zookeeper单机安装与配置
集群可参考:zookeeper的集群安装
二、Kafka安装
上传kafka_2.11-2.4.1.tgz到/tools目录下
解压安装到/opt/soft_installed/目录下
            
            
              bash
              
              
            
          
          tar -zvxf kafka_2.11-2.4.1.tgz -C /opt/soft_installed配置环境变量并让环境变量生效
执行:vi ~/.bash_profile 命令,添加如下信息并保存退出:
            
            
              bash
              
              
            
          
          # 配置kafka集群
export KAFKA_HOME=/opt/soft_installed/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin环境变量执行生效
            
            
              bash
              
              
            
          
          source ~/.bashrc创建用于存放kafka的log目录
            
            
              bash
              
              
            
          
          mkdir -p /opt/soft_installed/kafka_2.11-2.4.1/kafka-logs配置server.properties(文件在kafka安装路径下的config目录中)
配置:vi server.properties
            
            
              bash
              
              
            
          
          listeners=PLAINTEXT://node1:9092
log.dirs=/opt/soft_installed/kafka_2.11-2.4.1/kafka-logs
zookeeper.connect=node1:2181启动kafka(先需要启动zookeeper)
            
            
              bash
              
              
            
          
          # 启动zookeeper
/opt/soft_installed/zookeeper-3.4.5/bin/zkServer.sh start
# 启动kafka
kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config验证Kafka是否成功启动
查看9092端口是否已经启动:
            
            
              bash
              
              
            
          
          netstat -anop|grep 9092
或者执行:jps,查看是否有kafka进程存在

三、Kafka基本操作
创建主题topic,如test
            
            
              bash
              
              
            
          
          kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test启动控制台生产者(需要另外打开一个终端)
            
            
              bash
              
              
            
          
          kafka-console-producer.sh --broker-list node1:9092 --topic test
启动控制台消费者(需要另外打开一个终端)
            
            
              bash
              
              
            
          
          kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning测试
在生产者所在的终端中输入一些文字,如:我爱北京天安门,天安上太阳升。 i love beijing i love guizhou i love spark,按回车键

在消费者终端可以看到

查看进程,jps可以看到

查看下此时zookeeper中生成了哪些内容,执行:zkCli.sh
            
            
              bash
              
              
            
          
          zkCli.sh
