2023_Spark_实验二十三:Kafka的安装与基本操作

Kafka的安装与基本操作

一、前提工作

二、Kafka安装

三、Kafka基本操作

一、前提工作

必须安装了zookeeper

单机可参考:zookeeper单机安装与配置

集群可参考:zookeeper的集群安装

二、Kafka安装

上传kafka_2.11-2.4.1.tgz到/tools目录下

解压安装到/opt/soft_installed/目录下

bash 复制代码
tar -zvxf kafka_2.11-2.4.1.tgz -C /opt/soft_installed

配置环境变量并让环境变量生效

执行:vi ~/.bash_profile 命令,添加如下信息并保存退出:

bash 复制代码
# 配置kafka集群
export KAFKA_HOME=/opt/soft_installed/kafka_2.11-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

环境变量执行生效

bash 复制代码
source ~/.bashrc

创建用于存放kafka的log目录

bash 复制代码
mkdir -p /opt/soft_installed/kafka_2.11-2.4.1/kafka-logs

配置server.properties(文件在kafka安装路径下的config目录中)

配置:vi server.properties

bash 复制代码
listeners=PLAINTEXT://node1:9092
log.dirs=/opt/soft_installed/kafka_2.11-2.4.1/kafka-logs
zookeeper.connect=node1:2181

启动kafka(先需要启动zookeeper)

bash 复制代码
# 启动zookeeper
/opt/soft_installed/zookeeper-3.4.5/bin/zkServer.sh start

# 启动kafka
kafka-server-start.sh /opt/soft_installed/kafka_2.11-2.4.1/config

验证Kafka是否成功启动

查看9092端口是否已经启动:

bash 复制代码
netstat -anop|grep 9092

或者执行:jps,查看是否有kafka进程存在

三、Kafka基本操作

创建主题topic,如test

bash 复制代码
kafka-topics.sh --create --zookeeper node1:2181 --replication-factor 1 --partitions 1 --topic test

启动控制台生产者(需要另外打开一个终端)

bash 复制代码
kafka-console-producer.sh --broker-list node1:9092 --topic test

启动控制台消费者(需要另外打开一个终端)

bash 复制代码
kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning

测试

在生产者所在的终端中输入一些文字,如:我爱北京天安门,天安上太阳升。 i love beijing i love guizhou i love spark,按回车键

在消费者终端可以看到

查看进程,jps可以看到

查看下此时zookeeper中生成了哪些内容,执行:zkCli.sh

bash 复制代码
zkCli.sh
相关推荐
SeaTunnel7 分钟前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
时序数据说38 分钟前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
大数据CLUB3 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化
格调UI成品3 小时前
预警系统安全体系构建:数据加密、权限分级与误报过滤方案
大数据·运维·网络·数据库·安全·预警
reddingtons6 小时前
Adobe Firefly AI驱动设计:实用技巧与创新思维路径
大数据·人工智能·adobe·illustrator·photoshop·premiere·indesign
G皮T7 小时前
【Elasticsearch】全文检索 & 组合检索
大数据·elasticsearch·搜索引擎·全文检索·match·query·组合检索
Cachel wood9 天前
Spark教程6:Spark 底层执行原理详解
大数据·数据库·分布式·计算机网络·spark
Sally璐璐9 天前
数据标注工具详解
大数据·ai
找不到、了9 天前
kafka消费的模式及消息积压处理方案
java·kafka
云宏信息10 天前
金融vmware替换过程中关于利旧纳管、迁移、数据安全容灾备份、成本及案例|金融行业数字化QA合集④
大数据·运维·服务器·科技·金融·云计算