基于Hadoop平台的电信客服数据的处理与分析③项目开发:搭建Kafka大数据运算环境---任务12:安装Kafka

任务描述

任务内容为安装和配置Kafka集群。

任务指导

Kafka是大数据生态圈中常用的消息队列框架

具体安装步骤如下:

  1. 解压缩Kafka的压缩包

  2. 配置Kafka的环境变量

  3. 修改Kafka的配置文件,Kafka的配置文件存放在Kafka安装目录下的config中

  4. 验证Kafka

任务实现

1、解压Kafka

在【master1】上解压缩包

复制代码
[root@master1 ~]# cd /opt/software
[root@master1 software]# tar -xzf kafka_2.12-2.4.1.tgz -C /opt/app/

2、在【master1】编辑系统环境变量/etc/profile

复制代码
[root@master1 ~]# vi /etc/profile

在文件末尾添加如下配置

复制代码
export KAFKA_HOME=/opt/app/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

执行【source /etc/profile】重新加载环境变量

3、配置Kafka

为Kafka创建数据目录

复制代码
[root@master1 ~]# source /etc/profile
[root@master1 ~]# cd $KAFKA_HOME
[root@master1 kafka_2.12-2.4.1]# mkdir kafka-logs

然后打开config目录下的server.properties文件,修改日志目录为刚刚创建的目录:

复制代码
[root@master1 kafka_2.12-2.4.1]# cd $KAFKA_HOME/config
[root@master1 config]# vi server.properties

修改如下配置的值,其中broker.id的值需要保证在整个集群中是唯一的

复制代码
broker.id=1
listeners=PLAINTEXT://master1:9092
log.dirs=/opt/app/kafka_2.12-2.4.1/kafka-logs
zookeeper.connect=master1:2181,slave1:2181,slave2:2181

在【master1】启动Kafka的后台守护进程

复制代码
[root@master1 ~]# kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

4、验证Kafka

1)创建topic,创建名为test的topic,分区数1,副本1

复制代码
[root@master1 ~]# kafka-topics.sh --create --zookeeper master1:2181,slave1:2181,slave2:2181 --replication-factor 1 --partitions 1 --topic test

2)查看topic的状态

复制代码
[root@master1 ~]# kafka-topics.sh --describe --zookeeper master1:2181,slave1:2181,slave2:2181 --topic test

3)在【master1】开启一个生产者发送消息

复制代码
[root@master1 ~]# kafka-console-producer.sh --broker-list master1:9092 --topic test

4)在【master1】再打开一个消费者消费消息

复制代码
[root@master1 ~]# kafka-console-consumer.sh --bootstrap-server master1:9092 --from-beginning --topic test

参数from-beginning表示从第一条消息开始读取

相关推荐
IvanCodes10 分钟前
PySpark 安装教程及 WordCount 实战与任务提交
大数据·python·spark·conda
Hello.Reader38 分钟前
Flink 有状态与时间敏感流处理从 Concepts 到 API 实战
大数据·flink
人大博士的交易之路40 分钟前
龙虎榜——20250929
大数据·数据挖掘·数据分析·缠论·龙虎榜·道琼斯结构
AutoMQ1 小时前
产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服
大数据·云原生·云计算
Elastic 中国社区官方博客2 小时前
如何在 vscode 里配置 MCP 并连接到 Elasticsearch
大数据·人工智能·vscode·elasticsearch·搜索引擎·ai·mcp
王嘉俊9253 小时前
Kafka 和 RabbitMQ 使用:消息队列的强大工具
java·分布式·中间件·kafka·消息队列·rabbitmq·springboot
cominglately3 小时前
kafka和rocketmq的副本机制区别: isr 主从模式,Dledger模式
分布式·kafka·rocketmq
qyt19885203 小时前
关于队列的比较(Kafka、RocketMQ、RabbitMQ)
kafka·rabbitmq·rocketmq
计算机毕设残哥4 小时前
紧跟大数据技术趋势:食物口味分析系统Spark SQL+HDFS最新架构实现
大数据·hadoop·python·sql·hdfs·架构·spark
CDA数据分析师干货分享5 小时前
【CDA干货】Excel 的 16类常用函数之计算统计类函数
大数据·数据挖掘·数据分析·excel·cda证书·cda数据分析师