二、Kafka快速入门

目录

2.1 安装部署

1、【单机部署】

1、下载并上传到nginx服务器

官网:http://kafka.apache.org/downloads.html

2、解压安装包

sh 复制代码
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

3、修改解压后的文件名称

sh 复制代码
 mv kafka_2.12-3.0.0/ kafka

4、进入到/mysoft/kafka/config 目录,修改配置文件

sh 复制代码
vim server.properties

本地做的修改主要是:

broker.id=1

delete.topic.enable=true

log.dirs=/soft/kafka/logs

zookeeper.connect=192.168.239.11:2181/kafka

配置文件各个配置意义:

5、启动单节点

先启动zookeeper 节点

启动kafka

sh 复制代码
./kafka-server-start.sh -daemon ../config/server.properties

6、查看kafka有没有正常启动: jps

7、配置kafka的环境变量

1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置

sh 复制代码
sudo vim /etc/profile.d/my_env.sh

增加如下内容

sh 复制代码
#KAFKA_HOME
export KAFKA_HOME=/mysoft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

2)刷新一下环境变量。

sh 复制代码
 source /etc/profile

2、【集群部署】

2.2 Kafka命令行操作

1、查看topic相关命令参数

sh 复制代码
bin/kafka-topics.sh

2、查看当前kafka服务器中的所有Topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --list

3、创建 first topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --create --partitions 1 --replication-factor 1 --topic first

4、查看 first 主题的详情

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --describe --topic first

5、修改分区数(注意:分区数只能增加,不能减少)

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --alter --topic first --partitions 3

6、删除 topic

sh 复制代码
 bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --delete --topic first

7、生产者发送消息

sh 复制代码
bin/kafka-console-producer.sh --bootstrap-server 192.168.239.11:9092 --topic first

8、消费者消费消息

消费 first 主题中的数据

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first

把主题中所有的数据都读取出来(包括历史数据)。

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first  --from-beginning
相关推荐
{⌐■_■}10 小时前
【Kafka】登录日志处理的三次阶梯式优化实践:从同步写入到Kafka多分区批处理
数据库·分布式·mysql·kafka·go
CodeWithMe11 小时前
【Note】《Kafka: The Definitive Guide》 第九章:Kafka 管理与运维实战
运维·分布式·kafka
sql2008help11 小时前
1-Kafka介绍及常见应用场景
分布式·kafka
vivo互联网技术21 小时前
vivo Pulsar 万亿级消息处理实践(3)-KoP指标异常修复
java·大数据·服务器·后端·kafka·消息队列·pulsar
Haoea!1 天前
Flink-05学习 接上节,将FlinkJedisPoolConfig 从Kafka写入Redis
学习·flink·kafka
搬砖天才、1 天前
kafka集群安装
分布式·kafka
即将雄起的运维玩家2 天前
kafka-kraft+SASL版本升级3.7.0-->3.9.1
分布式·kafka
sql2008help2 天前
5-Kafka-replication(副本机制)概念
分布式·kafka
CodeWithMe3 天前
【Note】《Kafka: The Definitive Guide》 第5章:深入 Kafka 内部结构,理解分布式日志系统的核心奥秘
分布式·kafka