二、Kafka快速入门

目录

2.1 安装部署

1、【单机部署】

1、下载并上传到nginx服务器

官网:http://kafka.apache.org/downloads.html

2、解压安装包

sh 复制代码
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

3、修改解压后的文件名称

sh 复制代码
 mv kafka_2.12-3.0.0/ kafka

4、进入到/mysoft/kafka/config 目录,修改配置文件

sh 复制代码
vim server.properties

本地做的修改主要是:

broker.id=1

delete.topic.enable=true

log.dirs=/soft/kafka/logs

zookeeper.connect=192.168.239.11:2181/kafka

配置文件各个配置意义:

5、启动单节点

先启动zookeeper 节点

启动kafka

sh 复制代码
./kafka-server-start.sh -daemon ../config/server.properties

6、查看kafka有没有正常启动: jps

7、配置kafka的环境变量

1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置

sh 复制代码
sudo vim /etc/profile.d/my_env.sh

增加如下内容

sh 复制代码
#KAFKA_HOME
export KAFKA_HOME=/mysoft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

2)刷新一下环境变量。

sh 复制代码
 source /etc/profile

2、【集群部署】

2.2 Kafka命令行操作

1、查看topic相关命令参数

sh 复制代码
bin/kafka-topics.sh

2、查看当前kafka服务器中的所有Topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --list

3、创建 first topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --create --partitions 1 --replication-factor 1 --topic first

4、查看 first 主题的详情

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --describe --topic first

5、修改分区数(注意:分区数只能增加,不能减少)

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --alter --topic first --partitions 3

6、删除 topic

sh 复制代码
 bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --delete --topic first

7、生产者发送消息

sh 复制代码
bin/kafka-console-producer.sh --bootstrap-server 192.168.239.11:9092 --topic first

8、消费者消费消息

消费 first 主题中的数据

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first

把主题中所有的数据都读取出来(包括历史数据)。

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first  --from-beginning
相关推荐
RestCloud1 天前
Kafka实时数据管道:ETL在流式处理中的应用
数据库·kafka·api
AAA修煤气灶刘哥1 天前
Kafka 入门不踩坑!从概念到搭环境,后端 er 看完就能用
大数据·后端·kafka
若鱼19191 天前
spring-kafka消费异常处理
spring·kafka
若鱼19191 天前
Kafka如何配置生产者拦截器和消费者拦截器
java·kafka
Chasing__Dreams1 天前
kafka--基础知识点--5.3--producer事务
分布式·kafka
Hello.Reader1 天前
Kafka 实现从网络层到日志与位点的“全景拆解”
分布式·kafka
Hello.Reader1 天前
Kafka 运维实战基本操作含命令与最佳实践
运维·kafka·linq
我是苏苏1 天前
KafKa02:Kafka配置文件server.properties介绍
分布式·kafka
在未来等你1 天前
Kafka面试精讲 Day 18:磁盘IO与网络优化
大数据·分布式·面试·kafka·消息队列
zru_96022 天前
Kafka核心概念深入浅出:消费者组(Consumer Group)机制全解析
kafka