【大数据学习 | kafka】kafka的shell操作

1. topic的管理命令( kafka-topics.sh**)**

参数如下:

1.1 创建

sql 复制代码
# 创建
kafka-topics.sh --bootstrap-server nn1:9092 --create --topic topic_a --partitions 3 --replication-factor 2
# --bootstrap-server 指定集群地址,因为每个节点都存在controller所以想要获取元数据只需要指定集群中的一台机器就行了
# --create是创建命令
# --topic 指定topic的名称
# --partitions 分区数量,分区数量没有限定
# --replication-factor 副本数量,副本数量必须小于等集群的机器的个数,因为一个节点上面不能存在多个副本

1.2 查看 list

bash 复制代码
# list查看所有topic
kafka-topics.sh --bootstrap-server nn1:9092 --list

1.3 描述 desc

bash 复制代码
# 描述 desc
kafka-topics.sh --bootstrap-server nn1:9092 --describe --topic topic_a

describe命令展示的topic信息如下:

bash 复制代码
topic名称
topic_id随机id
partition_count 分区数量
replicationFactor 副本数量
Topic: topic_a  Partition: 0    Leader: 1       Replicas: 1,2   Isr: 1,2
内容解释:topic_a,0号分区在,leader分区在brokerid为1的broker上面,副本在brokerid为1和2两个节点上面
isr是数据的备份情况,先进broker1然后进入到broker2

1.4 删除 delete

bash 复制代码
# 删除
kafka-topics.sh --bootstrap-server nn1:9092 --delete --topic topic_a

1.5 修改 alter

bash 复制代码
# 重新创建
kafka-topics.sh --bootstrap-server nn1:9092 --create --topic topic_a --partitions 3 --replication-factor 2
# alter修改topic
kafka-topics.sh --bootstrap-server nn1:9092 --alter --topic topic_a --partitions 2
# 分区数量不能减少只能增加,减少分区会使得数据丢失
kafka-topics.sh --bootstrap-server nn1:9092 --alter --topic topic_a --partitions 4
bash 复制代码
# 修改副本数据
# 在创建完毕的topic以后,我们在使用的时候可能会遇见,副本不足的情况,这个时候我们可以动态增加topic的副本数量,但是增加的副本数量要在原有的基础上进行增加
# 首先我们创建一个json文件,用于支配topic的分区副本和节点的对应关系
vim json.txt
# 以原有分区分配的策略基础之上做二次变化
{"partitions":[{"topic":"topic_a","partition":0,"replicas":[4,3,2]},{"topic":"topic_a","partition":1,"replicas":[1,0,2]},{"topic":"topic_a","partition":2,"replicas":[2,4,0]},{"topic":"topic_a","partition":3,"replicas":[2,3,1]}],"version":1}
# 执行重新分配命令
kafka-reassign-partitions.sh --bootstrap-server nn1:9092 --reassignment-json-file json.txt --execute

2. 数据的生产消费命令( kafka-console-producer.sh**)**

bash 复制代码
# 生产者命令
kafka-console-producer.sh --bootstrap-server nn1:9092 --topic topic_a
# 消费者命令 --from-beginning 从头消费数据 --partition 指定分区消费
kafka-console-consumer.sh --bootstrap-server nn1:9092 --topic topic_a
bash 复制代码
# 指定分区,并且消费历史数据
kafka-console-consumer.sh --bootstrap-server nn1:9092 --topic topic_a  --from-beginning --partition 2
相关推荐
万米商云37 分钟前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
BigData共享1 小时前
极致性能背后的黑科技?这个世上没有“银弹”!(三)
大数据
阿里云大数据AI技术1 小时前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
y_y_liang1 小时前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
王小王-1231 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
艾莉丝努力练剑1 小时前
【C语言】学习过程教训与经验杂谈:思想准备、知识回顾(三)
c语言·开发语言·数据结构·学习·算法
沐尘而生1 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
ZZZS05161 小时前
stack栈练习
c++·笔记·学习·算法·动态规划
贝格前端工场2 小时前
小程序订阅消息设计:用户触达与隐私保护的平衡法则
大数据·小程序
sql2008help2 小时前
5-Kafka-replication(副本机制)概念
分布式·kafka