Kafka【命令行操作】

Kafka 命令行操作

Kafka 主要包括三大部分:生产者、主题分区节点、消费者。

1、Topic 命令行操作

也就是我们 kafka 下的脚本 kafka-topics.sh 的相关操作。

常用命令行操作

|-----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |
| --create | 创建主题。 |
| --delete | 删除主题。 |
| --alter | 修改主题。 |
| --list | 查看所有主题。 |
| --describe | 查看主题详细描述。 |
| --partitions <Integer: # of partitions> | 设置分区数。 |
| --replication-factor<Integer: replication factor> | 设置分区副本。 |
| --config <String: name=value> | 更新系统默认的配置。 |

查看当前一共有多少个 topic:

我们测试环境下一般只通过一台节点连接,但是生产环境下可以在 hadoop102:9092 后面加个逗号,再跟一个 hadoop103:9092 。

bash 复制代码
kafka-topics.sh --bootstrap-server hadoop102:9092 --list

创建 topic :

创建一个 点赞 的主题,必须指定分区和副本才能创建成功,这里我们指定分区数和副本数分别为 1 和 3 。

bash 复制代码
kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --create --partitions 1 --replication-factor 3

查看主题详细信息:

bash 复制代码
kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --describe

运行结果:

bash 复制代码
Topic: like	TopicId: 2RDnQulpR_K1FSmLVIKMlw	PartitionCount: 1	ReplicationFactor: 3	Configs: 
	Topic: like	Partition: 0	Leader: 2	Replicas: 2,1,0	Isr: 2,1,0

可以看到副本分别位于 2,1,0, 也就是我们之前安装时指定的 broker.id 这个参数。leader:2 表示 leader 节点的 broker.id = 2 ,也就是我们的 hadoop104 节点。

修改 like 主题的分区数:

修改分区数为 3(原本是 1)。

bash 复制代码
kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --alter  --partitions 3

修改结果:

bash 复制代码
Topic: like	TopicId: 2RDnQulpR_K1FSmLVIKMlw	PartitionCount: 3	ReplicationFactor: 3	Configs: 
	Topic: like	Partition: 0	Leader: 2	Replicas: 2,1,0	Isr: 2,1,0
	Topic: like	Partition: 1	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2
	Topic: like	Partition: 2	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
注意:

分区数只能增加不能减少!副本也不能通过命令行减少。

删除 topic like

bash 复制代码
kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --delete

2、生产者命令行操作

也就是我们 kafka 下的脚本 kafka-console-producer.sh 的相关操作。

常用命令式行

|----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |

生产消息

bash 复制代码
kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic like
> 消息1
> 消息2
> ...

3、消费者命令行操作

常用命令行

|----------------------------------------------------|--------------------------|
| 参数 | 描述 |
| --bootstrap-server <String: server toconnect to> | 连接的Kafka Broker主机名称和端口号。 |
| --topic <String: topic> | 操作的topic名称。 |

|---------------------------------------|-----------|
| --from-beginning | 从头开始消费。 |
| --group <String: consumer group id> | 指定消费者组名称。 |

消费消息

bash 复制代码
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic like

把主题中所有数据读取出来(所有历史数据)

bash 复制代码
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

注意:慎用,可能会把已经处理过的消息又处理一遍。

相关推荐
AI_Auto1 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网1 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
用户36105886261218 小时前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
黑十18 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend19 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend20 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司20 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥21 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox1 天前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台1 天前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据