kafka命令行操作

kafka命令行操作:

配置环境变量:

bash 复制代码
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}


#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

安装jps:

yum install -y java-1.8.0-openjdk-devel.x86_64

查看jps命令是否存在

which jps

启动zookeeper:

cd bin

zk.sh start

启动kafka

[root@hadoop100 ~]# systemctl stop firewalld

[root@hadoop100 ~]# cd /opt/module/kafka

[root@hadoop100 kafka]# cd bin/

[root@hadoop100 bin]# kafka.sh start

下述命令都在linux根目录下执行:

查看当前服务器中的所有 topic

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --list

创建 first topic:

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --create --partitions 1 --replication-factor 3

查看 first 主题的详情:

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --describe

修改分区数(注意:分区数只能增加,不能减少):

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --alter --partitions 3

不能通过命令行的方式修改副本

生产者命令行操作 1)查看操作生产者命令参数

[atguigu@hadoop102 kafka]$ bin/kafka-console-producer.sh

生产者链接服务器并发送一条数据:

/opt/module/kafka/bin/kafka-console-producer.sh --bootstrap-server hadoop100:9092 --topic first

问题来了,怎么判断这一条数据有没有发送成功?

在虚拟机hadoop102上面创建一个消费者即可:

/opt/module/kafka/bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

查看历史所有生产者发生的数据:

相关推荐
qq_5470261798 小时前
Kafka 常见问题
kafka
core5128 小时前
flink sink kafka
flink·kafka·sink
飞来又飞去10 小时前
kafka sasl和acl之间的关系
分布式·kafka
张伯毅15 小时前
Flink SQL 支持 kafka 开启 kerberos 权限控制.
sql·flink·kafka
darkdragonking18 小时前
OpenEuler 22.03 不依赖zookeeper安装 kafka 3.3.2集群
kafka
saynaihe1 天前
安全地使用 Docker 和 Systemctl 部署 Kafka 的综合指南
运维·安全·docker·容器·kafka
隔着天花板看星星1 天前
Spark-Streaming集成Kafka
大数据·分布式·中间件·spark·kafka
太阳伞下的阿呆2 天前
kafka常用命令(持续更新)
分布式·kafka
BUTCHER52 天前
Kafka安装篇
分布式·kafka
若雨叶2 天前
Kafka实现监听多个topic
分布式·kafka