kafka命令行操作

kafka命令行操作:

配置环境变量:

bash 复制代码
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
export PATH=$PATH:${JAVA_PATH}


#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

安装jps:

yum install -y java-1.8.0-openjdk-devel.x86_64

查看jps命令是否存在

which jps

启动zookeeper:

cd bin

zk.sh start

启动kafka

root@hadoop100 \~# systemctl stop firewalld

root@hadoop100 \~# cd /opt/module/kafka

root@hadoop100 kafka# cd bin/

root@hadoop100 bin# kafka.sh start

下述命令都在linux根目录下执行:

查看当前服务器中的所有 topic

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --list

创建 first topic:

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --create --partitions 1 --replication-factor 3

查看 first 主题的详情:

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --describe

修改分区数(注意:分区数只能增加,不能减少):

/opt/module/kafka/bin/kafka-topics.sh --bootstrap-server hadoop100:9092 --topic first --alter --partitions 3

不能通过命令行的方式修改副本

生产者命令行操作 1)查看操作生产者命令参数

atguigu@hadoop102 kafka$ bin/kafka-console-producer.sh

生产者链接服务器并发送一条数据:

/opt/module/kafka/bin/kafka-console-producer.sh --bootstrap-server hadoop100:9092 --topic first

问题来了,怎么判断这一条数据有没有发送成功?

在虚拟机hadoop102上面创建一个消费者即可:

/opt/module/kafka/bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first

查看历史所有生产者发生的数据:

相关推荐
飞奔的瓜牛13 小时前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
qq_452396236 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字3227 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_452396238 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户3610588626129 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka
空奈qwq9 天前
【Kafka 从入门到实战】从手写一个队列到生产级消息中间件:架构、分区、消费组、零拷贝全解析
分布式·架构·kafka
用户36105886261211 天前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
知识搬运临时工12 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
一条泥憨鱼12 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq