kafka常用命名

  • kafka服务启动

    $KAFKA_HOME/bin/kafka-server-start.sh -daemon config/server.properties

  • 创建Topic

    $KAFKA_HOME/bin/kafka-topics.sh --create --topic test0--zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1
    --topic后面的test0是topic的名称--zookeeper应该和server.properties文件中的zookeeper.connect一样--config指定当前topic上有效的参数值--partitions指定topic的partition数量,如果不指定该数量,默认是server.properties文件中的num.partitions配置值--replication-factor指定每个partition的副本个数,默认1个

  • 列出所有Topic

    $KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

  • 查看Topic的分区和副本

    $KAFKA_HOME/bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test0

  • 删除topic

    #删除kafka的topic命令$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0#删除zookeeper中该topic相关的目录命令:rm -r /kafka/config/topics/test0rm -r /kafka/brokers/topics/test0

  • 查看topic消费的offset(偏移量)

$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic test0 --time -1
  • 修改topic的partition数量(只能增加不能减少)

    $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group testgroup --topic test0 --zookeeper 127.0.0.1:2181

  • 启动kafka生产者

    $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test0

  • 启动kafka消费者

    #从头开始KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --from-beginning#从尾部开始KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest#指定分区KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1#取指定个数KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1 --max-messages 1

  • 查看有哪些消费者Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list

  • 查看Group详情

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --describe

  • 删除Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --delete

相关推荐
B站计算机毕业设计超人3 小时前
计算机毕业设计Python+DeepSeek-R1大模型期货价格预测分析 期货价格数据分析可视化预测系 统 量化交易大数据 机器学习 深度学习
大数据·python·深度学习·机器学习·网络爬虫·课程设计·数据可视化
爱跨境的笑笑7 小时前
Skype for Business网络延迟怎么办?
大数据·开发语言·网络·tcp/ip·php
数据大包哥7 小时前
Spark RDD持久化机制深度解析
大数据
Python数据分析与机器学习7 小时前
基于Spark的电商供应链系统的设计与实现
大数据·分布式·spark
xiao-xiang8 小时前
kafka-关于ISR-概述
分布式·kafka
xiao-xiang9 小时前
kafka-新增topic副本数
分布式·kafka
xiao-xiang9 小时前
kafka-web管理工具cmak
分布式·kafka
不会飞的小龙人9 小时前
Quickwit获取Kafka数据源消息
java·docker·容器·kafka·quickwit
jieshenai9 小时前
基于专利合作地址匹配的数据构建区域协同矩阵
大数据·矩阵·数据分析
码界筑梦坊9 小时前
基于大数据的去哪儿网景区可视化及协同过滤推荐系统
大数据·python·信息可视化·flask·毕业设计