kafka常用命名

  • kafka服务启动

    $KAFKA_HOME/bin/kafka-server-start.sh -daemon config/server.properties

  • 创建Topic

    $KAFKA_HOME/bin/kafka-topics.sh --create --topic test0--zookeeper 127.0.0.1:2181 --config max.message.bytes=12800000 --config flush.messages=1 --partitions 5 --replication-factor 1
    --topic后面的test0是topic的名称--zookeeper应该和server.properties文件中的zookeeper.connect一样--config指定当前topic上有效的参数值--partitions指定topic的partition数量,如果不指定该数量,默认是server.properties文件中的num.partitions配置值--replication-factor指定每个partition的副本个数,默认1个

  • 列出所有Topic

    $KAFKA_HOME/bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181

  • 查看Topic的分区和副本

    $KAFKA_HOME/bin/kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test0

  • 删除topic

    #删除kafka的topic命令$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper 127.0.0.1:2181 --topic test0#删除zookeeper中该topic相关的目录命令:rm -r /kafka/config/topics/test0rm -r /kafka/brokers/topics/test0

  • 查看topic消费的offset(偏移量)

$KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 127.0.0.1:9092 --topic test0 --time -1
  • 修改topic的partition数量(只能增加不能减少)

    $KAFKA_HOME/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group testgroup --topic test0 --zookeeper 127.0.0.1:2181

  • 启动kafka生产者

    $KAFKA_HOME/bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test0

  • 启动kafka消费者

    #从头开始KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --from-beginning#从尾部开始KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest#指定分区KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1#取指定个数KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test0 --offset latest --partition 1 --max-messages 1

  • 查看有哪些消费者Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list

  • 查看Group详情

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --describe

  • 删除Group

    $KAFKA_HOME/bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group test --delete

相关推荐
cndes30 分钟前
大数据算法的思维
大数据·算法·支持向量机
青云交1 小时前
大数据新视界 --大数据大厂之 Kafka 性能优化的进阶之道:应对海量数据的高效传输
大数据·数据库·人工智能·性能优化·kafka·数据压缩·分区策略·磁盘 i/o
奔跑吧邓邓子9 小时前
大数据利器Hadoop:从基础到实战,一篇文章掌握大数据处理精髓!
大数据·hadoop·分布式
说私域10 小时前
基于定制开发与2+1链动模式的商城小程序搭建策略
大数据·小程序
hengzhepa11 小时前
ElasticSearch备考 -- Async search
大数据·学习·elasticsearch·搜索引擎·es
GZ_TOGOGO12 小时前
【2024最新】华为HCIE认证考试流程
大数据·人工智能·网络协议·网络安全·华为
狼头长啸李树身14 小时前
眼儿媚·秋雨绵绵窗暗暗
大数据·网络·服务发现·媒体
Json_1817901448015 小时前
商品详情接口使用方法和对接流程如下
大数据·json
Data 31715 小时前
Hive数仓操作(十七)
大数据·数据库·数据仓库·hive·hadoop
bubble小拾19 小时前
ElasticSearch高级功能详解与读写性能调优
大数据·elasticsearch·搜索引擎