一、查看topic

bin/kafka-topics.sh --list --zookeeper node10:2181,node11:2181,node12:2181

二、查看topic状态

bin/kafka-topics.sh --describe --zookeeper node10:2181,node11:2181,node12:2181 --topic TestTopic

三、KAFKA常用配置

1、主题配置

（1）# 新创建的主题包含1个分区num.partitions=1

写入和读取数据的速度是1G/s，一个消费者处理速度50M/s，需要20个分区分别由20个消费者处理速度(吞吐量)1G/s

（2）消息配置

消息可以保留168小时=7天

log.retention.hours=168

消息字节数超过1G就删除

og.retention.bytes=1073741824

5分钟检查一次消息是否过期

log.retention.check.interval.ms=300000

单个消息的最大100M

message.max.bytes=104857600

2、broker配置

（1）broker信息配置

broker配置 broker消息配置

broker.id=0

port=9092

zookeeper.connect=node10:2181,node11:2181,node12:2181

消息保存的磁盘目录

log.dirs=/tmp/kafka-logs

（2）broker消息形式配置

不自动创建topic：生产者写入消息，消费者读取消息，发送元数据请求

auto.create.topics.enable=false

3、集群需要多少个Broker

每个broker可以存储2T数据，如果需要保存10T，则需要5T

4、主题的分区和副本放置策略

（1）broker数

所有broker依次分配主分区,下一个broker分配副本，注意：第一个分区随机放，每个分区副本数不能超过broker个数

（2）broker分配

n个broker，i分区分配到(i % n)broker, 其j副本分配到((i+j) % n)broker

例如：5个broker，0分区到0号broker，3副本到3号broker

5、KAFKA偏移量

auto.offset.reset

（1）设置为earliest

当一个分区被一个消费者组已经提交了offset时，同一消费者组从提交的offset开始消费；无提交的offset时，从头开始消费一个新的消费者组进行消费，从头开始

（2）设置为latest

当一个分区被一个消费者组已经提交了offset时，同一消费者组从提交的offset开始消费；无提交的offset时，消费新产生的该分区下的数据

（3）设置为none

topic各分区都存在已提交的offset时，从offset后开始消费；只要有一个分区不存在已提交的offset，则抛出异常

6、KAFKA分区消费者关系

一个消费者组的消费者消费所有分区，消费者数=分区数（均分），消费者数<分区数(某消费者消费多个分区)，消费者数>分区数（某个消费者不消费分区），不同消费者组互不干扰

7、发送消息push

（1）同步方式发送消息

ProducerRecord<String, String> msg = new ProducerRecord<String, String>("TestTopic4", null, "hello world tomas100");

producer.send(msg).get(); // 同步发送消息，死等broker返回结果

producer.close();

（2）异步发送消息

ProducerRecord<String, String> msg = new ProducerRecord<String, String>("TestTopic4", null, "hello world tomas100");

producer.send(msg); // 异步发送消息

producer.send(msg, new Callback() {

@Override

public void onCompletion(RecordMetadata metadata, Exception exception) {

if(exception != null) {

exception.printStackTrace();

} else {

System.out.println("主题：" + metadata.topic() + " 分区：" + metadata.partition() + " 偏移量：" + metadata.offset());

}

}); // 异步发送消息，回调函数

producer.close();

8、接受消息pull

Consumer<String, String> consumer = new KafkaConsumer<String, String>(config);

consumer.subscribe(Collections.singletonList("TestTopic4"));

try {

while (true) {

ConsumerRecords<String, String> msgs = consumer.poll(5000);// 5000毫秒轮询一次

for (ConsumerRecord<String, String> msg : msgs) {

System.out.println(" topic:" + msg.topic() + " partition:" + msg.partition() + " offset:" + msg.offset() + "key:" + msg.key() + " value:" + msg.value());

}