二、Kafka快速入门

目录

2.1 安装部署

1、【单机部署】

1、下载并上传到nginx服务器

官网:http://kafka.apache.org/downloads.html

2、解压安装包

sh 复制代码
tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/

3、修改解压后的文件名称

sh 复制代码
 mv kafka_2.12-3.0.0/ kafka

4、进入到/mysoft/kafka/config 目录,修改配置文件

sh 复制代码
vim server.properties

本地做的修改主要是:

broker.id=1

delete.topic.enable=true

log.dirs=/soft/kafka/logs

zookeeper.connect=192.168.239.11:2181/kafka

配置文件各个配置意义:

5、启动单节点

先启动zookeeper 节点

启动kafka

sh 复制代码
./kafka-server-start.sh -daemon ../config/server.properties

6、查看kafka有没有正常启动: jps

7、配置kafka的环境变量

1)在/etc/profile.d/my_env.sh 文件中增加 kafka 环境变量配置

sh 复制代码
sudo vim /etc/profile.d/my_env.sh

增加如下内容

sh 复制代码
#KAFKA_HOME
export KAFKA_HOME=/mysoft/kafka
export PATH=$PATH:$KAFKA_HOME/bin

2)刷新一下环境变量。

sh 复制代码
 source /etc/profile

2、【集群部署】

2.2 Kafka命令行操作

1、查看topic相关命令参数

sh 复制代码
bin/kafka-topics.sh

2、查看当前kafka服务器中的所有Topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --list

3、创建 first topic

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --create --partitions 1 --replication-factor 1 --topic first

4、查看 first 主题的详情

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --describe --topic first

5、修改分区数(注意:分区数只能增加,不能减少)

sh 复制代码
bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --alter --topic first --partitions 3

6、删除 topic

sh 复制代码
 bin/kafka-topics.sh --bootstrap-server 192.168.239.11:9092 --delete --topic first

7、生产者发送消息

sh 复制代码
bin/kafka-console-producer.sh --bootstrap-server 192.168.239.11:9092 --topic first

8、消费者消费消息

消费 first 主题中的数据

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first

把主题中所有的数据都读取出来(包括历史数据)。

sh 复制代码
bin/kafka-console-consumer.sh --bootstrap-server 192.168.239.11:9092 --topic first  --from-beginning
相关推荐
用户3610588626122 天前
Kafka源码深度剖析:KafkaProducer最终如何处理响应
kafka
goehou3 天前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
ClouGence3 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626124 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi4 天前
Kafka消息中间件单机版安装配置
分布式·kafka
飞奔的瓜牛5 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
qq_4523962310 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
我不会起名字32212 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查
qq_4523962312 天前
第十篇:《Kafka 安全加固:SASL、SSL、ACL 与多租户隔离》
安全·kafka·ssl
用户36105886261213 天前
KafkaProducer 元数据管理:send() 卡住时,它在等什么
kafka