部署kafka并通过python操作

目录

• • • 一、安装JDK1.8
    • • 1、检查服务器是否已安装JDK
      • 2、若已安装JDK，进行卸载
      • 3、更新yum源
      • 4、搜索JDK1.8安装包
      • 5、安装JDK1.8
      • 6、查看是否安装成功
      • 7、配置环境变量
    • 二、安装Kafka
    • • 1、下载并解压kafka部署包至/usr/local/目录
      • 2、修改server.properties
      • 3、修改/etc/profile
      • 4、执行/etc/profile
      • 5、启动kafka
      • 6、topic管理
      • 7、生产者管理
      • 8、消费者管理
      • 9、查看group-id
    • 三、python连接kafka
    • • 1、安装kafka-python
      • 2、消费消息
      • 3、生产数据

Kafka的安装需要依赖于jdk和zookeeper。（kafka 2.11-1.1.0版本才与JDK1.7兼容，更高版本需要JDK1.8）；
2.8之前版本的Kafka需要单独下载zookeeper，2.8及之后的Kafka已经内置了一个zookeeper环境，无需单独下载；

一、安装JDK1.8

1、检查服务器是否已安装JDK

rpm -qa |grep java
rpm -qa |grep jdk
rpm -qa |grep gcj

2、若已安装JDK，进行卸载

rpm -qa | grep java | xargs rpm -e --nodeps

3、更新yum源

yum update -y

4、搜索JDK1.8安装包

yum list java-1.8*

5、安装JDK1.8

yum install java-1.8.0-openjdk* -y

6、查看是否安装成功

java -version

7、配置环境变量

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.412.b08-1.el7_9.x86_64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=$CLASSPATH:.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib
export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre/bin:$PATH

二、安装Kafka

1、下载并解压kafka部署包至/usr/local/目录

tar -zxvf kafka_2.12-3.1.1.tgz -C /usr/local/

2、修改server.properties

vim /usr/local/kafka_2.12-3.1.1/config/server.properties

修改以下内容
listeners=PLAINTEXT://192.168.15.128:9092
advertised.listeners=PLAINTEXT://192.168.15.128:9092
log.dirs=/data/kafka/logs
zookeeper.connect=localhost:2181（local改成192.168.15.128会报错[2024-12-03 11:17:06,427] INFO [ZooKeeperClient Kafka server] Closing. (kafka.zookeeper.ZooKeeperClient)）

3、修改/etc/profile

vim /etc/profile

新增：
export KAFKA_HOME=/usr/local/kafka_2.12-3.1.1
export PATH=$KAFKA_HOME/bin:$PATH

4、执行/etc/profile

source /etc/profile

5、启动kafka

先启动zookeeper
/usr/local/kafka_2.12-3.1.1/bin/zookeeper-server-start.sh /usr/local/kafka_2.12-3.1.1/config/zookeeper.properties

查看是否启动
netstat -tuln | grep 2181

再启动kafka
/usr/local/kafka_2.12-3.1.1/bin/kafka-server-start.sh /usr/local/kafka_2.12-3.1.1/config/server.properties

查看是否启动
netstat -tuln | grep 9092
jps #有kafka则为启动

后台启动
/usr/local/kafka_2.12-3.1.1/bin/zookeeper-server-start.sh -daemon /usr/local/kafka_2.12-3.1.1/config/zookeeper.properties

/usr/local/kafka_2.12-3.1.1/bin/zookeeper-server-start.sh -daemon /usr/local/kafka_2.12-3.1.1/config/server.properties

6、topic管理

1. 创建topic
# replication-factor指定副本因子。注意：指定副本因子的时候，不能大于broker实例个数，否则报错
# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic mytest  # 旧版本创建方式，新版本只有--bootstrap-server 一种创建topic的方式
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics.sh --create --bootstrap-server 192.168.15.128:9092 --replication-factor 1 --partitions 1 --topic demo

2. 查询topic详情
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics.sh --describe --bootstrap-server 192.168.15.128:9092 --topic demo

3. 查询所有topic
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics.sh --bootstrap-server 192.168.15.128:9092 --list

4. 修改topic参数配置
# 注意：partition个数count，只能增加，不能减少
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics.sh --bootstrap-server 192.168.15.128:9092 --alter --topic mytest --parti-tions count

5. 删除topic
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics.sh --bootstrap-server 192.168.15.128:9092 --delete --topic mytest

5.1 如果kafaka启动时加载的配置文件中server.properties没有配置delete.topic.enable=true，那么此时的删除并不是真正的删除，而是把topic标记为：marked for deletion
输入如下命令查看：
/usr/local/kafka_2.12-3.1.1/bin/kafka-topics --zookeeper 【zookeeper server】 --list 来查看所有topic

此时你若想真正删除它，可以如下操作：
（1）登录zookeeper客户端：命令：./bin/zookeeper-client
（2）找到topic所在的目录：ls /brokers/topics
（3）找到要删除的topic，执行命令：rm -r /brokers/topics/【topic name】即可，此时topic被彻底删除。

另外被标记为marked for deletion的topic你可以在zookeeper客户端中通过命令获得：ls /admin/delete_topics/【topic name】，如果你删除了此处的topic，那么marked for deletion 标记消失

7、生产者管理

# 新起一个终端，进入kafka解压目录后，输入如下命令。在执行完毕后会进入的编辑器页面，此时任意编辑一个消息之后，消费者那边的终端可以看到，终端中已经打印出了我们刚才发送的消息
/usr/local/kafka_2.12-3.1.1/bin/kafka-console-producer.sh --broker-list 192.168.15.128:9092 --topic demo

8、消费者管理

1.创建消费者（有非必须参数，分区与consumer之间的关系：一个分区不能分给两个consumer,但是两个分区可以分给一个consumer）
# 下面的命令可以创建一个用于消费topic为mytest的消费者
/usr/local/kafka_2.12-3.1.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.15.128:9092 --topic demo --from-beginning --group testgroup

2.从尾部开始取数据，必需要指定分区（指定分区）
/usr/local/kafka_2.12-3.1.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.15.128:9092 --topic demo --offset latest --partition 0

3.从尾部开始取数据，必需要指定分区（取指定个数）
/usr/local/kafka_2.12-3.1.1/bin/kafka-console-consumer.sh --bootstrap-server 192.168.15.128:9092 --topic demo --offset latest --partition 0 --max-messages 1 

9、查看group-id

kafka-consumer-groups.sh --bootstrap-server 192.168.15.128:9092 --list 

三、python连接kafka

1、安装kafka-python

pip3 install kafka-python-ng

2、消费消息

from kafka import KafkaConsumer

kafka_broker = '192.168.15.128:9092'  # 替换为虚拟机的IP和端口

# 创建Kafka消费者
consumer = KafkaConsumer('demo', bootstrap_servers=[kafka_broker])

for message in consumer:
    print(message.value)

3、生产数据

import json
from kafka import KafkaProducer

# 指定Kafka代理地址，格式为"host:port"
kafka_broker = '192.168.15.128:9092'  # 替换为虚拟机的IP和端口

# 创建Kafka生产者
producer = KafkaProducer(bootstrap_servers=[kafka_broker])
# 发送10条消息
for i in range(10):
    # 创建一个字典，然后使用json.dumps()将其转换为JSON格式的字符串，并编码为字节串
    message = json.dumps({'name': 'kafka', 'index': i}).encode('utf-8')
    producer.send('demo', message)
    # 如果你需要打印消息内容，可以解码字节串并打印
    print(message.decode('utf-8'))

# 确保所有消息都已发送
producer.flush()