Windows系统下使用Kafka和Zookeeper,Python运行kafka(二)

1.配置 Zookeeper

进入解压后的 Zookeeper 目录(例如 F:\zookeeper\conf),复制 zoo_sample.cfg 文件并命名为 zoo.cfg(如果 zoo.cfg 已经存在,则直接编辑该文件)。

打开 zoo.cfg 文件,配置相关参数:

bash 复制代码
# 数据存储目录
dataDir=F:/zookeeper/data
# 日志存储目录
dataLogDir=F:/zookeeper/logs
# 客户端连接端口,默认 2181
clientPort=2181
# 初始化领导者选举和同步的配置,一般保持默认即可
initLimit=5
syncLimit=2
# 配置 Zookeeper 集群(单机模式下无需配置)
# server.1=localhost:2888:3888

确保 dataDirdataLogDir 目录存在,如果不存在则手动创建。

可以看到有dataDir

只改了这个地方

与此同时,创建文件夹

2.启动 Zookeeper

进入 Zookeeper 的 bin 目录(例如 F:\zookeeper\bin),打开命令提示符,执行以下命令启动 Zookeeper:

bash 复制代码
.\zkServer.cmd

如果启动成功,会看到类似以下的日志信息:

3.配置 Kafka 使用外部 Zookeeper

打开 Kafka 的配置文件 config/server.properties,修改 zookeeper.connect 参数,指定自己的 Zookeeper 地址和端口:

bash 复制代码
zookeeper.connect=localhost:2181

这里的 localhost:2181 是 Zookeeper 的默认地址和端口,如果你的 Zookeeper 配置了其他地址或端口,则需要相应修改。

4.启动 Kafka

进入 Kafka 的目录,执行以下命令启动 Kafka

bash 复制代码
.\bin\windows\kafka-server-start.bat .\config\server.properties

5.安装Kafka插件

安装完成点击这个kafka插件

如果没有topic主题是连接不了的

使用以下代码创建一个名为testtopic主题,3个分区,2个副本,前提是先启动 ZookeeperKafka

python 复制代码
from kafka.admin import KafkaAdminClient, NewTopic
from kafka.errors import TopicAlreadyExistsError

# 配置 Kafka 服务器地址
bootstrap_servers = ['localhost:9092']

# 创建 Kafka 管理客户端实例
admin_client = KafkaAdminClient(bootstrap_servers=bootstrap_servers)

# 要创建的主题信息
topic_name = 'test'
num_partitions = 3  # 分区数量
replication_factor = 1  # 副本因子,调整为不超过可用 Broker 数量

try:
    # 创建新主题
    topic = NewTopic(name=topic_name, num_partitions=num_partitions, replication_factor=replication_factor)
    admin_client.create_topics([topic])
    print(f"主题 {topic_name} 创建成功,分区数: {num_partitions},副本因子: {replication_factor}")
except TopicAlreadyExistsError:
    print(f"主题 {topic_name} 已存在,无需再次创建")
except Exception as e:
    print(f"创建主题 {topic_name} 时出错: {e}")
finally:
    # 关闭管理客户端
    admin_client.close()
    

有了一个test主题,就可以连接了

接下来发送1000条消息

python 复制代码
for i in range(1000):
    message = f"message{i+1}"
    # 发送消息
    future = producer.send(topic, message)
相关推荐
热爱生活的猴子4 小时前
Poetry 在 Linux 和 Windows 系统中的安装步骤
linux·运维·windows
武子康4 小时前
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
大数据·后端·zookeeper
R-sz7 小时前
java流式计算 获取全量树形数据,非懒加载树,递归找儿
java·开发语言·windows
柳鲲鹏14 小时前
WINDOWS最快布署WEB服务器:apache2
服务器·前端·windows
专注VB编程开发20年16 小时前
开机自动后台运行,在Windows服务中托管ASP.NET Core
windows·后端·asp.net
阿波罗.201217 小时前
Zookeeper 客户端 .net访问框架 ZookeeperNetEx项目开发编译
分布式·zookeeper
李洋-蛟龙腾飞公司19 小时前
HarmonyOS NEXT应用元服务常见列表操作分组吸顶场景
linux·运维·windows
码农垦荒笔记19 小时前
Git 安装闭坑指南(仅 Windows 环境)
windows·git
阿幸软件杂货间20 小时前
Windows 10 2016 长期服务版
windows·系统·win10
木头左1 天前
Windows环境下Docker容器化的安装与设置指南
windows·docker·容器