使用python创建kafka的topic

文章目录

使用python创建kafka的topic

kafka基本概念

Apache ‌Kafka是一个开源的分布式流处理平台,设计用于处理实时数据流。它由‌Apache软件基金会开发,使用‌Scala和‌Java编写。‌

复制代码
#特性
1. ‌分布式‌:Kafka是分布式的系统,支持多分区和多副本,确保了数据的可靠性和系统的可扩展性。
2. ‌高吞吐量‌:Kafka能够处理大量的数据流,特别适合需要实时处理大量数据的场景。
3. ‌容错性‌:通过复制和分区,Kafka提供了高容错性,确保数据的可靠存储和传输。
#用处
1. ‌实时数据流处理‌:Kafka适用于需要实时分析的系统,能够处理来自网站、应用程序或物联网设备的实时数据流,与‌Spark Streaming、‌Flink等工具结合,可以用于实时数据分析,如日志分析、用户行为分析等。
2. ‌消息系统和队列‌:作为一种分布式消息队列,Kafka支持发布-订阅模式,使得不同服务或应用之间可以异步通信。
  • 生产者:producer , 向Kafka Broker发消息的客户端 (推送数据到kafka)。
  • 消费者:consumer,从Kafka Broker 拉取消息的客户端 (从kafka获取数据)
  • 主题:topic,类别,实际上数据都存储在分区中,感觉更像为了方便归类数据而存在。
  • 分区:partition 每个 topic 可以划分为多个分区。一个分区是一个有序的、不可变的消息序列。消息在分区中是有序的。
  • Broker是Kafka集群中的服务器节点,负责存储和转发消息,Kafka集群由多个Broker组成
  • 消费者组:consumer-group
  • 偏移量:每一个partition中的每一条数据都有唯一的偏移量,确保了消息的唯一性和顺序性。偏移量是累加的,对于消费者特别有用,因为它允许消费者记录自己的消费进度,以便在断开连接或重新启动时能够准确地从上次停止的位置继续消费消息,从而避免了消息的重复处理‌。

所需安装的包

bash 复制代码
pip install kafka-python

代码样例

python 复制代码
from kafka.admin import KafkaAdminClient, NewTopic

def create_topic(bootstrap_servers,topic_name,partitions_num):
	'''
    #bootstrap服务器提供的是连接和通点选集群中的一台就可以(不用把集群里面所有机器都链接)
    bootstrap_servers = '192.168.29.51:9092'
   	#要检查的 topic 名称
   	topic_name = 'xxxx'
   	#分区数量
   	partitions_count = 16  
    '''
    # 创建 KafkaAdminClient 实例
    admin_client = KafkaAdminClient(bootstrap_servers=bootstrap_servers)
    # 检查 topic 是否存在
    topics = admin_client.list_topics()
    if topic_name in topics:
        print(f"Topic {topic_name} exists.")
        create_sgin = False
    else:
        print(f"Topic {topic_name} does not exist.")
        create_sgin = True
        
    if create_sgin:
        # 定义新的 Topic 配置
        new_topic = NewTopic(
            name=topic_name,
            num_partitions=partitions_num,
            replication_factor=1  # 副本因子,应小于或等于Kafka集群中的broker数量
        )
        # 创建 topic
        admin_client.create_topics([new_topic])
        print(f"Topic {topic_name} created with {partitions_num} partitions.")
    admin_client.close()

if __name__ == '__main__':
    create_topic(bootstrap_server,topic_name,partitions_num)  
相关推荐
青衫客3628 分钟前
基于 Python 构建的安全 gRPC 服务——TLS、mTLS 与 Casbin 授权实战
python·安全·微服务
-dzk-1 小时前
【3DGS复现】Autodl服务器复现3DGS《简单快速》《一次成功》《新手练习复现必备》
运维·服务器·python·计算机视觉·3d·三维重建·三维
楼田莉子2 小时前
Qt开发学习——QtCreator深度介绍/程序运行/开发规范/对象树
开发语言·前端·c++·qt·学习
摩羯座-185690305943 小时前
爬坑 10 年!京东店铺全量商品接口实战开发:从分页优化、SKU 关联到数据完整性闭环
linux·网络·数据库·windows·爬虫·python
ACERT3333 小时前
5.吴恩达机器学习—神经网络的基本使用
人工智能·python·神经网络·机器学习
韩立学长3 小时前
【开题答辩实录分享】以《基于python的奶茶店分布数据分析与可视化》为例进行答辩实录分享
开发语言·python·数据分析
天若有情6733 小时前
C++空值初始化利器:empty.h使用指南
开发语言·c++
远远远远子3 小时前
类与对象 --1
开发语言·c++·算法
无敌最俊朗@4 小时前
C/C++ 关键关键字面试指南 (const, static, volatile, explicit)
c语言·开发语言·c++·面试
2401_831501734 小时前
Python学习之day03学习(文件和异常)
开发语言·python·学习