Kafka的操作 生产消息

生产者就是生产一条一条的消息,然后发送到Kafka。

而发送到Kafka的过程当中需要去指定一个topic,这条消息要存储在哪个主题当中。消费者就可以从这个主题当中进行消息的消费了。

下面的脚本就是以控制台作为消息的输入源,在控制台输入弟弟每一行数据会被当做一条消息发送给Kafka存到指定的分区,指定的topic当中。

可以看到主题里面是没有任何消息在里面的,在控制台发送消息,至于消息放在哪个分区里面现在还不知道,肯定是找到其中一个分区存起来了,要么在0 1 2分区的其中一个。到底进入到哪个分区里面是由分区器来决定的。

生产者生产的消息是会被存放在log文件当中。

通过控制台可以不断的生产数据,这些数据最后都会被存放在指定的分区里面。

如果有分区没有存在,但是生产者都在往一个不存在分区里面写入数据

可以看到主题被自动的创建出来了。

当生产者生产所指定的主题不存在,那么它会自动创建。创建主题要指定分区数量和副本因子,那么如果没有指定那就1个。分区和副本都是1个。

这样测试可以使用,平时不会满足实际场景。分区数量是后期可以调整,但是副本因子改不了。

所以在启动生产者的时候好好检查指定的主题是不是存在的,是不是可用的。

上面就是通过脚本来开启了一个生产者,生产消息发送到指定的主题当中。

相关推荐
ly76891 天前
Redis 分布式锁的边界条件:Redlock 争议、锁续期与客户端崩溃后的互斥失效
数据库·redis·分布式·分布式锁·watchdog·redlock
筑梦之路1 天前
docker-compose方式部署kafka集群(Kraft方式)——筑梦之路
docker·容器·kafka
灯澜忆梦1 天前
【minio】#5 | MinIO 分布式部署 + HTTPS 部署
分布式·网络协议·https·对象存储·minio
谢亮_vipxieliang2 天前
Spring Cloud 服务治理入门:注册发现、配置中心、网关限流、熔断降级与分布式一致性方案
分布式·spring·spring cloud
樱花落木兰2 天前
分布式登录实战:Session 会话共享改造,Redis 存储用户登录状态
java·javascript·数据库·redis·分布式·缓存
ShineWinsu2 天前
对于Redis:Steam、Geospatial、Hyperloglog、Bitmap、Bitfield类型的解析
数据库·c++·redis·分布式·缓存·面试·zset
Flynt3 天前
Redis Cluster主节点挂了,为什么"高可用"还全员掉线?我把三次kill的记录翻出来了
数据库·redis·分布式
JosieBook3 天前
【数据库】MySQL 实战精通系列 · 第10篇:分库分表与分布式事务实战
数据库·分布式·mysql
梦帮科技3 天前
vLLM / TensorRT-LLM 极限推理:PagedAttention 细粒度物理页表管理与连续批处理(Continuous Batching)实战
数据结构·人工智能·分布式·python·深度学习·算法·vllm