Kafka的操作 生产消息

生产者就是生产一条一条的消息,然后发送到Kafka。

而发送到Kafka的过程当中需要去指定一个topic,这条消息要存储在哪个主题当中。消费者就可以从这个主题当中进行消息的消费了。

下面的脚本就是以控制台作为消息的输入源,在控制台输入弟弟每一行数据会被当做一条消息发送给Kafka存到指定的分区,指定的topic当中。

可以看到主题里面是没有任何消息在里面的,在控制台发送消息,至于消息放在哪个分区里面现在还不知道,肯定是找到其中一个分区存起来了,要么在0 1 2分区的其中一个。到底进入到哪个分区里面是由分区器来决定的。

生产者生产的消息是会被存放在log文件当中。

通过控制台可以不断的生产数据,这些数据最后都会被存放在指定的分区里面。

如果有分区没有存在,但是生产者都在往一个不存在分区里面写入数据

可以看到主题被自动的创建出来了。

当生产者生产所指定的主题不存在,那么它会自动创建。创建主题要指定分区数量和副本因子,那么如果没有指定那就1个。分区和副本都是1个。

这样测试可以使用,平时不会满足实际场景。分区数量是后期可以调整,但是副本因子改不了。

所以在启动生产者的时候好好检查指定的主题是不是存在的,是不是可用的。

上面就是通过脚本来开启了一个生产者,生产消息发送到指定的主题当中。

相关推荐
用户3610588626125 小时前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi9 小时前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding9 小时前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇1 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛1 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人2 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构
筑梦之人3 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing4 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手4 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star5 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式