Kafka的操作 生产消息

生产者就是生产一条一条的消息,然后发送到Kafka。

而发送到Kafka的过程当中需要去指定一个topic,这条消息要存储在哪个主题当中。消费者就可以从这个主题当中进行消息的消费了。

下面的脚本就是以控制台作为消息的输入源,在控制台输入弟弟每一行数据会被当做一条消息发送给Kafka存到指定的分区,指定的topic当中。

可以看到主题里面是没有任何消息在里面的,在控制台发送消息,至于消息放在哪个分区里面现在还不知道,肯定是找到其中一个分区存起来了,要么在0 1 2分区的其中一个。到底进入到哪个分区里面是由分区器来决定的。

生产者生产的消息是会被存放在log文件当中。

通过控制台可以不断的生产数据,这些数据最后都会被存放在指定的分区里面。

如果有分区没有存在,但是生产者都在往一个不存在分区里面写入数据

可以看到主题被自动的创建出来了。

当生产者生产所指定的主题不存在,那么它会自动创建。创建主题要指定分区数量和副本因子,那么如果没有指定那就1个。分区和副本都是1个。

这样测试可以使用,平时不会满足实际场景。分区数量是后期可以调整,但是副本因子改不了。

所以在启动生产者的时候好好检查指定的主题是不是存在的,是不是可用的。

上面就是通过脚本来开启了一个生产者,生产消息发送到指定的主题当中。

相关推荐
ClickHouseDB2 小时前
推出 CostBench:一个用于数据仓库成本性能的开放基准
大数据·分布式·spark
9523617 小时前
Redis - 应用
数据库·redis·分布式·缓存
衣乌安、18 小时前
Redis 分布式锁与任务状态
数据库·redis·分布式
半夜修仙21 小时前
RabbitMQ的推模式和拉模式
java·分布式·中间件·rabbitmq·github·java-rabbitmq
buligbulig1 天前
Hadoop环境安装和集群创建
大数据·hadoop·分布式
橙臣程1 天前
集群、分布式与微服务介绍
分布式·微服务·架构
lailai04101 天前
表格自动化应用分析:功能边界与选型参考
分布式
Zhu7581 天前
在k8s环境部署Apache Kafka 集群架构,combined模式,无SSL配置
kafka·kubernetes·apache
爱浦路 IPLOOK1 天前
IMS核心网建设方案:全IP时代的语音与多媒体业务统一底座
网络·分布式·科技·5g·信息与通信