Kafka的操作 生产消息

生产者就是生产一条一条的消息,然后发送到Kafka。

而发送到Kafka的过程当中需要去指定一个topic,这条消息要存储在哪个主题当中。消费者就可以从这个主题当中进行消息的消费了。

下面的脚本就是以控制台作为消息的输入源,在控制台输入弟弟每一行数据会被当做一条消息发送给Kafka存到指定的分区,指定的topic当中。

可以看到主题里面是没有任何消息在里面的,在控制台发送消息,至于消息放在哪个分区里面现在还不知道,肯定是找到其中一个分区存起来了,要么在0 1 2分区的其中一个。到底进入到哪个分区里面是由分区器来决定的。

生产者生产的消息是会被存放在log文件当中。

通过控制台可以不断的生产数据,这些数据最后都会被存放在指定的分区里面。

如果有分区没有存在,但是生产者都在往一个不存在分区里面写入数据

可以看到主题被自动的创建出来了。

当生产者生产所指定的主题不存在,那么它会自动创建。创建主题要指定分区数量和副本因子,那么如果没有指定那就1个。分区和副本都是1个。

这样测试可以使用,平时不会满足实际场景。分区数量是后期可以调整,但是副本因子改不了。

所以在启动生产者的时候好好检查指定的主题是不是存在的,是不是可用的。

上面就是通过脚本来开启了一个生产者,生产消息发送到指定的主题当中。

相关推荐
国科安芯9 小时前
低轨卫星姿态与轨道控制系统中高可靠MCU的选型研究——基于AS32S601的抗辐照性能试验数据分析
分布式·科技·单片机·嵌入式硬件·系统架构
谢白羽11 小时前
SGLang源码剖析-2-sglang双层体系架构全景
分布式·架构·llm·vllm·sglang
霸道流氓气质16 小时前
分布式锁 — 概念、原理与实践
分布式
杰佛史彦明 本王是暴君16 小时前
分布式日志收集系统: Facebook Scribe
分布式·facebook
JHC00000017 小时前
基于 DrissionPage 与 Xvfb 的分布式无头爬虫架构
分布式·kafka
梦云莓铃 脚后跟法17 小时前
结合领域驱动设计的SOA分布式软件架构
分布式
zcmodeltech17 小时前
火电厂模型多设备时序控制系统设计:基于STM32与Modbus RTU的燃煤-燃机全流程联动方案
分布式·stm32·单片机·嵌入式硬件·物联网
ACP广源盛139246256731 天前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
玉鸯2 天前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
CodeHackerBhx2 天前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式