【Java Web】Kafka,构建TB级异步消息系统

1. 阻塞队列

  • BlockingQueue
    • 解决线程通信的问题;
    • 阻塞方法:put从队列中存一个 , take 从队列中拿出一个
  • 生产者消费者模式
    • 生产者:产生数据的线程;
    • 消费者:使用数据的线程。
  • 实现类
    • ArrayBlockingQueue
    • LinkedBlockingQueue
    • ProrityBlockingQueue、SynchronousQueue、DelayQueue等
  • 阻塞队列充当了生产者(Thread-1)和消费者(Thread-2)之间的桥梁;
  • 若Blocking Queue满了,将阻塞生产者,线程1陷入等待;
  • 若Blocking Queue空了,将阻塞消费者,线程2陷入等待;
  • 因此,可以防止系统资源被浪费。

2. Kafka入门

  • Kafka简介
    • kafka 是一个分布式的流媒体平台;
    • 应用:消息系统、日志收集、用户行为追踪、流式处理。
  • Kafka特点
    • 高吞吐量、消息持久化、高可靠性、高扩展性
  • Kafka术语
    • Broker(一个服务器)、Zookeeper(集群)
    • Topic(文件夹)、Partition(分区,提高容错率)、Offset(在分区中的位置)
    • Leader Replica(主副本,如果需要从分区获取数据,主副本可以响应)、Follower Replica(随从副本,备份)

-卡夫卡能处理海量数据(高吞吐量 ),因为卡夫卡将数据存在硬盘此类的介质里,而硬盘比内存的价格低廉,所以它可以持久化 。卡夫卡的分布式保证了高可靠性 。如果想要加入新服务器,只需简单的配置,因此具有高扩展性。

【1】Mac 启动Zookeeper:

java 复制代码
./zookeeper-server-start.sh ../config/zookeeper.properties &

【2】启动Kafka:

java 复制代码
./kafka-server-start.sh ../config/server.properties &

【3】创建Topic

java 复制代码
./kafka-topics.sh --bootstrap-server localhost:9092 --create --topic javaTopic --partitions 2 --replication-factor 1

replication-factor:指定副本数量

partitions:指定分区

【4】查看Topic

java 复制代码
./kafka-topics.sh --bootstrap-server localhost:9092 --list

【5】删除Topic

java 复制代码
./kafka-topics.sh --bootstrap-server localhost:9092 --delete -topic javaTopic

【6】生产消费数据

【6-1】生产者

java 复制代码
./kafka-console-producer.sh --broker-list localhost:9092 --topic javaTopic

【6-2】消费者

java 复制代码
./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic javaTopic --from-beginning
相关推荐
果果软件4 小时前
2026 后台管理系统选型:若依、JeecgBoot、芋道、NocoBase 和 GewuMind Boot 怎么选?
java·人工智能·后端·ai·开源
码云社区7 小时前
Java家政服务系统源码:人员技能、服务范围与多商家业务落地
java·开发语言·家政服务·家政小程序·家政系统
FRing038 小时前
vue3干货总结3(defineOptions(Vue3.3)、defineModel(Vue3.4)、Pinia)
开发语言·前端·vue.js·vue3
Bczheng18 小时前
组件化服务端渲染模式SSR
前端
摇滚侠8 小时前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
CoderYanger8 小时前
Java EE 进阶:9.MyBatis 操作数据库(进阶)(第八弹):MyBatis Generator
java·数据库·spring boot·spring·java-ee·tomcat·mybatis
whitelbwwww9 小时前
CUDA C++实战--中级
开发语言·前端·c++
张紫娃9 小时前
Chrome插件-Stylus(屏蔽博客广告)
前端·chrome·stylus
Yannik10 小时前
在 Apple Silicon Mac 上用 Jenkins + Fastlane 搭建 iOS CI:从自动打包到 MR 检查流水线的完整实践
前端
Nayana10 小时前
《Web 到 HarmonyOS》-- 打包:Vite 产物 → HAP / HAR / HSP
前端