Kafka详解

KAFKA

1、消息队列(了解)

1-1 消息队列介绍

英文名:Message Queue,经常缩写为MQ。从字面上来理解,消息队列是用来存储传递消息的

1-2 消息队列应用场景

  • 应用耦合-- 使用消息队列解耦

    • 后端业务开发
    • 实名认证
      • 图片上传功能 身份证

        • 消息队列保存成功信息
        • 图片验证读取消息队列的中信息
      • 图片识别验证 上传成功才能识别

        • 消息队列验证成功信息
        • 图片保存 读取消息队列的中信息
      • 图片保存 识别陈成功

  • 异步处理

    • 后端业务开发
    • 发送短信
      • 同步 生产验证码 --> 发送短信 -->返回信息发送成功前端页面倒计时
      • 功能1 生产验证码 ---> 存储到消息队列2233 ---> 返回信息发送成功前端页面倒计时
      • 单独开发发送短信功能2 读取消息队列中数据
  • 消息驱动的系统

    • 后端业务开发
    • 多程序开发 用消息队列保证程序的执行顺序
    • 1-程序A ---> 消息队列 ---> 2-程序B ---> 消息队列 ---> 3-程序C
  • 限流削峰

    • 后端业务开发 大数据开发
    • 数据产生速度大于数据处理的速度
    • 可以通过消息队列缓存数据

1-3 消息传递的两种模式

  • 点对点

    • 类似私聊
  • 发布与订阅

    • 类似群聊

5-4 消息队列比较

相关推荐
clz131452144 分钟前
Kafka 日消 10 亿场景:用 ConcurrentLinkedQueue 实现高性能批量消费缓冲
分布式·kafka·linq
隐擎fox11 小时前
高性能网络爬虫架构设计:基于 Python 的长连接复用与分布式会话池调度实践
分布式·python·网络协议·tcp/ip·高并发·网络爬虫、
闲云自留地17 小时前
云平台存储管理员:Cinder 创建挂载卷 + Swift 分布式存储原理
分布式·wpf·swift
橙子圆12321 小时前
RabbitMQ知识1
分布式·rabbitmq
(Charon)1 天前
【Kafka】消息队列学习(一):为什么需要Kafka?从消息队列到整体架构
学习·架构·kafka
clz13145211 天前
风险特征系统 EPC 子系统:基于 Kafka 数据源与数据集配置的 Flink 指标清洗加工
分布式·flink·kafka
富士康质检员张全蛋1 天前
Kafka实战 生产阶段 消费阶段的拦截器
kafka
海上小飞龙1 天前
分布式和微服务,一次讲清
分布式·微服务·架构
clz13145211 天前
用 Akka Actor 模拟消费 Kafka 加工处理并发送到 Flink Out Kafka 的完整示例
flink·kafka·linq