使用 Apache Kafka 进行实时流处理

Apache Kafka 是一个开源分布式流处理平台,最初由 LinkedIn 开发,后来于 2011 年捐赠给 Apache。

我们可以将 Kafka 描述为一个文件集合,其中充满了分布在多台机器上的消息。大多数 Kafka 类比都围绕着将这些不同的单独日志捆绑在一起、将消息从生产者可靠地路由到消费者、进行复制以实现容错以及优雅地处理故障。其架构更多地继承了 HDFS、HBase 或 Cassandra 等存储系统,而不是实现 JMS 或 AMQP 的传统消息传递系统。底层抽象是分区日志,本质上是一组分布在多台机器上的仅附加文件。这鼓励顺序访问模式。Kafka 集群是一个分布式系统,它将数据分布在许多机器上,以实现容错和线性扩展。

Kafka 已经从一个消息系统迅速发展成为一个成熟的流媒体平台,具有以下属性:

可扩展。

容错。

发布-订阅消息系统。

与大多数消息传递系统相比,吞吐量更高。

Kafka 作为流媒体平台的功能

  1. 发布和订阅记录流

我们已经拥有许多消息传递系统。为什么我们还需要一个?Kafka 的核心是不起眼的、不可变的提交日志,您可以从那里订阅它,并将数据发布到任意数量的系统或实时应用程序。与消息队列不同,Kafka 是一个高度可扩展、容错的分布式系统。

Kafka 比传统消息系统具有更强的排序保证。传统队列在服务器上按顺序保留记录,如果多个消费者从队列中消费,服务器将按照记录的存储顺序分发记录。然而,虽然服务器按顺序分发记录,但记录是异步传递给消费者的,因此它们可能会乱序到达不同的消费者。

卡夫卡更有效地做到这一点。Kafka 可以在消费者进程池上提供排序保证和负载平衡

  1. 以容错持久的方式存储记录流

在 Kafka 中,数据通过数据复制以容错方式写入磁盘。Kafka 允许生产者等待确认完成,并且只有在完全复制并保证写入的服务器失败时才认为写入完成。无论服务器上有 50 KB 还是 50 TB 的持久数据,Kafka 都会执行相同的操作。因此,我们可以将Kafka视为一种专用于高性能、低延迟提交日志存储、复制和传播的特殊用途分布式文件系统。

  1. 在记录流出现时对其进行处理

如果没有在数据到达时对其进行操作的能力,流媒体平台将是不完整的。Apache Kafka 中的 Streams API 是一个功能强大的轻量级库,允许即时处理。

在 Kafka 中,流处理器是从输入主题获取连续数据流、对此输入执行某些处理并生成输出主题的连续数据流的任何东西。

例如,零售应用程序可能会获取销售和发货的输入流,并输出根据该数据计算出的再订购和价格调整流。

可以直接使用生产者和消费者 API 来完成简单的处理。对于更复杂的转换,Kafka 提供了完全集成的 Streams API。

Apache Kafka 中的概念

Kafka 作为集群运行在一台或多台可以跨越多个数据中心的服务器上。

Kafka 集群将记录流存储在称为主题的类别中。

每条记录由一个键、一个值和一个时间戳组成。

Kafka用例

Kafka 用于两大类应用程序。它可以构建实时流数据管道,在系统和应用程序之间可靠地移动数据。它还可用于构建实时流应用程序,对OD数据流进行转换或做出反应。

这些的一些用例包括:

消息传递。

实时网站活动跟踪。

指标。

日志聚合。

流处理。

事件溯源。

提交日志。

在本系列的这一部分中,我们介绍了 Apache Kafka 及其基本功能。在第二部分中,我们将介绍Kafka的API。

相关推荐
ZHOU_WUYI7 小时前
一个简单的分布式追踪系统
分布式
码不停蹄的玄黓11 小时前
MySQL分布式ID冲突详解:场景、原因与解决方案
数据库·分布式·mysql·id冲突
王小王-12312 小时前
基于Hadoop的公共自行车数据分布式存储和计算平台的设计与实现
大数据·hive·hadoop·分布式·hadoop公共自行车·共享单车大数据分析·hadoop共享单车
要开心吖ZSH13 小时前
《Spring 中上下文传递的那些事儿》Part 4:分布式链路追踪 —— Sleuth + Zipkin 实践
java·分布式·spring
幼稚园的山代王14 小时前
RabbitMQ 4.1.1初体验
分布式·rabbitmq·ruby
百锦再14 小时前
RabbitMQ用法的6种核心模式全面解析
分布式·rabbitmq·路由·消息·通道·交换机·代理
一路向北North14 小时前
RabbitMQ简单消息监听和确认
分布式·rabbitmq·ruby
真实的菜14 小时前
Kafka生态整合深度解析:构建现代化数据架构的核心枢纽
架构·kafka·linq
一路向北North21 小时前
使用reactor-rabbitmq库监听Rabbitmq
分布式·rabbitmq·ruby
Amy187021118231 天前
赋能低压分布式光伏“四可”建设,筑牢电网安全新防线
分布式