使用 Apache Kafka 进行实时流处理

Apache Kafka 是一个开源分布式流处理平台,最初由 LinkedIn 开发,后来于 2011 年捐赠给 Apache。

我们可以将 Kafka 描述为一个文件集合,其中充满了分布在多台机器上的消息。大多数 Kafka 类比都围绕着将这些不同的单独日志捆绑在一起、将消息从生产者可靠地路由到消费者、进行复制以实现容错以及优雅地处理故障。其架构更多地继承了 HDFS、HBase 或 Cassandra 等存储系统,而不是实现 JMS 或 AMQP 的传统消息传递系统。底层抽象是分区日志,本质上是一组分布在多台机器上的仅附加文件。这鼓励顺序访问模式。Kafka 集群是一个分布式系统,它将数据分布在许多机器上,以实现容错和线性扩展。

Kafka 已经从一个消息系统迅速发展成为一个成熟的流媒体平台,具有以下属性:

可扩展。

容错。

发布-订阅消息系统。

与大多数消息传递系统相比,吞吐量更高。

Kafka 作为流媒体平台的功能

  1. 发布和订阅记录流

我们已经拥有许多消息传递系统。为什么我们还需要一个?Kafka 的核心是不起眼的、不可变的提交日志,您可以从那里订阅它,并将数据发布到任意数量的系统或实时应用程序。与消息队列不同,Kafka 是一个高度可扩展、容错的分布式系统。

Kafka 比传统消息系统具有更强的排序保证。传统队列在服务器上按顺序保留记录,如果多个消费者从队列中消费,服务器将按照记录的存储顺序分发记录。然而,虽然服务器按顺序分发记录,但记录是异步传递给消费者的,因此它们可能会乱序到达不同的消费者。

卡夫卡更有效地做到这一点。Kafka 可以在消费者进程池上提供排序保证和负载平衡

  1. 以容错持久的方式存储记录流

在 Kafka 中,数据通过数据复制以容错方式写入磁盘。Kafka 允许生产者等待确认完成,并且只有在完全复制并保证写入的服务器失败时才认为写入完成。无论服务器上有 50 KB 还是 50 TB 的持久数据,Kafka 都会执行相同的操作。因此,我们可以将Kafka视为一种专用于高性能、低延迟提交日志存储、复制和传播的特殊用途分布式文件系统。

  1. 在记录流出现时对其进行处理

如果没有在数据到达时对其进行操作的能力,流媒体平台将是不完整的。Apache Kafka 中的 Streams API 是一个功能强大的轻量级库,允许即时处理。

在 Kafka 中,流处理器是从输入主题获取连续数据流、对此输入执行某些处理并生成输出主题的连续数据流的任何东西。

例如,零售应用程序可能会获取销售和发货的输入流,并输出根据该数据计算出的再订购和价格调整流。

可以直接使用生产者和消费者 API 来完成简单的处理。对于更复杂的转换,Kafka 提供了完全集成的 Streams API。

Apache Kafka 中的概念

Kafka 作为集群运行在一台或多台可以跨越多个数据中心的服务器上。

Kafka 集群将记录流存储在称为主题的类别中。

每条记录由一个键、一个值和一个时间戳组成。

Kafka用例

Kafka 用于两大类应用程序。它可以构建实时流数据管道,在系统和应用程序之间可靠地移动数据。它还可用于构建实时流应用程序,对OD数据流进行转换或做出反应。

这些的一些用例包括:

消息传递。

实时网站活动跟踪。

指标。

日志聚合。

流处理。

事件溯源。

提交日志。

在本系列的这一部分中,我们介绍了 Apache Kafka 及其基本功能。在第二部分中,我们将介绍Kafka的API。

相关推荐
AI源码3 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
goehou21 小时前
Kafka 的默认配置适合演示,不适合生产
kafka·消息队列·幂等·ai agent
国科安芯1 天前
CAN FD一升到5Mbps就误码:位定时、终端与共模的现场排查顺序——ASM1042S2S在星载分布式总线中的FAE实践
分布式·安全·架构·canfd·dcdc·抗辐射·载荷
ClouGence1 天前
开源数据库管理工具 CloudDM 发布新版本,支持 GreptimeDB 数据源
数据库·kafka
用户3610588626122 天前
KafkaProducer 源码深度剖析:筛选可以发送消息的 Broker
kafka
西木Qi2 天前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding2 天前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
stark张宇3 天前
分布式事务方案设计与选型思考:2PC、TCC
分布式·架构
飞奔的瓜牛3 天前
Kafka 生产实践指南:使用要点、性能优化与运维维护
中间件·性能优化·kafka
时间的拾荒人3 天前
Redis 典型应用:缓存与分布式锁原理
redis·分布式·缓存·面试·架构