Flume和Kafka的区别?

Flume 一般用于日志采集,可以定制很多数据源,减少开发量,基本架构是一个 Flume 进程agent( source 、拦截器、选择器、 channel<Memory Channel 、 File Channel> 、 sink ),其中传递的是原 子性的event 数据。 Kafka 一般用于日志缓存,是一个可持久的分布式消息队列,自带存储,提供 push 和 pull 两种存储数据功 能;包括producer 、 kafka Cluster ( broker : topic 、 partition )、 consumer ,依赖于 Zookeeper( brokerid 、 topic 、 partition 元数据存在 ZNode , partition 选举 leader 依赖 Zookeeper )。
1 、 Flume 和 Kafka 的侧重点不同
Flume 追求的是数据和数据源、数据流向的多样性,适合多个生产者的场景; Flume 有自己内置的多种 source和 sink 组件,具体操作方式是编写 source 、 channel 和 sink 的 .conf 配置文件,开启 flume 组件的时候 用命令关联读取配置文件实现。
Kafka 追求的是高吞吐,高负载,同一 topic 下可以有多个 partition ,由于是 pull 模式拉取数据,因此适合多个消费者的场景;kafka 没有内置的 producer 和 consumer 组件,需要自己编写代码。
2 、 Flume 和 Kafka 的定位有所不同
Flume 是 cloudera 公司研发,适合多个生产者;适合 下游数据消费者不多 的情况(一个消费者开一个channel);适合 数据安全性要求不高 的操作(数据没有备份、没有副本);适合与 Hadoop 生态圈对接的操作(HDFS 、 Hbase 等);适合生产和收集数据。
Kafka 是 linkedin 公司研发,适合多个消费者;适合 数据下游消费众多 的情况( kafka 从磁盘读,并且只找Leader读);适合 数据安全性要求较高 的操作,支持 replication (多副本);适合消费数据。
Flume 是用于将数据发送到 HDFS 的专用工具。
Kafka 可以支持多个应用程序的数据流,而 Flume 专门用于 Hadoop 和大数据分析。
Kafka 可以处理和监视分布式系统中的数据,而 Flume 则从分布式系统中收集数据以将数据存储在集中式数据存储中。

相关推荐
starzy199037 分钟前
Structured Streaming 案例剖析:一个 8 万 QPS 实时大屏的完整落地与三次线上事故复盘
大数据·spark
大大大大晴天11 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界15 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天16 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城17 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55517 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证18 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读20 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI20 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199020 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs