文章目录
1.Flume概述
- Flume是Cloudera提供的一个高可用，高可靠的，
分布式海量数据日志采集，聚合，传输系统。基于流式架构，动态实现，上传一条采集一条。
-
企业开发，flume-->kafka集群-->hdfs
-
flume动态采集---实时；若做离线业务，完全可以使用put命令
2.Flume架构
-
三个关键组件：Source ，Channel，Sink
-
Channel做缓冲，原因是Source，Sink速度不一致。
1.Agent
- agent是一个JVM进程，它以时间的形式将数据从源头送至目的。
- 三个部分组成
Source、Sink、Channel
2.Source
- 内部有很多的类型，不同的类型就是对接不同的数据源的
3.Sink
- Sink指的是传输落点；也就是将数据传输到哪
logger是打印到控制台，测试常用。
4.Channel
- 做缓冲的地方；
- Memory Channel、File Channel、Kafka Channel
存到内存和磁盘各有优略；安全性和速度角度考虑。
5.Event
- Event表示将我们的数据做了一次序列化
