半小时速通flume-flume概述

文章目录

• 1.Flume概述
• 2.Flume架构
• • 1.Agent
  • 2.Source
  • 3.Sink
  • 4.Channel
  • 5.Event

1.Flume概述

• Flume是Cloudera提供的一个高可用，高可靠的，分布式海量数据日志采集，聚合，传输系统。基于流式架构，动态实现，上传一条采集一条。

• 企业开发，flume-->kafka集群-->hdfs

• flume动态采集---实时；若做离线业务，完全可以使用put命令

2.Flume架构

• 三个关键组件：Source ，Channel，Sink

• Channel做缓冲，原因是Source，Sink速度不一致。

1.Agent

• agent是一个JVM进程，它以时间的形式将数据从源头送至目的。
• 三个部分组成Source、Sink、Channel

2.Source

• 内部有很多的类型，不同的类型就是对接不同的数据源的

3.Sink

• Sink指的是传输落点；也就是将数据传输到哪

logger是打印到控制台，测试常用。

4.Channel

• 做缓冲的地方；
• Memory Channel、File Channel、Kafka Channel

存到内存和磁盘各有优略；安全性和速度角度考虑。

5.Event

• Event表示将我们的数据做了一次序列化