大数据课程D6——hadoop的Channel

文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州

▲ 本章节目的

⚪ 了解Channel的作用和配置;

⚪ 掌握Channel的使用方法;

⚪ 掌握Channel的File Channel;

⚪ 掌握Channel的JDBC Channel;

⚪ 掌握Channel的Spillable Memory Channel;

一、Memory Channel

1. 概述

  1. Memory Channel将数据临时存储到内存的指定队列中。

  2. 如果不指定,则队列大小默认是100,即在队列中最多允许同时存储100条数据。如果队列被占满,那么后来的数据就会被阻塞。实际过程中,一般会将这个值调剂为10W~30W,如果数据量比较大,也可以考虑调剂为50W。

  3. Channel可以批量接收Source的数据,也可以将数据批量发送给Sink,那么默认情况下,每一批数据是100条。实际过程中,一般会将这个值调节为1000~3000,如果Channel的容量为50W,那么此时一般将批量调剂为5000。

  4. Memory Channel是将数据存储在内存中,所以不可靠,但是读写速度快,因此适应于要求速度但不要求可靠性的场景。

2. 配置属性

|---------------------|----------|
| 属性 | 解释 |
| type | memory |
| capacity | 指定的队列的容量 |
| transactionCapacity | 数据的批的量 |

3. 案例

  1. 编写格式文件,添加如下配置:

a1.sources = s1

a1.channels = c1

a1.sinks = k1

a1.sources.s1.type = netcat

a1.sources.s1.bind = hadoop01

a1.sources.s1.port = 8090

配置Memory Channel

类型必须是memory

a1.channels.c1.type = memory

指定Channel的容量

a1.channels.c1.capacity = 100000

指定Channel的批的量

a1.channels.c1.transactionCapacity = 1000

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1

a1.sinks.k1.channel = c1

  1. 启动Flume:

../bin/flume-ng agent -n a1 -c ../conf -f memorychannel.conf -

Dflume.root.logger=INFO,console

二、File Channel

1. 概述

  1. File Channel将数据临时存储到本地的磁盘上。

  2. File Channel不会丢失数据,但是读写速度慢,适应于要求可靠性但是不要求速度的场景。

  3. 如果不指定,那么默认情况下,File Channel会将数据临时存储到~/.flume/file-channel/data。

  4. 为了File Channel占用过多的磁盘,那么默认情况下,允许在磁盘上最多存储100W条数据。

2. 配置属性

|----------|---------------|
| 属性 | 解释 |
| type | 必须是file |
| dataDirs | 指定在磁盘上临时存储的位置 |

3. 案例

  1. 编写格式文件,添加如下配置:

a1.sources = s1

a1.channels = c1

a1.sinks = k1

a1.sources.s1.type = netcat

a1.sources.s1.bind = hadoop01

a1.sources.s1.port = 8090

配置File Channel

类型必须是file

a1.channels.c1.type = file

指定数据在磁盘上的存储位置

a1.channels.c1.dataDirs = /home/flumedata

a1.sinks.k1.type = logger

a1.sources.s1.channels = c1

a1.sinks.k1.channel = c1

  1. 启动Flume:

../bin/flume-ng agent -n a1 -c ../conf -f filechannel.conf -

Dflume.root.logger=INFO,console

三、其他Channel

1. JDBC Channel

  1. JDBC Channel会将数据临时存储到数据库中,理论上JDBC Channel的读写速度要略高于File Channel,但是低于Memory Channel。

  2. 到目前为止,这个JDBC Channel只支持Derby数据库。基于Derby的特性(微型 - 存储的数据少,单连接 - 只允许单用户操作),所以实际过程中很少使用这个数据库,因此实际生产过程中,几乎弃用JDBC Channel。

2. Spillable Memory Channel

  1. Spillable Memory Channel会先试图将数据临时存储到内存中。如果内存队列一旦被塞满,此时这个Channel不会阻塞,而是转而将数据临时存储到磁盘上。

  2. 到目前为止,这个Channel处于实验阶段,不推荐在生产环境中使用。

相关推荐
伍哥的传说1 分钟前
Lodash-es 完整开发指南:ES模块化JavaScript工具库实战教程
大数据·javascript·elasticsearch·lodash-es·javascript工具库·es模块·按需导入
请提交用户昵称43 分钟前
大数据各组件flume,datax,presto,DolphinScheduler,findBI在大数据数仓架构中的作用和功能。
大数据·flume·datax·dolphin·presto·findbi·大数据组件
IT果果日记1 小时前
详解DataX开发达梦数据库插件
大数据·数据库·后端
用户Taobaoapi20142 小时前
微店API秘籍!轻松获取商品详情数据
大数据·数据挖掘·数据分析
chimchim662 小时前
StarRocks导入数据-使用 Broker Load 进行异步导入
大数据·sql
iGarment3 小时前
服装采购跟单系统的高效管理实践
大数据·经验分享·云计算
闯闯桑3 小时前
Spark 中spark.implicits._ 中的 toDF和DataFrame 类本身的 toDF 方法
大数据·ajax·spark·scala
阿里云大数据AI技术4 小时前
【跨国数仓迁移实践9】dbt‑maxcompute 在 GoTerra 迁移过程中的落地与技术贡献
大数据
的小姐姐4 小时前
RMS设备检修管理系统_HawkEye智能运维平台_璞华大数据
大数据·运维
时空自由民.4 小时前
repo 学习教程
大数据·学习·elasticsearch