大数据数据采集 Apache-Flume 笔记

1 Flume 安装部署

1.1 官网地址

1.2 安装部署

  1. 将apache-flume-1.10.1-bin.tar.gz上传到linux的/opt/software目录下

  2. 解压apache-flume-1.10.1-bin.tar.gz到/opt/module/目录下

    shell 复制代码
    tar -zxvf /opt/software/apache-flume-1.10.1-bin.tar.gz -C /opt/module/
  3. 修改apache-flume-1.10.1-bin的名称为flume

    shell 复制代码
    mv /opt/module/apache-flume-1.10.1-bin /opt/module/flume
  4. 修改conf下的log4j2.xml确定日志打印的位置,在53行后插入

    xml 复制代码
    <!--53       <AppenderRef ref="LogFile" /> -->
    
    54       <AppenderRef ref="Console" />

2 Flume 入门案例

2.1 监控端口数据官方案例

1)案例需求

使用Flume监听一个端口,收集该端口数据,并打印到控制台

2)实现步骤

  1. 安装netcat工具

    shell 复制代码
    yum install -y nc
  2. 判断44444端口是否被占用

    shell 复制代码
    netstat -nlp | grep 44444
  3. 在conf文件夹下创建Flume Agent配置文件nc-flume-log.conf。

    shell 复制代码
    vim nc-flume-log.conf
  4. 在nc-flume-log.conf文件中添加如下内容。

    tex 复制代码
    # agent中组件的定义(a1是agent的名字)
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # source组件的说明
    #用来定义source的类型--Netcat TCP Source(读取网络数据)
    a1.sources.r1.type = netcat
    #监听的主机的地址
    a1.sources.r1.bind = 0.0.0.0
    #监听的端口号
    a1.sources.r1.port = 44444
    
    
    #Sink组件的说明
    #用来定义sink组件的类型-LoggerSink(用来将数据输出到控制台)
    a1.sinks.k1.type = logger
    
    # Channel组件的说明
    #定义channel组件的类型(MemoryChannel-将数组存储到内存)
    a1.channels.c1.type = memory
    #channel的容量(event的数量)
    a1.channels.c1.capacity = 1000
    #事务的容量(注意:transactionCapacity <= capacity)
    a1.channels.c1.transactionCapacity = 100
    
    # 用来说明(关联)各组件的关系
    #r1这个source对应的是哪个channel(哪个source组件读取的数据写到哪个channel中)
    a1.sources.r1.channels = c1
    #k1这个sink对应的是哪个channel(哪个sink组件读取的数组来自于哪个channel中)
    a1.sinks.k1.channel = c1
  5. 先开启flume监听端口

    第一种方式:

    shell 复制代码
    flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template  -Dflume.root.logger=INFO,console

    第二种方式:

    shell 复制代码
    flume-ng agent --conf conf --conf-file example.conf --name a1  -Dflume.root.logger=INFO,console

    参数说明:

    ​ --conf/-c:表示配置文件存储在conf/目录

    ​ --name/-n:表示给agent起名为a1

    ​ --conf-file/-f:flume本次启动读取的配置文件是在conf文件夹下的nc-flume-log.conf文件。

    ​ -Dflume.root.logger=INFO,console :-D表示flume运行时动态修改flume.root.logger参数属性值,并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。日志参数已经在配置文件中修改了,不再需要重复输入。

  6. 使用netcat工具向本机的44444端口发送内容

    shell 复制代码
    nc localhost 44444
  7. 在Flume监听页面观察接收数据情况

    tex 复制代码
    Event: { headers:{} body: 31 30                                           10 }
  8. event打印的源码介绍

    LoggerSink的process方法:

    java 复制代码
    if (event != null) {
        if (logger.isInfoEnabled()) {
            logger.info("Event: " + EventHelper.dumpEvent(event, maxBytesToLog));
        }
    }

    dumpEvent方法返回值:buffer是固定长度的字符串,前端是16进制表示的字符的阿斯卡码值。

    java 复制代码
    return "{ headers:" + event.getHeaders() + " body:" + buffer + " }";
相关推荐
2401_8830410844 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
青云交1 小时前
大数据新视界 -- 大数据大厂之 Impala 性能优化:融合机器学习的未来之路(上 (2-1))(11/30)
大数据·计算资源·应用案例·数据交互·impala 性能优化·机器学习融合·行业拓展
Json_181790144804 小时前
An In-depth Look into the 1688 Product Details Data API Interface
大数据·json
Qspace丨轻空间6 小时前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
Elastic 中国社区官方博客7 小时前
如何将数据从 AWS S3 导入到 Elastic Cloud - 第 3 部分:Elastic S3 连接器
大数据·elasticsearch·搜索引擎·云计算·全文检索·可用性测试·aws
Aloudata8 小时前
从Apache Atlas到Aloudata BIG,数据血缘解析有何改变?
大数据·apache·数据血缘·主动元数据·数据链路
水豚AI课代表8 小时前
分析报告、调研报告、工作方案等的提示词
大数据·人工智能·学习·chatgpt·aigc
拓端研究室TRL11 小时前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗11 小时前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
编码小袁11 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据