大数据工具 flume 的安装配置与使用 (详细版)

参考网址:Flume 1.9用户手册中文版 --- 可能是目前翻译最完整的版本了

1,上传安装包

安装包链接:文件下载-奶牛快传 Download |CowTransfer

口令:x8bhcg

1,切换盘符到安装目录

cd /opt/moudles

解压文件到文件目录

解压命令:tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/installs/

重命名:mv apache-flume-1.9.0-bin/ flume

2,配置环境变量

export FLUME_HOME=/opt/installs/flume

export PATH=PATH:FLUME_HOME/bin

记得刷新环境变量

source /etc/profile

3,修改一下flume的配置文件:
4,修改 JAVA_HOME 的路径为自己的 jdk 路径。

export JAVA_HOME=/opt/installs/jdk

安装完成

2,关于flume的使用

flume 的使用是编写 conf文件的,运行的时候指定该文件

定义组件的名字

<Agent>.sources = <Source>

a1.sources=s1

<Agent>.channels = <Channel1> <Channel2>

a1.channels=c1

<Agent>.sinks = <Sink>

a1.sinks=sink1

设置source 和 channel 之间的关系

<Agent>.sources.<Source>.channels = <Channel1> <Channel2> ...

a1.sources.s1.channels=c1

设置sink 和 channel 之间的关系

<Agent>.sinks.<Sink>.channel = <Channel1>

a1.sinks.sink1.channel=c1

先定义agent的名字,再定义agent中三大组件的名字

接着定义各个组件之间的关联关系

3,案例展示
Avro+Memory+Logger【主要用于演示,没有实战意义】

avro: 是监听某个端口是否有信息的工具

memory: 内存

logger: 控制台

即将演示一个场景:给服务器上的一个端口发送消息,消息经过内存,打印到控制台上。

先找source 中的avro看需要设置什么参数

#编写s1的类型是什么

a1.sources.s1.type = avro

a1.sources.s1.bind = 192.168.32.128

a1.sources.s1.port = 4141

a1.sources.s1.channels = c1

找到channel中的memory类型,再设置一下

a1.channels.c1.type = memory

a1.channels.c1.capacity = 10000

#source 或者 sink 每个事务中存取 Event 的操作数量

a1.channels.c1.transactionCapacity = 10000

接着查找sink,sink的类型是logger

a1.sinks.s2.channel = c1

a1.sinks.s2.type = logger

最终合并起来的文件就是:

a1.sources = r1

a1.channels = c1

a1.sources.r1.type = avro

a1.sources.r1.channels = c1

a1.sources.r1.bind = bigdata01

a1.sources.r1.port = 4141

a1.channels.c1.type = memory

a1.sinks = k1

a1.sinks.k1.type = logger

a1.sinks.k1.channel = c1

在flume文件夹下创建一个文件夹 myconf,用于存放我们写好的文件

进入后创建 avro-memory-log.conf

将配置文件的内容拷贝进去
先启动flume-ng

flume-ng agent -c ../ -f avro-memory-log.conf -n a1 -Dflume.root.logger=INFO,console

-c 后面跟上 配置文件的路径

-f 跟上自己编写的conf文件

-n agent的名字

-Dflume.root.logger=INFO,console INFO 日志输出级别 Debug,INFO,warn,error 等

接着向端口中发送数据:

flume-ng avro-client -c /opt/installs/flume/conf/ -H bigdata01 -p 4141 -F /home/hivedata/arr1.txt

给avro发消息,使用avro-client

flume是没有运行结束时间的,它一直监听某个Ip的端口,有消息就处理,没消息,就等着,反正不可能运行结束。

如果想停止,可以使用ctrl + c 终止flume。

相关推荐
数智顾问16 分钟前
(229页PPT)DG1888某大型制药集团企业数字化转型SAP蓝图设计解决方案(附下载方式)
大数据
Guheyunyi26 分钟前
什么是安全监测预警系统?应用场景有哪些?
大数据·运维·人工智能·安全·音视频
清 晨27 分钟前
AI 代理购物把“流量”变成“答案”,而“可信交付”决定你能不能被选中
大数据·人工智能·跨境电商·跨境·营销策略
小邓睡不饱耶38 分钟前
深度实战:Spark GraphX构建用户信任网络,精准锁定高价值目标用户(含完整案例)
大数据·spark·php
BYSJMG44 分钟前
计算机毕设推荐:基于大数据的共享单车数据可视化分析
大数据·后端·python·信息可视化·数据分析·课程设计
jl48638211 小时前
【选型指南】气密性检测仪显示屏如何兼顾IP65防护、-40℃~85℃宽温与快速交付?
大数据·人工智能·stm32·单片机·物联网
珠海西格电力1 小时前
零碳园区实现能源优化的具体措施解析
大数据·人工智能·物联网·智慧城市·能源
我和我导针锋相队1 小时前
国自然5页纸装下“多机制复杂问题”:用“主线+支线”逻辑,把乱麻理成渔网
大数据·人工智能·机器学习
Elastic 中国社区官方博客1 小时前
介绍 Elastic Workflows:用于 Elasticsearch 的原生自动化
大数据·人工智能·elasticsearch·搜索引擎·ai·自动化·全文检索
TDengine (老段)1 小时前
TDengine TSDB 产品常见问题解决指南
大数据·数据库·物联网·时序数据库·tdengine·涛思数据