二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash

#获取服务器名称和用户名

hostname=`hostname`

echo "current host name is $hostname"

whoami=`whoami`

echo "current user is $whoami"

#flume下载路径

installdir=/usr/local/hurys/dc_env/flume

if ! -d "$installdir" ;then

mkdir $installdir

fi

#日志文件

nowpath=(cd "(dirname "$0")";pwd)

logDir=$nowpath/log/

cd $nowpath

if ! -d $logDir ;then

mkdir -p $logDir

fi

nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`

daytime=`date --date='0 days ago' "+%Y%m%d"`

log_file="logDir/flume_daytime.log"

echo '------------ 卸载原有的flume ------------' | tee -a $log_file

#卸载原有的flume

rm -rf /usr/local/hurys/dc_env/flume/flume190/

echo '------------ 安装flume ------------' | tee -a $log_file

#解压flume安装包

tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/

mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190

echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file

#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar

echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file

#修改配置文件flume-env.sh

cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh

cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF

export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

EOF

echo '------------ 安装nc和telnet ------------' | tee -a $log_file

#安装nc和telnet

cd /usr/local/hurys/dc_env/flume/flume190/conf/

yum install -y nc

yum install telnet-server

yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

cd /usr/local/hurys/dc_env/flume/

sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

nc -lk 44444

然后,开启聊天窗口

telnet localhost 44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

相关推荐
小岐AI观4 小时前
智赋岐黄适合养生馆吗?
大数据·人工智能·物联网
大大大大晴天4 小时前
SR不只查内部表:External Catalog、联邦查询与统一分析
大数据
anxiao_m6 小时前
2026制造业云桌面选型攻略,不同生产场景适配方案汇总
大数据·网络·数据库
土星云SaturnCloud6 小时前
产线SOP动作级AI监管方案:土星云SE110S-WC8赋能合规识别、预警与效率分析
大数据·服务器·人工智能·ai·边缘计算
牛企老板俱乐部7 小时前
广东机器人结构验证手板产业格局:深圳珠海东莞三城分析
大数据·人工智能
Keystone_Onion7 小时前
基于5大仓群路由算法的中大件美国海外仓降本架构与数据实测分析
大数据
buligbulig8 小时前
智能电网的数据底座:电力行业大数据治理路径解析
大数据
ltqvibe8 小时前
企业AI改造的四层路径:从点上应用到企业大脑
大数据·人工智能·本体语义平台·企业ai改造·数据打通·企业大脑·企业认知基础设施
anxiao_m8 小时前
园区数字孪生怎么搭建?主流方案与服务商深度对比
大数据·运维·人工智能
stonewl25999 小时前
2026化工企业标签打印自动化方案
大数据