二百零六、Flume——Flume1.9.0单机版部署脚本（附截图）

一、目的

在实际项目部署时，要实现易部署易维护，需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash

#获取服务器名称和用户名

hostname=`hostname`

echo "current host name is $hostname"

whoami=`whoami`

echo "current user is $whoami"

#flume下载路径

installdir=/usr/local/hurys/dc_env/flume

if [ ! -d "$installdir" ];then

mkdir $installdir

fi

#日志文件

nowpath=(cd "(dirname "$0")";pwd)

logDir=$nowpath/log/

cd $nowpath

if [ ! -d $logDir ];then

mkdir -p $logDir

fi

nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`

daytime=`date --date='0 days ago' "+%Y%m%d"`

log_file="logDir/flume_daytime.log"

echo '------------ 卸载原有的flume ------------' | tee -a $log_file

#卸载原有的flume

rm -rf /usr/local/hurys/dc_env/flume/flume190/

echo '------------ 安装flume ------------' | tee -a $log_file

#解压flume安装包

tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/

mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190

echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file

#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar

echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file

#修改配置文件flume-env.sh

cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh

cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF

export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

EOF

echo '------------ 安装nc和telnet ------------' | tee -a $log_file

#安装nc和telnet

cd /usr/local/hurys/dc_env/flume/flume190/conf/

yum install -y nc

yum install telnet-server

yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

（一）到Flume目录下，sh执行安装脚本

cd /usr/local/hurys/dc_env/flume/

sh flume-install.sh

更新telnet-server时，选择y

更新telnet时，选择y

（二）验证Flume,测试一下端口

首先，登录监视窗口

nc -lk 44444

然后，开启聊天窗口

telnet localhost 44444

接着，在聊天窗口输入 hello world

继而，监视窗口会自动出现 hello world

最后，在监视窗口ctrl+c退出

总的来说，Flume的安装还是非常简单的，我认为Flume玩法的关键之处就在于任务文件中各种参数的配置，如何配置参数才能及时的、完整的消费数据，这才是Flume的灵魂！