二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash

#获取服务器名称和用户名

hostname=`hostname`

echo "current host name is $hostname"

whoami=`whoami`

echo "current user is $whoami"

#flume下载路径

installdir=/usr/local/hurys/dc_env/flume

if [ ! -d "$installdir" ];then

mkdir $installdir

fi

#日志文件

nowpath=(cd "(dirname "$0")";pwd)

logDir=$nowpath/log/

cd $nowpath

if [ ! -d $logDir ];then

mkdir -p $logDir

fi

nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`

daytime=`date --date='0 days ago' "+%Y%m%d"`

log_file="logDir/flume_daytime.log"

echo '------------ 卸载原有的flume ------------' | tee -a $log_file

#卸载原有的flume

rm -rf /usr/local/hurys/dc_env/flume/flume190/

echo '------------ 安装flume ------------' | tee -a $log_file

#解压flume安装包

tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/

mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190

echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file

#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar

echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file

#修改配置文件flume-env.sh

cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh

cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF

export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

EOF

echo '------------ 安装nc和telnet ------------' | tee -a $log_file

#安装nc和telnet

cd /usr/local/hurys/dc_env/flume/flume190/conf/

yum install -y nc

yum install telnet-server

yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

cd /usr/local/hurys/dc_env/flume/

sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

nc -lk 44444

然后,开启聊天窗口

telnet localhost 44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

相关推荐
hans汉斯2 分钟前
【计算机科学与应用】基于多光谱成像与边缘计算的物流安全风险预警模式及系统实现
大数据·数据库·人工智能·设计模式·机器人·边缘计算·论文笔记
皮皮学姐分享-ppx39 分钟前
上市公司CEO IT背景数据(2007-2024)
大数据·人工智能·经验分享·科技·区块链
呆呆小金人1 小时前
SQL入门:别名使用完全指南
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
隔壁寝室老吴1 小时前
Flink中自定义序列化器
大数据·flink
菜鸡儿齐7 小时前
spark组件-spark core(批处理)-rdd创建
大数据·分布式·spark
weixin_177297220699 小时前
家政小程序系统开发:打造便捷高效的家政服务平台
大数据·小程序·家政
galaxylove10 小时前
Gartner发布数据安全态势管理市场指南:将功能扩展到AI的特定数据安全保护是DSPM发展方向
大数据·人工智能
扁豆的主人16 小时前
Elasticsearch
大数据·elasticsearch·jenkins
想ai抽17 小时前
Flink重启策略有啥用
大数据·flink
TMT星球17 小时前
TCL华星t8项目正式开工,总投资额约295亿元
大数据·人工智能