二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash

#获取服务器名称和用户名

hostname=`hostname`

echo "current host name is $hostname"

whoami=`whoami`

echo "current user is $whoami"

#flume下载路径

installdir=/usr/local/hurys/dc_env/flume

if ! -d "$installdir" ;then

mkdir $installdir

fi

#日志文件

nowpath=(cd "(dirname "$0")";pwd)

logDir=$nowpath/log/

cd $nowpath

if ! -d $logDir ;then

mkdir -p $logDir

fi

nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`

daytime=`date --date='0 days ago' "+%Y%m%d"`

log_file="logDir/flume_daytime.log"

echo '------------ 卸载原有的flume ------------' | tee -a $log_file

#卸载原有的flume

rm -rf /usr/local/hurys/dc_env/flume/flume190/

echo '------------ 安装flume ------------' | tee -a $log_file

#解压flume安装包

tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/

mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190

echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file

#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar

echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file

#修改配置文件flume-env.sh

cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh

cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF

export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

EOF

echo '------------ 安装nc和telnet ------------' | tee -a $log_file

#安装nc和telnet

cd /usr/local/hurys/dc_env/flume/flume190/conf/

yum install -y nc

yum install telnet-server

yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

cd /usr/local/hurys/dc_env/flume/

sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

nc -lk 44444

然后,开启聊天窗口

telnet localhost 44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

相关推荐
大大大大晴天14 小时前
每天认识一个组件:Apache Spark
大数据
七夜zippoe19 小时前
Agent 上线第一天就炸了:6 个生产事故的根因分析与修复记录
大数据·ai·agent·根因分析·修复记录
字节跳动数据平台21 小时前
不重拍,也能换道具、换商品、换画风?短剧转漫、电商换款新解法来了
大数据
武子康21 小时前
攻击动作做对了,游戏规则就对了吗?H3-World 与三条控制路线的分工
大数据·人工智能·agent
Lansonli1 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
cc5725026531 天前
数据科学与大数据技术专业考证清单有哪些?
大数据
喵个咪2 天前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康2 天前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
字节跳动数据平台2 天前
火山引擎知识引擎VeKnow进化之路(下):让 AI 智能体更可用、更可信、更懂业务
大数据
Elastic 中国社区官方博客2 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎