二百零六、Flume——Flume1.9.0单机版部署脚本(附截图)

一、目的

在实际项目部署时,要实现易部署易维护,需要把安装步骤变成安装脚本实现快速部署

二、部署脚本在Linux中文件位置

文件夹中只有脚本文件flume-install.sh和tar包apache-flume-1.9.0-bin.tar.gz

三、Flume安装脚本

#!/bin/bash

#获取服务器名称和用户名

hostname=`hostname`

echo "current host name is $hostname"

whoami=`whoami`

echo "current user is $whoami"

#flume下载路径

installdir=/usr/local/hurys/dc_env/flume

if ! -d "$installdir" ;then

mkdir $installdir

fi

#日志文件

nowpath=(cd "(dirname "$0")";pwd)

logDir=$nowpath/log/

cd $nowpath

if ! -d $logDir ;then

mkdir -p $logDir

fi

nowtime=`date --date='0 days ago' "+%Y%m%d%H%M%S"`

daytime=`date --date='0 days ago' "+%Y%m%d"`

log_file="logDir/flume_daytime.log"

echo '------------ 卸载原有的flume ------------' | tee -a $log_file

#卸载原有的flume

rm -rf /usr/local/hurys/dc_env/flume/flume190/

echo '------------ 安装flume ------------' | tee -a $log_file

#解压flume安装包

tar -zxf /usr/local/hurys/dc_env/flume/tar/apache-flume-1.9.0-bin.tar.gz -C /usr/local/hurys/dc_env/flume/

mv /usr/local/hurys/dc_env/flume/apache-flume-1.9.0-bin/ /usr/local/hurys/dc_env/flume/flume190

echo '------------ 将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 ------------' | tee -a $log_file

#将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3

rm -rf /usr/local/hurys/dc_env/flume/flume190/lib/guava-11.0.2.jar

echo '------------ 修改配置文件flume-env.sh ------------' | tee -a $log_file

#修改配置文件flume-env.sh

cp /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh.template /usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh

cat>>/usr/local/hurys/dc_env/flume/flume190/conf/flume-env.sh<<EOF

export JAVA_HOME=$JAVA_HOME

export JAVA_OPTS="-Xms8000m -Xmx8000m -Dcom.sun.management.jmxremote"

EOF

echo '------------ 安装nc和telnet ------------' | tee -a $log_file

#安装nc和telnet

cd /usr/local/hurys/dc_env/flume/flume190/conf/

yum install -y nc

yum install telnet-server

yum install telnet.*

echo '------------ Complete ------------' | tee -a $log_file

四、Flume脚本安装步骤

(一)到Flume目录下,sh执行安装脚本

cd /usr/local/hurys/dc_env/flume/

sh flume-install.sh

更新telnet-server时,选择y

更新telnet时,选择y

(二)验证Flume,测试一下端口

首先,登录监视窗口

nc -lk 44444

然后,开启聊天窗口

telnet localhost 44444

接着,在聊天窗口输入 hello world

继而,监视窗口会自动出现 hello world

最后,在监视窗口ctrl+c退出

总的来说,Flume的安装还是非常简单的,我认为Flume玩法的关键之处就在于任务文件中各种参数的配置,如何配置参数才能及时的、完整的消费数据,这才是Flume的灵魂!

相关推荐
Data-Miner9 小时前
需要做财务数据分析,有什么好用的工具?从准备到出报告的实操指南
大数据·数据库·数据分析
阿里云大数据AI技术11 小时前
StarRocks × Paimon C++:加速湖上数据分析
大数据·人工智能
用户36105886261211 小时前
Flink 配置深度剖析:从配置加载到参数调优的完整指南
大数据·flink
ha_lydms11 小时前
Window Functions(窗口函数)
大数据·数据仓库·hadoop·spark·数据处理·dataworks·maxcompute
2601_9520477912 小时前
委外入库单同步:旺店通到金蝶云星空的实战配置
大数据·钉钉·制造
阿里云大数据AI技术12 小时前
【云栖实录】一切数据,皆可计算:MaxCompute 升级为AI Native全模态计算服务
大数据·人工智能·agent
珠海西格电力12 小时前
物联网(IoT)在零碳园区中的关键作用:万物互联与数据采集
大数据·人工智能·物联网·安全·系统架构·能源
AI产品测评官12 小时前
2026企业AI招聘选型指南:四类技术路线与硬科技场景适配方案
大数据·人工智能·科技·求职招聘·ai-native
SelectDB技术团队12 小时前
Snowflake 的开源替代怎么选:能力对照、三条部署路径与迁移执行
大数据·数据库·云原生·开源·snowflake·apache doris
Elastic 中国社区官方博客12 小时前
告别繁琐控制台:Kabanos 如何将 MongoDB Compass 的易用性带入 Elasticsearch
大数据·数据库·mongodb·elasticsearch·搜索引擎·全文检索