flume配置

flume配置

  1. 下载并解压到指定文件夹
shell 复制代码
tar -zxvf apache-flume-1.11.0-bin.tar.gz -C /opt/software/
  1. 进入Flume安装目录的conf目录,将flume-env.sh.template重命名为flume-env.sh,Java安装目录添加至flume-env.sh文件末尾。

    shell 复制代码
    # 更改文件名称
    mv flume-env.sh.template flume-env.sh
    # 将一下配置内容写入文件
    export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64
  2. 删除Flume安装目录的lib目录下的guava-11.0.2.jar包,之后查看/etc/profile文件中的Hadoop安装目录,将Hadoop安装目录的/share/hadoop/common/lib/目录中的guava-27.0-jre.jar复制至Flume安装目录的lib目录。

    shell 复制代码
    # 进入文件夹中
    cd /opt/software/flume/lib
    # 删除
    rm -rf guava-11.0.2.jar
    # 进入文件夹
    cd /usr/local/hadoop-3.1.4/share/hadoop/common/lib
    # 复制到文件夹
    cp guava-27.0-jre.jar /opt/software/flume/lib/
  3. 在master节点的/etc/profile文件中配置Flume环境变量FLUME_HOME和PATH的值,并使配置文件立即生效,之后查看Flume版本,检测Flume是否安装成功。

    shell 复制代码
    # 配置环境变量
    vi /etc/profile
    # 添加文件内容
    export FLUME_HOME=/opt/software/flume
    export PATH=$PATH:$FLUME_HOEM/bin
    # 使环境变量生效
    source /etc/profile
    # 查看配置文件是否生效
    flume-ng

个人笔记:仅供参考如有错误望指正

相关推荐
七夜zippoe2 小时前
Agent 上线第一天就炸了:6 个生产事故的根因分析与修复记录
大数据·ai·agent·根因分析·修复记录
字节跳动数据平台4 小时前
不重拍,也能换道具、换商品、换画风?短剧转漫、电商换款新解法来了
大数据
武子康4 小时前
攻击动作做对了,游戏规则就对了吗?H3-World 与三条控制路线的分工
大数据·人工智能·agent
Lansonli5 小时前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
cc5725026535 小时前
数据科学与大数据技术专业考证清单有哪些?
大数据
喵个咪1 天前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康1 天前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
字节跳动数据平台1 天前
火山引擎知识引擎VeKnow进化之路(下):让 AI 智能体更可用、更可信、更懂业务
大数据
Elastic 中国社区官方博客1 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
MyBili1 天前
Chrome隐私安全配置:完整防护指南
大数据·chrome·谷歌浏览器·隐私安全·浏览器防护·cookie管理·上网痕迹清理