Flum--环境搭建实验

1.解压flum安装包

解压到/opt/module下:

bash 复制代码
tar -zxvf /opt/software/apache-flume-1.9.0-bin.tar.gz -C /opt/module/

2.修改flum名字:

bash 复制代码
mv /opt/module/apache-flume-1.9.0-bin /opt/module/flume

3.将lib文件夹下的guava-11.0.2.jar删除以兼容Hadoop 3.1.3

bash 复制代码
rm /opt/module/flume/lib/guava-11.0.2.jar

4.修改conf下的log4j.properties确定日志打印的位置

#console表示同时将日志输出到控制台

flume.root.logger=INFO,LOGFILE,console

#固定日志输出的位置

flume.log.dir=/opt/module/flume/logs

#日志文件的名称

flume.log.file=flume.log

  1. flume-ng agent -n agentName -f confFile:启动 Flume,其中 agentName 为你指定的 agent 名称,confFile 为你所编写的 Flume 配置文件。

  2. flume-ng agent -n agentName -f confFile -Dflume.root.logger=DEBUG,console:以调试模式启动 Flume,将日志输出到控制台。

  3. flume-ng version:查看当前安装的 Flume 版本。

  4. flume-ng help:查看 Flume 命令帮助。

相关推荐
花酒锄作田19 小时前
Pydantic校验配置文件
python
hboot19 小时前
AI工程师第四课 - 深度学习入门
pytorch·python·神经网络
ZhengEnCi1 天前
P2M-Matplotlib折线图完全指南-从数据可视化到趋势分析的Python绘图利器
python·matlab·数据可视化
ZhengEnCi1 天前
P2L-Matplotlib饼图完全指南-从数据可视化到图表定制的Python绘图利器
python·matlab
曲幽1 天前
你的REST接口还在“过度投喂”数据吗?——FastAPI + GraphQL实战避坑指南
python·fastapi·web·graphql·route·cors·rest·strawberry
用户8358086187911 天前
基于 Self-RAG 与列表级重排序的进阶 RAG 系统设计与实现
python
Warson_L2 天前
Python `Annotated` 与 LangGraph Reducer 学习笔记
python
韩师傅2 天前
海天线算法的前世今生
python·计算机视觉
韩师傅2 天前
当你的甲方设备过烂,要如何快速出效果?
python·计算机视觉
Warson_L2 天前
LangGraph的MessageState and HumanMessage
python