【Flume 】Windows安装步骤、配置环境

🛠 Flume 是什么?

Apache Flume 是一个高效、可靠、可扩展的数据收集系统,通常用于收集日志、流数据,比如收集数据到 HDFS、Kafka 等。

虽然 Flume 本身是为 Linux 服务器设计的,但 在 Windows 本地也是能跑起来的(需要一点小技巧)。


📥 1. 下载 Flume 安装包

官网地址

👉 https://flume.apache.org/download.html

但是官网只提供源代码,需要自己编译(超麻烦)。

所以通常推荐直接下载已经编译好的二进制版本:

推荐直接下稳定版 1.9.0 二进制包

✅ 下载链接(已经编译好的):

https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz


📦 2. 解压 Flume 包

比如你放到:

复制代码
D:\flume\apache-flume-1.9.0-bin

🛠 3. 配置环境变量(很重要)

  1. 新增环境变量 FLUME_HOME:

    复制代码
    D:\flume\apache-flume-1.9.0-bin
  2. 在系统 Path 中添加:

    复制代码
    %FLUME_HOME%\bin

✅ 配置好后,在 cmd 命令行执行:

bash 复制代码
flume-ng version

如果正常输出版本号,比如:

复制代码
Flume 1.9.0

就说明安装成功!


⚙ 4. Flume 运行还需要 Java 和 Hadoop(可选)

  • Flume 依赖 Java 8(必须有 JAVA_HOME)
  • 有些 sink(比如写入 HDFS)需要 Hadoop,但一般收集到 Kafka、文件就不用。

确保:

bash 复制代码
java -version

能跑通!


🚀 5. Windows 下启动 Flume 示例

比如启动一个最简单的 Flume agent:

bash 复制代码
flume-ng agent --conf conf --conf-file conf/flume-conf.properties.template --name a1 -Dflume.root.logger=INFO,console

conf/flume-conf.properties.template 是默认的配置模板文件,你可以自己复制一份修改!


📢 注意事项

项目 注意事项
Windows路径 注意 Flume 配置文件中,路径分隔符要用 \\
Hadoop 如果用 HDFS Sink,需要 Hadoop client,但 Kafka Sink不用
服务端口 Windows有时会占用端口,记得检查

✨ 总结一波

步骤 内容
1 下载 Flume 二进制包
2 解压并配置环境变量
3 验证 flume-ng 命令
4 启动 Flume agent 测试

相关推荐
weixin_750330234 小时前
AI获客工具选型:从技术架构看中小企业效率提升方案
大数据·人工智能·架构·ai获客
mpp0075 小时前
36氪《2026 中国 AI Agent 行业发展报告》:当 Agent 进入「交付」主战场
大数据·人工智能
johnsong8 小时前
当决策成为免费商品:思维成本崩溃背后的治理真空
大数据·人工智能
数字新视界9 小时前
动环监控系统优化数据中心管理,提升环境监测与安全效率
大数据·人工智能·数据中心·微模块机房·模块化机房
zhenaibo5219 小时前
如何向导师请教问题,才能得到有效建议?
大数据·人工智能·深度学习
生活愉甜9 小时前
森马SEMIR LAB全球首家概念店落地武康路,“WUKANG368”新地标就位
大数据·人工智能
乐迪信息10 小时前
港口船舶逆行怎么管?AI防爆摄像机搭载智能检测算法
大数据·人工智能·深度学习·算法·计算机视觉
和裕11 小时前
全纸结构重型纸箱能否满足 1 吨以上设备出口熏蒸豁免要求?通关合规性全解析
大数据·运维·网络·人工智能·算法
代码方舟11 小时前
零信任架构实战:基于天远运营商三要素简版V即时版查询构建自动化电子投保实名核验网关
大数据·人工智能·架构·自动化
呉師傅12 小时前
得力P2500、M2500系列打印机硒鼓加粉及清零方法【纯享版】
运维·网络·windows·电脑