🛠 Flume 是什么?
Apache Flume 是一个高效、可靠、可扩展的数据收集系统,通常用于收集日志、流数据,比如收集数据到 HDFS、Kafka 等。
虽然 Flume 本身是为 Linux 服务器设计的,但 在 Windows 本地也是能跑起来的(需要一点小技巧)。
📥 1. 下载 Flume 安装包
官网地址
👉 https://flume.apache.org/download.html
但是官网只提供源代码,需要自己编译(超麻烦)。
所以通常推荐直接下载已经编译好的二进制版本:
推荐直接下稳定版 1.9.0 二进制包
✅ 下载链接(已经编译好的):
https://archive.apache.org/dist/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz
📦 2. 解压 Flume 包
比如你放到:
D:\flume\apache-flume-1.9.0-bin
🛠 3. 配置环境变量(很重要)
-
新增环境变量
FLUME_HOME
:D:\flume\apache-flume-1.9.0-bin
-
在系统 Path 中添加:
%FLUME_HOME%\bin
✅ 配置好后,在 cmd 命令行执行:
bash
flume-ng version
如果正常输出版本号,比如:
Flume 1.9.0
就说明安装成功!
⚙ 4. Flume 运行还需要 Java 和 Hadoop(可选)
- Flume 依赖 Java 8(必须有 JAVA_HOME)
- 有些 sink(比如写入 HDFS)需要 Hadoop,但一般收集到 Kafka、文件就不用。
确保:
bash
java -version
能跑通!
🚀 5. Windows 下启动 Flume 示例
比如启动一个最简单的 Flume agent:
bash
flume-ng agent --conf conf --conf-file conf/flume-conf.properties.template --name a1 -Dflume.root.logger=INFO,console
conf/flume-conf.properties.template
是默认的配置模板文件,你可以自己复制一份修改!
📢 注意事项
项目 | 注意事项 |
---|---|
Windows路径 | 注意 Flume 配置文件中,路径分隔符要用 \\ |
Hadoop | 如果用 HDFS Sink,需要 Hadoop client,但 Kafka Sink不用 |
服务端口 | Windows有时会占用端口,记得检查 |
✨ 总结一波
步骤 | 内容 |
---|---|
1 | 下载 Flume 二进制包 |
2 | 解压并配置环境变量 |
3 | 验证 flume-ng 命令 |
4 | 启动 Flume agent 测试 |
