一、环境搭建步骤
安装配置 JDK1.8,配置环境变量
安装 Maven 并配置本地仓库与镜像源
IDEA 配置 Maven 环境,创建 Maven 项目
二、引入 Flink 核心依赖
xml
<!-- Flink流式计算核心依赖 -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java</artifactId>
<version>1.17.0</version>
</dependency>
<!-- Flink客户端依赖 -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients</artifactId>
<version>1.17.0</version>
</dependency>
三、Flink 程序开发五步法
1、获取流式执行环境
2、定义数据源 Source
3、调用转换算子处理数据
4、定义数据输出 Sink
5、触发任务执行
四、实战案例
java
public class FlinkFirstDemo {
public static void main(String[] args) throws Exception {
// 1. 获取流执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
// 设置全局并行度
env.setParallelism(1);
// 2. 读取本地文本文件作为数据源
DataStreamSource<String> fileStream = env.readTextFile("D:/test.txt");
// 3. 数据拆分处理
SingleOutputStreamOperator<String> wordStream = fileStream.flatMap((String line, Collector<String> collector) -> {
String[] words = line.split(" ");
for (String word : words) {
collector.collect(word);
}
});
// 分组求和统计次数
wordStream.map(word -> new Tuple2<>(word, 1))
.keyBy(tuple -> tuple.f0)
.sum(1)
.print();
// 5. 执行任务
env.execute("第一个Flink入门程序");
}
}
五、本地运行测试
直接运行 main 方法,控制台自动输出单词统计结果,完成首个 Flink 程序开发。