Flink中提供了3个组件,包括DataSource、Transformation和DataSink 。
DataSource:表示数据源组件,主要用来接收数据,目前官网提
供了readTextFile、socketTextStream、fromCollection以及一些第三方的Source。
Transformation:表示算子,主要用来对数据进行处理,比如Map、FlatMap、Filter、Reduce、Aggregation等。
DataSink:表示输出组件,主要用来把计算的结果输出到其他存
储介质中,比如writeAsText以及Kafka、Redis、Elasticsearch
等第三方Sink组件。
因此,想要组装一个Flink Job,至少需要这3个组件。
以下来看一个flink的入门程序
首先项目里面引入依赖
bash
<!--flink集成-->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.13.1</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.13.1</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.13.1</version>
</dependency>
在这里我使用的是1.13.1版本
开发 Flink 程序有固定的流程
(1)获得 一个执行环境
(2)加载/创建初始化数据
(3)指定操作数据的 Transaction算子
(4)指定计算好的数据的存放位置
(5)调用 execute()触发执行程序
入门案例:flink从文件中读取数据,并统计word的个数,具体代码如下
bash
public static void main(String[] args) throws Exception{
//获得执行环境
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//加载或创建具体数据源
DataStream<Tuple2<String, Integer>> dataStream =
env.readTextFile("C:\\d_disk\\zq_project\\interesting\\src\\main\\resources\\22.txt")
.flatMap(new Splitter())
.keyBy(value -> value.f0) //按照元组里面的第一个元素分组
//.window(TumblingProcessingTimeWindows.of(Time.seconds(5))) //时间窗口
.sum(1);//按照元组里面的第二个元素求和
dataStream.print();
env.execute("wordCount");
}
public static class Splitter implements FlatMapFunction<String, Tuple2<String, Integer>> {
@Override
public void flatMap(String sentence, Collector<Tuple2<String, Integer>> out) throws Exception {
//根据空格切割行文本
for (String word: sentence.split(" ")) {
//把每个切割后的word放到一个二维元组里面,并计数为1
out.collect(new Tuple2<String, Integer>(word, 1));
}
}
}
txt文本内容如下
bash
apple iphone
orange text
apple orange
dog dog cat pig
控制台打印效果如下
bash
1> (cat,1)
5> (orange,1)
7> (apple,1)
2> (text,1)
3> (dog,1)
3> (dog,2)
3> (pig,1)
5> (orange,2)
6> (iphone,1)
7> (apple,2)