七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码

1.1整体介绍

从上到下包含有界无界流 支持状态 特点 与spark对比 应用场景 架构分层

1.2示例代码

了解了后就整个demo吧

数据源准备 这里直接用的文本文件

gradle中的主要配置

Groovy 复制代码
group = 'com.example'
version = '0.0.1-SNAPSHOT'

java {
    sourceCompatibility = '11'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation group: 'org.apache.flink', name: 'flink-streaming-java', version: '1.17.0'
    implementation group: 'org.apache.flink', name: 'flink-clients', version: '1.17.0'

}

代码

java 复制代码
package com.example.flinktest.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class FlinkTurotial1_17 {

    public static void main(String[] args) throws Exception {

        //todo 1.创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //todo 2.读取数据
        DataStreamSource<String> stringDataStreamSource = env.readTextFile("D:\\juege\\code\\hope-backend\\opentech\\src\\main\\resources\\flinkTextSource.txt");

        //todo 3.进行数据处理 先 flatmap 再 keyby 再 sum 再打印输出
        stringDataStreamSource.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] words = s.split(" ");
                for (String word : words) {
                    if ("".equals(word)) {
                        continue;
                    }
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0).sum(1).print();

        //todo 4.执行任务
        env.execute("pantouyu");
    }

}

运行后控制台效果如下

二.flink部署(集群 standalone yarn)

相关推荐
武子康5 分钟前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
使一颗心免于哀伤1 小时前
《设计模式之禅》笔记摘录 - 21.状态模式
笔记·设计模式
expect7g1 小时前
Flink KeySelector
大数据·后端·flink
阿里云大数据AI技术17 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35221 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康1 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
_落纸2 天前
三大基础无源电子元件——电阻(R)、电感(L)、电容(C)
笔记
Alice-YUE2 天前
【CSS学习笔记3】css特性
前端·css·笔记·html