七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码

1.1整体介绍

从上到下包含有界无界流 支持状态 特点 与spark对比 应用场景 架构分层

1.2示例代码

了解了后就整个demo吧

数据源准备 这里直接用的文本文件

gradle中的主要配置

Groovy 复制代码
group = 'com.example'
version = '0.0.1-SNAPSHOT'

java {
    sourceCompatibility = '11'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation group: 'org.apache.flink', name: 'flink-streaming-java', version: '1.17.0'
    implementation group: 'org.apache.flink', name: 'flink-clients', version: '1.17.0'

}

代码

java 复制代码
package com.example.flinktest.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class FlinkTurotial1_17 {

    public static void main(String[] args) throws Exception {

        //todo 1.创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //todo 2.读取数据
        DataStreamSource<String> stringDataStreamSource = env.readTextFile("D:\\juege\\code\\hope-backend\\opentech\\src\\main\\resources\\flinkTextSource.txt");

        //todo 3.进行数据处理 先 flatmap 再 keyby 再 sum 再打印输出
        stringDataStreamSource.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] words = s.split(" ");
                for (String word : words) {
                    if ("".equals(word)) {
                        continue;
                    }
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0).sum(1).print();

        //todo 4.执行任务
        env.execute("pantouyu");
    }

}

运行后控制台效果如下

二.flink部署(集群 standalone yarn)

相关推荐
koo36434 分钟前
李宏毅机器学习笔记33
人工智能·笔记·机器学习
IT伟哥36 分钟前
软件设计师重点笔记-3
笔记·软考·软件设计师·软考备考
航Hang*38 分钟前
第1章:初识Linux系统——第8节:查看/修改权限控制和ACL
linux·运维·服务器·笔记·操作系统
亚远景aspice1 小时前
亚远景热烈祝贺保隆科技通过ASPICE CL2评估
大数据·人工智能·物联网
赵谨言2 小时前
基于python大数据的城市扬尘数宇化监控系统的设计与开发
大数据·开发语言·经验分享·python
程序员小羊!2 小时前
Flink状态编程之算子状态(OperatorState)
大数据·flink
Peace & Love4872 小时前
C++初阶 -- 模拟实现list
开发语言·c++·笔记
摇滚侠3 小时前
Spring Boot3零基础教程,云服务停机不收费,笔记71
java·spring boot·笔记
丰锋ff3 小时前
英一2013年真题学习笔记
笔记·学习
TaoSense3 小时前
Milvus向量数据库介绍
大数据·人工智能