七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码

1.1整体介绍

从上到下包含有界无界流 支持状态 特点 与spark对比 应用场景 架构分层

1.2示例代码

了解了后就整个demo吧

数据源准备 这里直接用的文本文件

gradle中的主要配置

Groovy 复制代码
group = 'com.example'
version = '0.0.1-SNAPSHOT'

java {
    sourceCompatibility = '11'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation group: 'org.apache.flink', name: 'flink-streaming-java', version: '1.17.0'
    implementation group: 'org.apache.flink', name: 'flink-clients', version: '1.17.0'

}

代码

java 复制代码
package com.example.flinktest.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class FlinkTurotial1_17 {

    public static void main(String[] args) throws Exception {

        //todo 1.创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //todo 2.读取数据
        DataStreamSource<String> stringDataStreamSource = env.readTextFile("D:\\juege\\code\\hope-backend\\opentech\\src\\main\\resources\\flinkTextSource.txt");

        //todo 3.进行数据处理 先 flatmap 再 keyby 再 sum 再打印输出
        stringDataStreamSource.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] words = s.split(" ");
                for (String word : words) {
                    if ("".equals(word)) {
                        continue;
                    }
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0).sum(1).print();

        //todo 4.执行任务
        env.execute("pantouyu");
    }

}

运行后控制台效果如下

二.flink部署(集群 standalone yarn)

相关推荐
HXR_plume15 分钟前
【计算机网络】王道考研笔记整理(1)计算机网络体系结构
网络·笔记·计算机网络
笑鸿的学习笔记31 分钟前
qt-C++语法笔记之Stretch与Spacer的关系分析
c++·笔记·qt
万米商云33 分钟前
企业物资集采平台解决方案:跨地域、多仓库、百部门——大型企业如何用一套系统管好百万级物资?
大数据·运维·人工智能
BigData共享40 分钟前
极致性能背后的黑科技?这个世上没有“银弹”!(三)
大数据
阿里云大数据AI技术40 分钟前
Flink Forward Asia 2025 主旨演讲精彩回顾
大数据·人工智能·flink
y_y_liang1 小时前
图生生AI商品换背景,高效商拍!
大数据·人工智能·ai·ai作画
王小王-1231 小时前
基于Hadoop的用户购物行为可视化分析系统设计与实现
大数据·hadoop·分布式·用户购物行为·电商日志分析
沐尘而生1 小时前
【AI智能体】智能音视频-硬件设备基于 WebSocket 实现语音交互
大数据·人工智能·websocket·机器学习·ai作画·音视频·娱乐
巴伦是只猫1 小时前
【机器学习笔记Ⅰ】3 代价函数
人工智能·笔记·机器学习
ZZZS05161 小时前
stack栈练习
c++·笔记·学习·算法·动态规划