七天爆肝flink笔记

一.flink整体介绍及wordcount案例代码

1.1整体介绍

从上到下包含有界无界流 支持状态 特点 与spark对比 应用场景 架构分层

1.2示例代码

了解了后就整个demo吧

数据源准备 这里直接用的文本文件

gradle中的主要配置

Groovy 复制代码
group = 'com.example'
version = '0.0.1-SNAPSHOT'

java {
    sourceCompatibility = '11'
}

repositories {
    mavenCentral()
}

dependencies {
    implementation group: 'org.apache.flink', name: 'flink-streaming-java', version: '1.17.0'
    implementation group: 'org.apache.flink', name: 'flink-clients', version: '1.17.0'

}

代码

java 复制代码
package com.example.flinktest.test;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;

public class FlinkTurotial1_17 {

    public static void main(String[] args) throws Exception {

        //todo 1.创建执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

        //todo 2.读取数据
        DataStreamSource<String> stringDataStreamSource = env.readTextFile("D:\\juege\\code\\hope-backend\\opentech\\src\\main\\resources\\flinkTextSource.txt");

        //todo 3.进行数据处理 先 flatmap 再 keyby 再 sum 再打印输出
        stringDataStreamSource.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
            @Override
            public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
                String[] words = s.split(" ");
                for (String word : words) {
                    if ("".equals(word)) {
                        continue;
                    }
                    collector.collect(new Tuple2<>(word, 1));
                }
            }
        }).keyBy(0).sum(1).print();

        //todo 4.执行任务
        env.execute("pantouyu");
    }

}

运行后控制台效果如下

二.flink部署(集群 standalone yarn)

相关推荐
循环过三天14 分钟前
3-1 PID算法改进(积分部分)
笔记·stm32·单片机·学习·算法·pid
之歆41 分钟前
Python-封装和解构-set及操作-字典及操作-解析式生成器-内建函数迭代器-学习笔记
笔记·python·学习
小高不会迪斯科1 小时前
MIT 6.824学习心得(1) 浅谈分布式系统概论与MapReduce
大数据·mapreduce
TDengine (老段)1 小时前
使用 StatsD 向 TDengine 写入
java·大数据·数据库·时序数据库·iot·tdengine·涛思数据
Gauss松鼠会1 小时前
GaussDB权限管理:从RBAC到精细化控制的企业级安全实践
大数据·数据库·安全·database·gaussdb
时序数据说1 小时前
时序数据库IoTDB用户自定义函数(UDF)使用指南
大数据·数据库·物联网·开源·时序数据库·iotdb
DKPT2 小时前
Java组合模式实现方式与测试方法
java·笔记·学习·设计模式·组合模式
大师兄带你刨AI2 小时前
「AI产业」| 《中国信通院&华为:智能体技术和应用研究报告》
大数据·人工智能
武子康2 小时前
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
大数据·后端·zookeeper
受之以蒙2 小时前
Rust & WASM 之 wasm-bindgen 基础:让 Rust 与 JavaScript 无缝对话
前端·笔记·rust