详解flink java基础(一)

文章目录

      • 1.流式处理flink介绍
      • [2.Flink SQL介绍](#2.Flink SQL介绍)
      • [3. Flink Runtime](#3. Flink Runtime)
      • 4.使用flink集成kafka
      • [5.使用Flink SQL进行有状态流处理](#5.使用Flink SQL进行有状态流处理)
      • [6.Event time & Watermarks](#6.Event time & Watermarks)
      • [7. flink Checkpoints & recovery](#7. flink Checkpoints & recovery)

1.流式处理flink介绍

实时服务依赖流式处理:

flink优点:

  • 高性能
  • 丰富的特性:

    构建flink的4个基础:

    Streaming:
  • 流是有序的事件
  • 业务数据总是一个流:有界流 或无界流
  • 对于flink,批处理仅是一个特殊的场景,在流运行时

    The job Graph(Topology):
    • 运行中的flink 应用称作job
    • 运行中的flink应用(job)以及通过数据管道处理称作JobGraph(工作图)
    • Job Graph是一个有向图(DAG),数据流从source流向sink,被operator处理

Stream processing:

  • Parallel:是由于分隔事件流成并行sub-stream,各自可以独立处理

  • Forward:重定向一个事件流,优化上下游衔接非常有效

  • Repartition(分隔)

  • Rebalance: rebalance非常昂贵,就像网络抖动一样,需要序列化每个事件,并且使用网络

  • broadcasting :广播数据到分布式系统集群

Stream processing with SQL:



例子:


Flink SQL的特点:


append-only 、insert-only

Flink SQL 模式:
1. Streaming and Batch

2. Streaming only模式

3.Batch only 模式:

通过docker运行flink SQL CLI

  • 安装dockerdesktop

  • 执行 docker compose version

  • 克隆 flink练习代码仓:https://github.com/confluentinc/learn-apache-flink-101-exercises.git

  • 进入本地clone项目的根目录,执行构建docker compose命令:

  • 运行sql-client

    docker compose run sql-client

  • 但sql-client启动成功,可以看到flink SQL CLi提示

    txt 复制代码
    Flink SQL>
  • 然后可以进行 Flink SQL的一些操作

运行时架构(runtime Architecture)

Flink streaming VS Batch

Streaming Batch
Bounded or unbounded streams only bounded streams
Entrie pipeline must always be running Execution proceeds in stages,running as needed
Input must be processed as it arrives Input may be pre-sorted by time and key
Results are reported as they become ready Results are repored at the end of the job
Failure recovery resumes from a recent snapshot Failure recovery does a reset and full restart
Flink guarantees effectively exactly-once result ,despite out-of-order data and restarts due to failures. Effectively exactly-once gurantees are more straightforward

flink task有三种状态:

  1. idle
  2. busy
  3. backpressured:the task is unable to send output downstream because the downstream task is busy

总结

streaming 提供了立刻响应的场景,如下:

  • 监控告警
  • 欺诈检测(fraud detection)

Batch processing 更好,因为它效率更高效

4.使用flink集成kafka

kafka主要组件

kafka架构

kafka事件结构:

flink table 与topic的映射关系

映射kafka topics成flink table

flink format

flink需要知道协作的kafka topic的数据格式是什么


Flink可以作为kafka,实时应用、流水线的计算层





6.Event time & Watermarks

Time

out-of-order event time

watermarks




kafka source operator 从kafka partition 读取



waermarkark就是分区的最小值 ,如:1:05

一旦watermark被生成,source会发送它到下游



flink job不产生结果的原因分析以及解决方法:



水印的使用(watermark):

1.checkpoint

  • checkpoint就是flink自动产生的快照,主要用于失败恢复
  • savepoint是一种手动创建的快照,主要为了运维的目的,如:有状态的升级->升级flink到最新的版本

flink使用Chandy-Lamport 分布式快照算法解决以下问题:

  • flink生成不是期望的结果
  • flink生成重复


    2.故障恢复(recovery)


    水印衡量着无序流中事件时间的进度
相关推荐
一棵树73512 分钟前
Android OpenGL ES初窥
android·大数据·elasticsearch
回忆是昨天里的海4 分钟前
k8s集群-节点间通信之安装kube-flannel插件
java·docker·kubernetes
信仰_27399324316 分钟前
Mybatis-Spring重要组件介绍
java·spring·mybatis
盖世英雄酱5813617 分钟前
java深度调试【第二章通过堆栈分析性能瓶颈】
java·后端
阿里云云原生20 分钟前
无需接入执行器,0 代码改造实现微服务任务调度
微服务
没有bug.的程序员26 分钟前
AOP 原理深剖:动态代理与 CGLIB 字节码增强
java·spring·aop·动态代理·cglib
2401_8370885027 分钟前
ResponseEntity - Spring框架的“标准回复模板“
java·前端·spring
阿里云云原生29 分钟前
基于 Spring AI Alibaba + Nacos 的分布式 Multi-Agent 构建指南
微服务
lang201509281 小时前
Spring Boot RSocket:高性能异步通信实战
java·spring boot·后端
白鲸开源1 小时前
(二)从分层架构到数据湖仓架构:数据仓库分层下的技术架构与举例
大数据·数据库·数据分析