详解flink java基础(一)

文章目录

      • 1.流式处理flink介绍
      • [2.Flink SQL介绍](#2.Flink SQL介绍)
      • [3. Flink Runtime](#3. Flink Runtime)
      • 4.使用flink集成kafka
      • [5.使用Flink SQL进行有状态流处理](#5.使用Flink SQL进行有状态流处理)
      • [6.Event time & Watermarks](#6.Event time & Watermarks)
      • [7. flink Checkpoints & recovery](#7. flink Checkpoints & recovery)

1.流式处理flink介绍

实时服务依赖流式处理:

flink优点:

  • 高性能
  • 丰富的特性:

    构建flink的4个基础:

    Streaming:
  • 流是有序的事件
  • 业务数据总是一个流:有界流 或无界流
  • 对于flink,批处理仅是一个特殊的场景,在流运行时

    The job Graph(Topology):
    • 运行中的flink 应用称作job
    • 运行中的flink应用(job)以及通过数据管道处理称作JobGraph(工作图)
    • Job Graph是一个有向图(DAG),数据流从source流向sink,被operator处理

Stream processing:

  • Parallel:是由于分隔事件流成并行sub-stream,各自可以独立处理

  • Forward:重定向一个事件流,优化上下游衔接非常有效

  • Repartition(分隔)

  • Rebalance: rebalance非常昂贵,就像网络抖动一样,需要序列化每个事件,并且使用网络

  • broadcasting :广播数据到分布式系统集群

Stream processing with SQL:



例子:


Flink SQL的特点:


append-only 、insert-only

Flink SQL 模式:
1. Streaming and Batch

2. Streaming only模式

3.Batch only 模式:

通过docker运行flink SQL CLI

  • 安装dockerdesktop

  • 执行 docker compose version

  • 克隆 flink练习代码仓:https://github.com/confluentinc/learn-apache-flink-101-exercises.git

  • 进入本地clone项目的根目录,执行构建docker compose命令:

  • 运行sql-client

    docker compose run sql-client

  • 但sql-client启动成功,可以看到flink SQL CLi提示

    txt 复制代码
    Flink SQL>
  • 然后可以进行 Flink SQL的一些操作

运行时架构(runtime Architecture)

Flink streaming VS Batch

Streaming Batch
Bounded or unbounded streams only bounded streams
Entrie pipeline must always be running Execution proceeds in stages,running as needed
Input must be processed as it arrives Input may be pre-sorted by time and key
Results are reported as they become ready Results are repored at the end of the job
Failure recovery resumes from a recent snapshot Failure recovery does a reset and full restart
Flink guarantees effectively exactly-once result ,despite out-of-order data and restarts due to failures. Effectively exactly-once gurantees are more straightforward

flink task有三种状态:

  1. idle
  2. busy
  3. backpressured:the task is unable to send output downstream because the downstream task is busy

总结

streaming 提供了立刻响应的场景,如下:

  • 监控告警
  • 欺诈检测(fraud detection)

Batch processing 更好,因为它效率更高效

4.使用flink集成kafka

kafka主要组件

kafka架构

kafka事件结构:

flink table 与topic的映射关系

映射kafka topics成flink table

flink format

flink需要知道协作的kafka topic的数据格式是什么


Flink可以作为kafka,实时应用、流水线的计算层





6.Event time & Watermarks

Time

out-of-order event time

watermarks




kafka source operator 从kafka partition 读取



waermarkark就是分区的最小值 ,如:1:05

一旦watermark被生成,source会发送它到下游



flink job不产生结果的原因分析以及解决方法:



水印的使用(watermark):

1.checkpoint

  • checkpoint就是flink自动产生的快照,主要用于失败恢复
  • savepoint是一种手动创建的快照,主要为了运维的目的,如:有状态的升级->升级flink到最新的版本

flink使用Chandy-Lamport 分布式快照算法解决以下问题:

  • flink生成不是期望的结果
  • flink生成重复


    2.故障恢复(recovery)


    水印衡量着无序流中事件时间的进度
相关推荐
兴趣互联6 小时前
jeecgboot nacos2.3.2 使用pgsql
java
hudd6686 小时前
JavaEE 初阶 - 文件操作和IO
java·开发语言·java-ee
Flynn Liang7 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
学长毕设7 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Flynt8 小时前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
Resean02238 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
Tangq一定可以的8 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
wuyk5558 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
小巫编程室9 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
深入云栈9 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构