Flink笔记

下面是你提供的文字整理后的结果:

  1. Flink是一个针对流数据和批数据的分布式处理引擎,同时支持原生流处理的开源框架。
  • 延迟低(毫秒级),且能够保证消息传输不丢失不重复。

  • 具有非常高的吞吐(每秒千万级)。

  • 支持原生流处理。

  • 容错性高,基于checkpoint机制。

  • 处理模型:单条事件处理;Spark Streaming是一个事件窗口内的所有事件。

  • 部署相对简单,只依赖JRE环境。

  • 应用场景:实时监控(用户行为预警);实时报表(双11直播大屏);实时个性化推荐;数据仓库(实时数据清洗、归并)。

  1. 流计算与批计算对比:
  • 流式计算实时、低延迟,批量计算非实时、高延迟。

  • 流式计算一般针对动态、无边界的数据,批量计算一般针对静态数据。

  • 流式计算任务是持续运行的,批量计算任务一次性完成。

  1. Flink的核心特性:
  • 事件时间:Flink应用程序需要从原始数据中解析出事件时间,并设置给Flink,用于时间窗口计算。

  • 灵活的窗口操作。

  • 可以处理超出主内存大小限制的数据,减少垃圾收集开销。

  • 对象序列化二进制存储。

  1. Flink的部署:
  • Application:每个Application对应一个Runtime,一个Application中可以包含多个Job。

  • JobManager:每个集群至少有一个,负责管理整个集群的计算资源。

  • JobManager向ResourceManager申请slot资源。

  • TaskManager:每个集群有多个TaskManager,TaskManager通过心跳与JobManager通信,每个TaskManager可以有多个Task slot。

  • 单个Slot可以用于一个或多个Task执行,但相同的Task不能在一个Slot中运行。

  • Client:执行main方法解析JobGraph对象,并提交给JobManager。

  1. Flink的API:
  • 开源实现的MapReduce模型,包含三个阶段:Map、Shuffle、Reduce。

  • 水位线:用于处理实时数据中的乱序问题,保证在一个特定事件后必须触发窗口进行计算。

  • 窗口的触发时机是窗口截至时间<=当前的Watermark。

  • 其他特性包括:window Evictor(数据清除器),OutputTag(分流标签),AsyncFunction(异步查询补充数据)。

  1. 状态管理:
  • Flink中的KeyBy算子根据指定的Key将数据流分区。

  • 默认的checkpoint interval为500ms。

  • savepoint用于手动触发保存状态数据,用于发版等情况,与checkpoint保存的内容相同。

  1. Table API:
  • 表的数据存储在catalog中,临时表存储在内存中,永久表存储在外部catalog中,比如Hive Catalog。
  1. 其他概念和接口:
  • RichParallelSourceFunction:并发数据源。

  • CheckpointListener:通知checkpoint完成。

  • CheckpointedFunction:定义快照实现。

  • ResultTypeQueryable接口:通过输入格式和功能明确告知API返回类型。

  • 数据源mq会进行数据分区,在多个Flink并发实例的情况下,并发消费以提高效率。

  1. 关于消费者和生产者的速度和消息堆积的问题:
  • 消费者的平均速度一定是大于生产者的平均速度,否则会造成消息堆积,mq通过offset来控制消费偏移量,但是还会保存一段时间的历史数据用来消息回溯和查询,一般是7天,保存数据的时候starRocks可以通过排序键做幂等 -算子本身不需要实现CheckpointedFunction的snapshotState方法就能实现State的保存,这是由Flink本身的机制实现的,snapshotState方法会在每次正常checkpoint的时候调用 -Flink本身支持starRocks,并且实现了snapshotState,功能是把缓存的待写入数据库的数据刷盘到starRocks,这样会有问题,就是每次checkpoint的时候都会把数据强制刷盘到数据库,这是一个同步处理,可能会造成写库很慢,消息堆积
相关推荐
天硕国产存储技术站6 小时前
DualPLP 双重掉电保护赋能 天硕工业级SSD筑牢关键领域安全存储方案
大数据·人工智能·安全·固态硬盘
雷文成.思泉软件7 小时前
以ERP为核心、企微为门户,实现一体化集成
大数据·低代码·创业创新
东哥说-MES|从入门到精通8 小时前
数字化部分内容 | 十四五年规划和2035年远景目标纲要(新华社正式版)
大数据·人工智能·数字化转型·mes·数字化工厂·2035·十四五规划
南飞测绘视界9 小时前
上市公司绿色专利申请、授权数据(1999-2024年)
大数据·专利·上市公司
一个天蝎座 白勺 程序猿10 小时前
KingbaseES在政务领域的应用实践——武汉人社大数据平台“数字化服务新模式”
大数据·数据库·政务·kingbasees·金仓数据库
pale_moonlight10 小时前
十、 Scala 应用实践 (上)
大数据·开发语言·scala
第二只羽毛11 小时前
遵守robots协议的友好爬虫
大数据·爬虫·python·算法·网络爬虫
Elastic 中国社区官方博客11 小时前
使用 A2A 协议和 MCP 在 Elasticsearch 中创建一个 LLM agent 新闻室:第二部分
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
安达发公司12 小时前
安达发|告别手工排产!车间排产软件成为中央厨房的“最强大脑”
大数据·人工智能·aps高级排程·aps排程软件·安达发aps·车间排产软件
武子康12 小时前
大数据-166 Apache Kylin 1.6 Streaming Cubing 实战:Kafka 到分钟级 OLAP
大数据·后端·apache kylin