flink 核心概念(个人总结)

flink是一个强大的分布式流处理和批处理框架,具有低延迟、容错性、高吞吐量和灵活的api优势。

在flink里面有七个核心概念。

数据流(datastream)

flink将数据视为流,无论是实时的无界数据流还是有界的数据流。

a.无界数据流:实时生成的数据流,没有结束点,例如实时交易数据

b.有界数据流:有明确开始和结束点的数据流,例如批量处理的历史数据。

转换操作(transformations)

转换操作是对数据流进行处理的计算单元,flink提供了多种内置的转换操作,例如:

  1. map: 对数据流中的每个元素应用一个转换函数
  2. flatmap:将一个元素转换为多个元素
  3. filter:基于一个条件过滤数据流中的元素
  4. KeyBy:根据指定的键将数据流中的元素分组
  5. Aggregate:对数据流中的元素进行聚合操作
  6. Window:在数据流上定义窗口,并在窗口中进行计算

状态(state)

flink支持有状态的流处理,它可以存储和访问数据流处理过程中的状态信息。

状态:在处理数据时,flink可以维护状态,这对于实现复杂逻辑如窗口操作和聚合是有必要的。

时间(state)

flink处理事件时间和摄取时间

事件时间:事件实际发生的时间

摄取时间:事件到达系统的时间

处理时间:事件被处理的时间

窗口(Window)

窗口是处理无界数据流的一种方法,它将数据流切分成有限大小的块进行处理。

1.滚动窗口:固定大小的窗口,当新的事件到达时,窗口会向前滚动。

2.滑动窗口: 窗口在数据流上滑动,可以覆盖多个时间间隔

3.会话窗口:基于事件之间的活跃期定义的窗口

容错(Fault Tolerance)

通过分布式快照机制提供容错性,它可以周期性地对状态进行快照,以便在发生故障时恢复。

1.检查点(checkpoint): flink定期创建状态和流数据的一致性快照

2.端到端容错:从数据源到数据输出的整个处理流程中,flink都能保证数据不丢失。

并行和分布(Parallelism and Distribution)

flink应用的并行度和分布性是设计时的关键考虑因素。

1.并行度:flink应用可以配置并行度,以决定任务被拆分成多少个子任务执行。

2.任务槽:flink在taskmanager中分配任务槽来执行并行任务。

相关推荐
SQL必知必会7 分钟前
SQL 数据分析入门:如何把业务问题翻译成 SQL 查询
大数据·sql·数据分析
财迅通Ai11 分钟前
德福科技2025年净利增长145.91% 高端突破引领成长新篇
大数据·人工智能·科技·德福科技
xinlianyq39 分钟前
DeFi监管框架落地,美国认定多数代币为大宗商品
大数据·人工智能·区块链
璞华Purvar1 小时前
2026医疗器械敷料与功能性护肤品行业PLM解决方案:璞华易研PLM+AI破解妆械一体化研发难题
大数据·人工智能
2501_933329551 小时前
AI 赋能媒介宣发新范式:Infoseek 重构企业品牌传播效率
大数据·人工智能·自然语言处理·架构
科技风向标go1 小时前
2026 年中国消费级监控售后现状与行业发展趋势研究;安防监控怎么选?认准全国联保 + 真质保更安心
大数据·网络·人工智能·监控·户外安防
早睡早起早日毕业2 小时前
大数据管理与应用系列丛书《大数据平台架构》之第12章 综合实践——日志采集分析系统
大数据·架构
juniperhan2 小时前
Flink 系列第18篇:Flink 动态表、连续查询与 Changelog 机制
java·大数据·数据仓库·分布式·flink
juniperhan2 小时前
Flink 系列第19篇:深入理解 Flink SQL 的时间语义与时区处理:从原理到实战
java·大数据·数据仓库·分布式·sql·flink
是有头发的程序猿2 小时前
AI agent电商运营成本管控:1688运费核算及自动下单付款Python实操教程
大数据·开发语言