【Flink】

事件驱动型应用

核心目标:数据流上的有状态计算

Apache Flink是一个框架和分布式处理引擎,用于对无界或有界数据流进行有状态计算。

运行逻辑

状态

把流处理需要的额外数据保存成一个"状态",然后针对这条数据进行处理,并且更新状态。这就是所谓的"有状态的流处理"。

无界数据和有界数据

无界数据流

有定义流的开始,但没有定义流的结束

它们会无休止的产生数据

无界流的数据必须持续处理,即数据被摄取后需要立刻处理。我们不能等到所有数据都到达再处理,因为输入是无限的。

有界数据流

有定义流的开始,也有定义流的结束;

有界流可以在摄取所有数据后再进行计算;

有界流所有数据可以被排序,所以并不需要有序摄取;

有界流处理通常被称为批处理。

Flink主要特点

高吞吐和低延迟:每秒处理数百万个事件,毫秒级延迟。

结果的准确性:Flink提供了事件时间(event-time )和处理时间(processing-time)语义。对于乱序事件流,事件时间语义仍然能提供一致且准确的结果。

精确一次(exactly-once)的状态一致性保证。

可以连接到最常用的存储系统,如Kafka、 Hive、JDBC、HDFS、 Redis等。

高可用:本身高可用的设置,加上与K8s, YARN和Mesos的紧密集成,再加上从故障中快速恢复和动态扩展任务的能力,Flink能做到以极少的停机时间7×24全天候运行。

spark以批处理为根本

flink以流处理为根本

应用场景

1)电商和市场营销

举例:实时数据报表、广告投放、实时推荐

2)物联网( IOT )

举例:传感器实时数据采集和显示、实时报警,交通运输业

3)物流配送和服务业

举例:订单状态实时更新、通知信息推送

4)银行和金融业

举例:实时结算和通知推送,实时检测异常行为

相关推荐
千殇华来5 分钟前
电子元器件库存管理分类方法
大数据·数据库管理员·储存管理
反向跟单策略28 分钟前
期货反向跟单-贵金属牛市中的反向跟单密码
大数据·人工智能·学习·数据分析·区块链
万邦科技Lafite29 分钟前
阿里巴巴商品详情API返回值:电商精准营销的关键
大数据·数据库·人工智能·电商开放平台
说私域36 分钟前
基于AI智能名片链动2+1模式服务预约小程序的旅拍消费需求激发路径研究
大数据·人工智能·小程序
Hello.Reader1 小时前
Flink Source/Sink 的 Exactly-Once、At-Least-Once 到底意味着什么?
大数据·flink
智驱力人工智能1 小时前
守护矿山动脉 矿山皮带跑偏AI识别系统的工程化实践与价值 皮带偏离检测 皮带状态异常检测 多模态皮带偏离监测系统
大数据·人工智能·opencv·算法·安全·yolo·边缘计算
binbinaishijie881 小时前
Matlab读取CSV数据并处理实战指南:从入门到精通
大数据·数据库·其他·matlab
数琨创享TQMS质量数智化1 小时前
数琨创享成功入选江苏省首批入库培育数据企业,踏入数智发展新征程
大数据
WLJT1231231232 小时前
接插件:电子系统的连接核心与产业赋能
大数据·人工智能·科技·安全·生活
无心水2 小时前
2026全球与中国形势深度解析:政治格局、经济金融、科技突破与国家规划(附数据图表)
大数据·科技·金融