【Flink学习】(一)初识 Flink,大数据实时计算核心认知

本篇开始,博主整理Flink相关内容,帮助大家建立 Flink 整体认知,分清实时与离线计算差异,零基础快速入门。官方网址:https://flink.apache.org/

Apache Flink 是一款分布式、高性能、高吞吐、低延迟的开源流式计算引擎,支持流处理、批处理,目前大数据实时领域主流框架。

二、流处理与批处理

批处理

数据全部采集完成后统一计算,延迟高,代表框架 Hive、Spark Core

流处理

数据源源不断产生,来一条处理一条,秒级 / 毫秒级延迟,适合实时统计、实时监控

支持流批一体,一套代码适配离线、实时场景

内置精准时间语义,完美解决数据乱序问题

原生支持状态管理,可存储计算中间数据

强大容错机制,任务宕机自动恢复不丢数据

高可用、易扩展,支持大规模集群部署

实时大屏统计

实时日志分析

电商实时订单统计

用户行为实时分析

物联网实时数据处理等

DataStream API

底层代码 API,灵活度高,适合复杂自定义逻辑开发

类 SQL 语法,上手简单,开发效率高,企业数仓主流使用

六、学习前期准备

基础要求 :掌握 Java 基础、了解 Kafka 基础概念
环境准备:JDK1.8、Maven3.6+、IDEA 开发工具

相关推荐
喵个咪20 小时前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康20 小时前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
字节跳动数据平台21 小时前
火山引擎知识引擎VeKnow进化之路(下):让 AI 智能体更可用、更可信、更懂业务
大数据
Elastic 中国社区官方博客1 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
MyBili1 天前
Chrome隐私安全配置:完整防护指南
大数据·chrome·谷歌浏览器·隐私安全·浏览器防护·cookie管理·上网痕迹清理
真上帝的左手1 天前
19. 大数据-数据同步-工具
大数据·数据同步
数字孪生视频孪生1 天前
在线重构,实时同步:视频动态三维重建打造 “常更常新” 的数字底座
大数据·人工智能·重构·架构·空间计算
Aloudata1 天前
Claude 做数据分析的这两年:一份复盘与发展线索
大数据·数据库·人工智能·数据挖掘·数据分析·dataagent
云上工程笔记1 天前
SRT字幕一键转手绘动画:srt-whiteboard-animation的复刻实录
大数据·开发语言·javascript·人工智能·机器学习
isNotNullX1 天前
仓储管理最全框架:6大流程、8项指标、10个管理动作、12个常见问题
大数据·人工智能