flink

yyk333241 天前
大数据·flink
Flink详细讲解Flink是大数据里面的运算框架,它替代了MapReduce,按照流处理方式来处理数据,流处理指的是一条一条地处理数据。同时它也支持“流批一体”,把批处理看作是有界流。
且从容.10 天前
linux·ubuntu·flink
ubuntu安装flink建议沿用 Flink on YARN:在 master 安装、提交任务,由 YARN 在两个 worker 上启动计算进程。这样可以与 Spark 共用现有资源管理方式。
用户36105886261213 天前
大数据·flink
Flink 内存分配源码深度剖析:从启动计算到运行时动态分配的完整链路上一篇讲了 Flink 内存模型的整体架构(TaskManager 总内存 → JVM 进程内存 → 堆内/堆外 → 各内存区域),这篇聚焦 Flink 内存分配的源码深度剖析。TaskManager 启动时如何计算各内存区域大小?MemoryManager 如何管理堆外内存?NetworkBufferPool 和 LocalBufferPool 如何分配网络缓冲?Task 启动时如何分配内存?运行时如何动态申请和释放?Task 完成后如何回收?这篇从源码级别跟踪 Flink 内存分配的完整链路。
Thomas214315 天前
大数据·flink
flink paimon 参数 ignore_progress=true/*+ OPTIONS( 'scan.mode' = 'latest-full', 'consumer-id' = '${consumer_prefix}_brand_commodity', 'consumer.mode' = 'exactly-once', 'consumer.expiration-time' = '7 d', 'consumer.ignore-progress' = '${ignore_progress}' ) */
源图客15 天前
大数据·flink·apache
Apache Flink 2.3.0(最新版本)【学习目标】理解 Flink 的定义,能解释"框架与分布式处理引擎""无界/有界数据流""有状态计算"等关键词;
abigalexy16 天前
大数据·flink·big data·bigdata
Flink核心疑难问题、踩坑盲点-汇总POJO:以下示例数据模型业务场景:按订单“发生时间”统计每5分钟销售额,但代码直接使用处理时间窗口。
Sayai16 天前
大数据·运维·分布式·flink·kafka·消息队列·高可用
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)做日志平台迟早会遇到一个需求:两个数据中心(或两地三中心的"两地")都要有全量日志。监管审计要求容灾侧数据完整、故障切换时查询不中断、或者干脆是"总行一套、灾备一套"的硬性架构约束——这时候单中心自产自销的 Kafka + Elasticsearch 就不够用了,跨中心的日志同步必须安排上。
渣渣盟17 天前
android·大数据·flink
Flink 状态管理深度剖析:从 KeyedState 到 RocksDB,状态如何存储、恢复与扩缩容Flink 的状态管理是它区别于“无状态流处理框架”的核心能力,但多数人对它的理解停留在“用 ValueState 存个值”的 API 层面。这篇文章要回答三个生产级问题:状态到底存在哪里(内存还是 RocksDB 的 LSM-Tree)?Checkpoint 时到底上传了什么(全量还是增量)?并行度改了,状态会不会丢(KeyGroup 如何重新分配)? 读完你将能根据业务数据量正确选择状态后端,理解增量 Checkpoint 的共享文件机制与 Claim 模式的所有权约束,并在扩缩容时用精确的 KeyG
@小匠18 天前
大数据·hive·flink
Flink + Iceberg 批量失败复盘:一次超时如何变成 Hive Metastore 锁泄漏日期:2026-10-30本文是一次脱敏后的技术复盘,不包含业务名称、环境地址、凭据、库表名、作业名或数据内容。
Sayai18 天前
java·大数据·性能优化·flink·实时计算
Flink 日志解析任务性能优化实战:正则/Grok 预编译、Guava 缓存权重陷阱与 ES 写入隔离做过日志平台的人都懂:日志解析任务是整个链路里最"重"的一环——上游 Kafka 灌进来的是单条 KB 级的原始文本,中间要过正则/Grok/分隔符解析、字段丰富、时间补齐,最后同时写 ES、数仓和回写 Kafka。这类任务一旦吞吐掉队,表现是全家桶式的:GC 频繁甚至 OOM、Checkpoint 超时、Kafka Lag 一路飙红、ES 写入延迟堆积。
渣渣盟18 天前
大数据·sql·flink
Flink SQL 流批一体:从 SQL 到执行计划,优化器如何工作?Flink SQL 的“流批一体”经常被误解为“同一套 SQL 在流和批上跑出相同的结果”。这个理解只对了一半:语义统一不等于执行统一。这篇文章拆解 Blink Planner 的编译链路,用两个理论锚点(增量视图维护、Exchange 算子)解释流和批为什么必然在物理层分叉,并用四个带完整 EXPLAIN 输出的对照实验回答三个问题:同一条聚合 SQL 的执行计划如何分叉、COUNT(DISTINCT) 在倾斜负载下慢一个数量级的结构性根源到底是什么(本文给出可代入参数的状态基数模型与推演对比表)、以及
Flynn Liang21 天前
flink·kafka·iot·iotdb·emqx·乱序·时序数据
物联网时序数据乱序问题全链路治理:从设备到存储的五层实战(附 Flink/Kafka/IoTDB 配置级代码)关键词:IoT、时序数据、乱序、乱序治理、Flink、Watermark、事件时间、Kafka、幂等生产者、IoTDB、顺乱序分离、迟到数据、EMQX、allowedLateness
欢醉21 天前
starrocks·oracle·flink
Flink实时同步Oracle到StarRocks的几个踩坑经验分享最近在搞数据实时同步的活,把Oracle的业务数据实时同步到StarRocks给分析用。用的阿里云Flink最新版本 vvr-11.7-jdk11-flink-1.20。
用户36105886261222 天前
大数据·flink
Flink 注册Slot源码深度剖析:从TaskManager注册到Slot状态机的完整链路前面讲了 TaskManager 的启动流程,这篇聚焦 Slot 注册的源码实现。你有没有想过,TaskManager 启动后,Slot 是如何注册到 ResourceManager 的?SlotReport 是如何创建和上报的?SlotManager 内部是如何管理这些 Slot 的?Slot 的四种状态(FREE/PENDING/ALLOCATED/RELEASED)是如何转换的?这篇从源码级别深度剖析 Slot 注册的完整链路。
阿里云大数据AI技术22 天前
人工智能·flink
实时看、持续记、及时说,央视体育携手阿里云 Flink 打造大型赛事实时 AI 解说Agent赛事直播中的关键瞬间,往往只在几秒之间。泳池里,一次转身就可能改写领先关系;靶场上,一枪成绩就可能决定奖牌归属。解说需要紧跟画面,讲清赛场态势、项目规则、排名变化和比赛走势。比赛结束后,媒体还要第一时间找到精彩瞬间,完成高光剪辑并进入发布流程。
阿里云大数据AI技术23 天前
人工智能·flink·agent
阿里云Flink + Fluss年度发布:Streaming Agent 与湖流一体当 AI 从回答问题走向持续参与业务,挑战就不再只是“能否理解一次输入”,而是逐渐向24小时在线的Streaming Agent演进:赛事实时解说需要跟上每一次比分变化,门店实时巡检需要从连续画面中发现异常,实时决策则需要结合最新订单与历史记录作出判断。支撑这些场景,既要让视频、音频、文档等多模态数据在流动中被理解,也要让 Agent 随时获取新鲜、完整且可快速访问的业务上下文。
用户36105886261225 天前
大数据·flink
Flink Dispatcher启动流程源码深度剖析:从ClusterEntrypoint到JobMaster启动的完整链路上一篇讲了 Flink ResourceManager 的启动流程,RM 启动后会管理 Slot 和 TaskManager。这篇聚焦 Dispatcher——Flink 集群的作业分发器。你有没有想过,一条 flink run 命令提交的 JobGraph,是如何到达集群并启动作业的?Dispatcher 内部依次初始化了哪些组件?JobManagerRunner 是如何被创建和启动的?Application 模式下用户 main 为什么在 Dispatcher 启动时执行?这篇从 ClusterEnt
用户3610588626121 个月前
大数据·flink
Flink ApplicationMaster启动流程源码深度剖析:从YARN提交到JobMaster启动的完整链路在 YARN 上运行 Flink 作业时,你有没有想过,一条 flink run-application 命令背后,YARN 是如何分配容器、启动 ApplicationMaster 的?AM 进程启动后,Flink 内部又依次启动了哪些组件?Dispatcher、ResourceManager、JobMaster 是按什么顺序启动的?Application 模式下用户 main 方法为什么在 AM 端执行?这篇从 YARN 层面的容器分配讲起,深入 Flink ApplicationMaster 内部启
智码看视界1 个月前
flink·实时计算·状态管理·流处理·大数据架构·kafkastreams·流处理选型
技术选型指南:Kafka Streams vs Flink:流处理框架选型实战对比与性能压测先澄清一个常见误解:Kafka Streams 和 Flink 不是"同一类东西"的竞品,而是"同一目标的不同形态"。
用户3610588626121 个月前
大数据·flink
Flink 配置深度剖析:从配置加载到参数调优的完整指南每个 Flink 开发者都在和配置打交道——flink-conf.yaml 里密密麻麻的参数,提交命令里的 -D 动态属性,代码里的 env.getConfig() 设置。但你真的理解 Flink 配置体系吗?五种配置来源的优先级是什么?GlobalConfiguration 是怎么加载配置的?ConfigOption 如何实现类型安全读取?哪些配置支持运行时动态修改?内存、并行度、Checkpoint、状态后端、网络这些核心参数该怎么调?这篇从 Flink 配置体系的整体架构讲起,深入配置加载源码,剖析