flink

潘达斯奈基~7 小时前
大数据·flink·aigc
Google AI Studio使用1:创建Flink测试题APP最近学习Flink,为了快速掌握它,使用了Google AI Studio的build创建了一个APP,用于测试Flink的掌握程度。
jiedaodezhuti12 小时前
大数据·flink
Flink on YARN 实战问题排查指南(精华版)一、客户端常见问题速查 ‌1. JAR加载失败终极解法‌报错提示:"Could not build the program from JAR file" 核心原因:80%的情况是Hadoop依赖缺失 黄金配置:
Hello.Reader17 小时前
flink·apache·linq
Apache Flink 从流处理基础到恰好一次语义在 Flink 中,一切皆是流式数据流(streaming dataflow):从一个或多个 Source 流入,经一系列 Operator 转换,流向一个或多个 Sink。
天翼云开发者社区1 天前
大数据·flink
Flink 与Flink可视化平台StreamPark教程(CDC功能)本文分享自天翼云开发者社区《Flink 与Flink可视化平台StreamPark教程(CDC功能)》,作者:l****n
Apache Flink3 天前
人工智能·flink·apache
Flink Agents:基于Apache Flink的事件驱动AI智能体框架本文基于 Apache Flink PMC成员宋辛童在 Community Over Code Asia 2025 Streaming 专题技术分享中的演讲内容整理而成,详细介绍了Flink Agents项目的技术背景、架构设计和应用前景。
索迪迈科技3 天前
java·大数据·开发语言·数据结构·算法·flink
Flink Task线程处理模型:MailboxexecutingThread 是 Task 类(StreamTask 的父类)在构造时创建的物理线程。MailboxProcessor 是 StreamTask 用来处理异步事件和驱动其主要处理逻辑(processInput)的核心组件。它们之间的绑定关系如下:
jiedaodezhuti3 天前
大数据·flink
Flink通讯超时问题深度解析:Akka AskTimeoutException解决方案Akka是Flink分布式架构中实现进程间通信(IPC)的核心框架,基于Actor模型构建,为Flink提供了高并发、容错的通信能力。在Flink中,Akka主要承担以下关键角色:
阿里云大数据AI技术3 天前
flink
Lazada 如何用实时计算 Flink + Hologres 构建实时商品选品平台本文整理自 Lazada Group EVP 及供应链技术负责人陈立群在 Flink Forward Asia 2025 新加坡实时分析专场的分享。
阿里云大数据AI技术3 天前
数据库·flink
淘宝闪购基于Flink&Paimon的Lakehouse生产实践:从实时数仓到湖仓一体化的演进之路摘要:本文整理自淘宝闪购(饿了么)大数据架构师王沛斌老师在 Flink Forward Asia 2025 城市巡回上海站的分享。
鸿乃江边鸟3 天前
大数据·sql·flink
Flink中的 BinaryRowData 以及大小端本文基于 Flink 1.17.0 写此文章的目的是为了说明 Flink 堆内和堆外内存以及 内部 BinaryRowData 行处理的优化。
Flink_China3 天前
大数据·flink
Flink Agents:基于Apache Flink的事件驱动AI智能体框架本文基于 Apache Flink PMC成员宋辛童在 Community Over Code Asia 2025 Streaming 专题技术分享中的演讲内容整理而成,详细介绍了Flink Agents项目的技术背景、架构设计和应用前景。
鼠鼠我捏,要死了捏3 天前
flink·checkpoint·savepoint
深入解析 Apache Flink Checkpoint 与 Savepoint 原理与最佳实践在大数据实时处理领域,Apache Flink 因其强大的状态管理与容错能力,广受用户青睐。在流式场景中,应用往往需要维护大量状态数据(如窗口聚合、会话管理、复杂事件处理等),一旦作业故障重启,必须保证状态一致性,避免重复消费或数据丢失。
jiedaodezhuti3 天前
大数据·flink
Flink Checkpoint失败问题分析与解决方案一、Checkpoint机制概述 Flink的Checkpoint机制是一种强大的容错机制,其设计目标是在分布式流处理环境中保证数据处理的一致性和可靠性。Checkpoint主要通过周期性地创建应用流图状态的全局快照来实现,当系统发生故障时,可以从最近成功的Checkpoint快照恢复,从而实现Exactly-Once处理语义。
村雨遥4 天前
大数据·flink
Flink 状态管理的核心能力我们来看一个复杂的实际案例:阿里巴巴菜鸟的实时物流追踪系统。该系统处理来自多个电商平台(天猫、淘宝、速卖通)的订单包裹,通过一个复杂的处理流程:
c&0xff004 天前
网络·flink
Flink反压问题在使用flink的过程中,多次遇到过反压(backpressure)的问题,这通常是因为数据处理的速率超过了数据源或下游系统的处理能力导致。
江畔独步4 天前
大数据·flink
Flink TaskManager日志时间与实际时间有偏差Flink 启动一个任务后,发现TaskManager上日志时间与实际时间相差约 15 小时。核心原因可能是:
大数据点灯人5 天前
大数据·flink
【Flink】Flink Runtime 开发指南
像豆芽一样优秀5 天前
大数据·数据仓库·hive·hadoop·flink
Hive和Flink数据倾斜问题数据采样分析:提前分析键的分布情况数据预处理:对极端值进行拆分或特殊处理合理的键设计:选择分布相对均匀的字段作为分区键
青云交5 天前
java·hdfs·flink·智慧城市·hbase·java 分布式存储·时空大数据
Java 大视界 -- 基于 Java 的大数据分布式存储在智慧城市时空大数据管理与应用中的创新实践(408)亲爱的 Java 和 大数据爱好者们,大家好!我是CSDN(全区域)四榜榜首青云交!去年深秋在某新一线城市(2023 年 GDP 1.2 万亿)的智慧交通指挥中心,运维组长老李攥着鼠标垫跟我急得直跺脚:“早高峰 7 点到 9 点,2000 个路口的摄像头每秒钟往服务器灌 300MB 轨迹数据,单机存储撑了 3 天就报‘磁盘满’!更要命的是,交警查昨天早高峰的拥堵溯源,查 1 条浙 A 车牌的轨迹要等 5 秒,指挥中心的电话都被打爆了!”