技术栈
flink
Hello.Reader
29 分钟前
大数据
·
flink
Flink Plugins 机制隔离 ClassLoader、目录结构、FileSystem/Metric Reporter 实战与避坑
在真实生产里,依赖冲突几乎不可避免:Flink 的插件机制核心目标就是:一句话:插件把“依赖地狱”从系统 classpath 里赶了出去。
Hello.Reader
1 小时前
大数据
·
flink
Flink JobManager 高可用(High Availability)原理、组件、数据生命周期与 JobResultStore 实战
开启 JobManager HA 后,Flink 能在 JobManager 故障后恢复领导权,并尽快让作业继续执行,从而消除 SPOF。
Hello.Reader
1 小时前
大数据
·
阿里云
·
flink
Flink 对接阿里云 OSS(Object Storage Service)读写、Checkpoint、插件安装与配置模板
在 Flink 中访问 OSS 的路径格式:这里的 <object-name> 既可以是文件,也可以是目录前缀(类似路径)。
岁岁种桃花儿
13 小时前
大数据
·
架构
·
flink
Flink CDC从入门到上天系列第一篇:Flink CDC简易应用
术语解析: CDC:表示变更数据捕获技术技术本质: 通过捕获数据库变更事件(增删改),并按照发生顺序记录下来。实现数据同步
Apache Flink
19 小时前
大数据
·
flink
·
apache
Apache Flink Agents 0.2.0 发布公告
Apache Flink 社区很高兴地宣布 Apache Flink Agents 0.2.0 版本正式发布,您可以通过以下方式获取 Flink Agents 0.2.0:
驾数者
1 天前
sql
·
flink
·
linq
Flink SQL实时数仓实战:基于Flink SQL的完整项目案例
构建支持实时决策的电商数据分析平台。统一数据接入管道设计。实时数据质量校验管道。实时数据清洗管道。核心业务指标实时聚合。
代码匠心
2 天前
大数据
·
flink
·
flink sql
·
大数据处理
从零开始学Flink:Flink SQL 极简入门
Flink SQL 是 Apache Flink 的核心模块之一,它让开发者可以使用标准的 SQL 语法来编写流处理和批处理作业。对于不想深究 Java/Scala 复杂 API 的“小白”来说,Flink SQL 是进入实时计算领域的最佳敲门砖。
Apache Flink
2 天前
大数据
·
阿里云
·
flink
·
云计算
Flink 实时计算 x SLS 存储下推:阿里云 OpenAPI 网关监控平台实践
作者:潘伟龙(阿里云可观测)、阮孝振(阿里云开放平台)01背景与挑战阿里云开放平台(OpenAPI) 是开发者管理云上资源的标准入口。开放平台承载了几乎所有云产品的对外接口,关乎客户的自动化业务和各类管控需求。随着企业对自动化的依赖日益加深,OpenAPI 的稳定性建设变得至关重要。
yumgpkpm
2 天前
hive
·
hadoop
·
华为
·
flink
·
spark
·
kafka
·
hbase
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU
华为昇腾300T A2训练、微调Qwen过程,带保姆式命令,麒麟操作系统+鲲鹏CPU在 华为昇腾 Atlas 300T A2 训练卡 + 鲲鹏 CPU + 麒麟 V10 SP1 操作系统 环境下,从零开始训练/微调 Qwen-1.8B 小模型 的完整保姆级操作指南。所有命令均基于官方 CANN 8.0+ 和 PyTorch Ascend 生态,适配国产信创栈。
迎仔
3 天前
大数据
·
flink
10-流处理引擎Flink介绍:大数据世界的“实时监控中心”
如果把大数据处理比作城市管理,那么批处理就是每月一次的人口普查,而流处理就是实时的交通监控系统。在这个数据爆炸的时代,实时性变得越来越重要,而Flink正是为实时处理而生的“超级引擎”。
ApacheSeaTunnel
4 天前
大数据
·
flink
·
spark
·
开源
·
数据集成
·
seatunnel
·
数据同步
Apache SeaTunnel Zeta、Flink、Spark 怎么选?底层原理 + 实战对比一次讲透
本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎:Zeta (SeaTunnel Engine)、Flink 和 Spark。我们将从架构设计、核心特性、优缺点对比以及使用方法等多个维度进行详细讲解,帮助你根据业务需求选择最合适的引擎。
代码匠心
4 天前
java
·
大数据
·
后端
·
flink
·
大数据处理
从零开始学Flink:状态管理与容错机制
流式计算任务通常需要 7x24 小时长期运行,面对网络抖动、机器故障或代码 Bug,如何保证任务不挂?或者挂了之后能自动恢复且数据不丢、不重?这正是 Flink 引以为傲的资本:强大的状态管理与基于 Checkpoint 的容错机制。
海南java第二人
4 天前
java
·
flink
Flink动态字符串处理框架:构建灵活可配置的实时数据管道
在实时数据处理场景中,字符串处理是最常见但也是最复杂的任务之一。传统的Flink作业往往将处理逻辑硬编码在算子函数中,导致以下问题:
Hello.Reader
5 天前
大数据
·
flink
Flink 内存与资源调优从 Process Memory 到 Fine-Grained Resource Management
从 Flink 1.10(TaskManager)/1.11(JobManager)开始,Flink 把 JVM 进程的内存拆得更清楚:
王锋(oxwangfeng)
5 天前
flink
·
kubernetes
·
apache
Apache Flink 在 Kubernetes 上的高效部署与优化实践
本文档旨在为在 Kubernetes(K8s)环境中部署和优化 Apache Flink 作业提供一套系统性、可落地的最佳实践,涵盖镜像构建、弹性调度、日志管理、启动性能及调度策略等关键维度。
Hello.Reader
5 天前
大数据
·
flink
·
apache
Apache Flink 网络 Buffer 调优Debloating 的边界、Buffer 生命周期
目前 Debloating 做的是:把“使用中的最大 buffer 规模”做 cap,但它不会改变两件事:
Hello.Reader
5 天前
大数据
·
flink
·
apache
Apache Flink 内存故障排查从 IllegalConfigurationException 到 OOMKilled,一篇把坑踩平的指南
你在日志里看到的内存异常,通常落在 5 类之一:所以第一步永远是:别先加内存,先确认你缺的是哪一类。下面逐个异常讲清楚“怎么看”和“怎么改”。
Hello.Reader
6 天前
大数据
·
flink
·
batch
Flink 自适应批执行(Adaptive Batch Execution)让 Batch 作业“边跑边优化”
传统静态计划的问题不在于优化器不聪明,而在于“信息不够”:自适应批执行的思路是:别强行在开跑前把所有决策做完,让作业跑起来拿到真实数据特征,再做决定。