实时计算

shinelord明4 天前
大数据·架构·flink·实时计算·计算机技术
【大数据技术实战】流式计算 Flink~生产错误实战解析实时数据处理已成为企业构建竞争优势的核心能力。从电商平台的实时库存同步、金融系统的实时风控预警,到物联网设备的实时状态监控,流处理技术支撑着越来越多的关键业务场景。Apache Flink 作为当前流处理领域的 “事实标准”,凭借其低延迟(毫秒级)、高吞吐(百万级 / 秒)、 Exactly-Once 语义保障以及丰富的 API 生态(DataStream/Table API/SQL),成为企业级实时数据平台的首选框架。
摘星编程14 天前
机器学习·实时计算·金融风控·反欺诈系统·ai引擎
金融风控AI引擎:实时反欺诈系统的架构设计与实现🌟 Hello,我是摘星! 🌈 在彩虹般绚烂的技术栈中,我是那个永不停歇的色彩收集者。 🦋 每一个优化都是我培育的花朵,每一个特性都是我放飞的蝴蝶。 🔬 每一次代码审查都是我的显微镜观察,每一次重构都是我的化学实验。 🎵 在编程的交响乐中,我既是指挥家也是演奏者。让我们一起,在技术的音乐厅里,奏响属于程序员的华美乐章。
最初的↘那颗心17 天前
java·大数据·hadoop·flink·实时计算
Flink Stream API 源码走读 - print()本文深入分析了 Flink 中 print() 方法的源码实现,展示了 Sink 操作的完整流程,并通过调试验证了整个 Transformation 链条的构建过程。这是 Flink Stream API 系列课程的重要一环,帮助我们理解流处理 Pipeline 的终端操作机制。
最初的↘那颗心17 天前
java·大数据·hadoop·flink·实时计算
Flink Stream API - 源码开发需求描述本文介绍如何基于Flink源码进行二次开发,实现一个动态规则引擎系统。通过自定义算子和算子协调器,实现数据流的动态规则计算和协调管理。以此更好理解前面介绍的源码相关文章
mask哥19 天前
java·大数据·微服务·flink·实时计算·领域驱动
详解flink java基础(一)实时服务依赖流式处理: flink优点:Stream processing:Parallel:是由于分隔事件流成并行sub-stream,各自可以独立处理
最初的↘那颗心19 天前
大数据·hadoop·flink·源码·实时计算·窗口函数
Flink Stream API 源码走读 - window 和 sum核心观点:WindowedStream 是一个"假流",它比 KeyedStream 更虚,只是一个 API 的过渡器,不是真正意义上的 DataStream,需要调用函数回归。
递归尽头是星辰3 个月前
实时计算·架构设计·排行榜·排行榜设计方案
高性能排行榜系统架构实战本文将从架构设计的角度,深入剖析三类典型排行榜的实现方案与技术挑战:单字段排序的内存优化策略、多字段分级排序的索引设计技巧,以及动态权重组合排序的实时计算架构。特别针对Redis ZSET位编码这一创新性方案,将详细解析其如何通过浮点数二进制编码实现多维度数据的高效压缩与排序。
james的分享4 个月前
flink·实时计算·流式处理
Flink之DataStreamApache Flink 的 DataStream API 是用于 处理无限(流)或有限(批)数据流的核心编程模型,适用于事件驱动、实时分析、ETL 等场景。相比 Flink Table API,DataStream API 提供了更强的灵活性和底层控制能力。
dundunmm5 个月前
实时计算·数据湖·数据·大数据处理
【每日一个知识点】分布式数据湖与实时计算在现代数据架构中,分布式数据湖(Distributed Data Lake) 结合 实时计算(Real-time Computing) 已成为大数据处理的核心模式。数据湖用于存储海量的结构化和非结构化数据,而实时计算则确保数据能够被迅速处理和分析,以支持业务决策、流式数据分析和机器学习应用。
Apache Flink8 个月前
大数据·flink·实时计算
Fluss: First Impression本文由 Flink PMC Member&Committer,Flink CDC 项目负责人徐榜江(雪尽)老师翻译自 Yaroslav Tkachenko 的原创文章《Fluss: First Impression》[1],内容分为以下7个部分:
Java 第一深情9 个月前
大数据·flink·实时计算
零基础入门Flink,掌握基本使用方法首先来讲,Flink是一个面向数据流处理和批处理的分布式开源计算框架。那么,流处理和批处理分别处理什么样的数据呢,这就涉及两个概念-无界流和有界流
杨丰玉10 个月前
大数据·ubuntu·flink·实时计算·集群搭建
Ubuntu上搭建Flink Standalone集群本文部分内容转自如下链接。ubuntu 22.06先执行apt-get update更新环境通过apt自动拉取 openjdk8
DolphinDB智臾科技1 年前
数据分析·时序数据库·实时计算·量化金融
视频回放 | DolphinDB 2024 年度峰会主会场演讲精彩回顾9 月 6 日,“以实时,见未来” DolphinDB 2024 年度峰会在杭州成功举办。上午,DolphinDB 创始团队与技术团队分别从不同方面介绍了 DolphinDB 这一年来的创新和突破。没来到现场没关系,现在就为您送上全场完整视频回放~(请点击“阅读原文”,或前往 B 站搜索「DolphinDB」进入主页观看)
Apache Flink1 年前
大数据·flink·实时计算
用实时计算释放当下企业大数据潜能摘要:本文整理自阿里云高级产品解决方案架构师王启华(敖北)老师在 Flink Forward Asia 2023 中闭门会的分享。内容分为以下四个部分:
乙真仙人1 年前
大数据·flink·实时计算·数据架构·数据组件
实时计算Flink:推动行业变革的新时代引擎(附金融/汽车/物流/零售案例)在当今数字化高速发展的时代,数据的价值愈发凸显,而实时计算技术则成为了挖掘数据价值的关键利器。阿里云实时计算 Flink 犹如一颗璀璨的明星,在众多行业中绽放出耀眼的光芒。它以强大的功能和卓越的性能,推动着金融、汽车、物流、零售等行业的变革与发展。
Apache Flink1 年前
大数据·flink·实时计算·湖仓一体·paimon
Apache Paimon V0.9最新进展摘要:本文整理自 Paimon PMC Chair 李劲松老师在 8 月 3 日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。主要分享 Apache Paimon V0.9 的最新进展以及遇到的一些挑战。
linweidong1 年前
大数据·算法·flink·实时计算
Flink实时开发添加水印的案例分析在Flink中,处理时间序列数据时,通常需要考虑事件时间和水印(watermarks)的处理。以下是修改前后的代码对比分析:
夜夜流光相皎洁_小宁1 年前
大数据·实时计算·apache flink·flink架构·flink集群
Apache Flink架构介绍目录一、Apache Flink架构组件栈1.1 概述1.2 架构图1.3 架构分层组件说明1.3.1 物理部署层
G皮T2 年前
大数据·sql·flink·实时计算·flink-sql·with
【大数据】Flink SQL 语法篇(二):WITH、SELECT & WHERE、SELECT DISTINCT应用场景(支持 Batch / Streaming):With 语句和离线 Hive SQL With 语句一样的,语法糖 +1,使用它可以让你的代码逻辑更加清晰。
G皮T2 年前
大数据·sql·flink·实时计算·create·watermark·flink-sql
【大数据】Flink SQL 语法篇(一):CREATECREATE 语句用于向当前或指定的 Catalog 中注册库、表、视图或函数。注册后的库、表、视图和函数可以在 SQL 查询中使用。