实时计算

青云交10 天前
实时计算·javafx·可持续发展·可视化分析·spark streaming·java 大数据·供应链碳足迹
Java 大视界 -- 基于 Java 的大数据可视化在企业供应链碳足迹分析与可持续发展决策中的应用嘿,亲爱的 Java 和 大数据爱好者们,大家好!我是CSDN(全区域)四榜榜首青云交!在《大数据新视界》和《 Java 大视界》系列中,我们已探索 Java 在遥感图像智能解译(如 YOLOv5s 模型优化,参考《遥感学报》2024 年公开评测,DOI:10.11834/jrs.20240123)、体育赛事 VR 互动(腾讯体育生产级代码验证,延迟控制在 50ms 内)、政务满意度分析(江苏省「苏服办」平台信创合规方案,获等保 2.0 认证)等场景的深度应用。Java 凭借其跨平台渲染能力与大数据整合优
一瓢一瓢的饮 alanchan14 天前
java·大数据·flink·kafka·实时计算·离线计算·流批一体化计算
Flink原理与实战(java版)#第2章 Flink的入门(第二节Flink简介)电子书 Flink原理与实战(java版)专栏文章入口:电子书 Flink原理与实战(java版)- 目录结构
一瓢一瓢的饮 alanchan18 天前
java·大数据·flink·kafka·实时计算·离线计算·流批一体化计算
Flink原理与实战(java版)#第1章 Flink快速入门(第一节IDE词频统计)电子书 Flink原理与实战(java版)专栏文章入口:电子书 Flink原理与实战(java版)- 目录结构
涤生大数据23 天前
大数据·spark·doris·实时计算·大数据开发·实时分析·实时技术
日均亿级数据的实时分析:Doris如何接过Spark的接力棒?过去十年,若要在大数据技术圈评选 “现象级顶流”,Apache Spark 必然是绕不开的存在。它曾以 “颠覆者” 姿态打破 Hadoop MapReduce 的桎梏,成为企业搭建数据体系的 “标配引擎”—— 从 TB 级离线数仓的批处理,到日均亿级数据的 ETL 清洗,再到早期机器学习模型的训练,Spark 几乎承包了大数据领域的半壁江山。 然而,随着数据需求的演进,企业从 “离线批量” 逐渐迈向 “实时交互” 与 “一体化分析”,新的技术浪潮正在兴起。以 Apache Doris 为代表的新一代引擎(
帅气的小峰3 个月前
kafka·源码·实时计算
【源码剖析】4-生产者-KafkaProducer分析上一章节kafka了解了KafkaProducer的基本使用,本节开始深入分析KafkaProducer的原理和实现,KafkaProducer的发送流程如下:
shinelord明3 个月前
大数据·架构·flink·实时计算·计算机技术
【大数据技术实战】流式计算 Flink~生产错误实战解析实时数据处理已成为企业构建竞争优势的核心能力。从电商平台的实时库存同步、金融系统的实时风控预警,到物联网设备的实时状态监控,流处理技术支撑着越来越多的关键业务场景。Apache Flink 作为当前流处理领域的 “事实标准”,凭借其低延迟(毫秒级)、高吞吐(百万级 / 秒)、 Exactly-Once 语义保障以及丰富的 API 生态(DataStream/Table API/SQL),成为企业级实时数据平台的首选框架。
摘星编程3 个月前
机器学习·实时计算·金融风控·反欺诈系统·ai引擎
金融风控AI引擎:实时反欺诈系统的架构设计与实现🌟 Hello,我是摘星! 🌈 在彩虹般绚烂的技术栈中,我是那个永不停歇的色彩收集者。 🦋 每一个优化都是我培育的花朵,每一个特性都是我放飞的蝴蝶。 🔬 每一次代码审查都是我的显微镜观察,每一次重构都是我的化学实验。 🎵 在编程的交响乐中,我既是指挥家也是演奏者。让我们一起,在技术的音乐厅里,奏响属于程序员的华美乐章。
最初的↘那颗心3 个月前
java·大数据·hadoop·flink·实时计算
Flink Stream API 源码走读 - print()本文深入分析了 Flink 中 print() 方法的源码实现,展示了 Sink 操作的完整流程,并通过调试验证了整个 Transformation 链条的构建过程。这是 Flink Stream API 系列课程的重要一环,帮助我们理解流处理 Pipeline 的终端操作机制。
最初的↘那颗心3 个月前
java·大数据·hadoop·flink·实时计算
Flink Stream API - 源码开发需求描述本文介绍如何基于Flink源码进行二次开发,实现一个动态规则引擎系统。通过自定义算子和算子协调器,实现数据流的动态规则计算和协调管理。以此更好理解前面介绍的源码相关文章
mask哥3 个月前
java·大数据·微服务·flink·实时计算·领域驱动
详解flink java基础(一)实时服务依赖流式处理: flink优点:Stream processing:Parallel:是由于分隔事件流成并行sub-stream,各自可以独立处理
最初的↘那颗心3 个月前
大数据·hadoop·flink·源码·实时计算·窗口函数
Flink Stream API 源码走读 - window 和 sum核心观点:WindowedStream 是一个"假流",它比 KeyedStream 更虚,只是一个 API 的过渡器,不是真正意义上的 DataStream,需要调用函数回归。
递归尽头是星辰6 个月前
实时计算·架构设计·排行榜·排行榜设计方案
高性能排行榜系统架构实战本文将从架构设计的角度,深入剖析三类典型排行榜的实现方案与技术挑战:单字段排序的内存优化策略、多字段分级排序的索引设计技巧,以及动态权重组合排序的实时计算架构。特别针对Redis ZSET位编码这一创新性方案,将详细解析其如何通过浮点数二进制编码实现多维度数据的高效压缩与排序。
james的分享7 个月前
flink·实时计算·流式处理
Flink之DataStreamApache Flink 的 DataStream API 是用于 处理无限(流)或有限(批)数据流的核心编程模型,适用于事件驱动、实时分析、ETL 等场景。相比 Flink Table API,DataStream API 提供了更强的灵活性和底层控制能力。
dundunmm8 个月前
实时计算·数据湖·数据·大数据处理
【每日一个知识点】分布式数据湖与实时计算在现代数据架构中,分布式数据湖(Distributed Data Lake) 结合 实时计算(Real-time Computing) 已成为大数据处理的核心模式。数据湖用于存储海量的结构化和非结构化数据,而实时计算则确保数据能够被迅速处理和分析,以支持业务决策、流式数据分析和机器学习应用。
Apache Flink1 年前
大数据·flink·实时计算
Fluss: First Impression本文由 Flink PMC Member&Committer,Flink CDC 项目负责人徐榜江(雪尽)老师翻译自 Yaroslav Tkachenko 的原创文章《Fluss: First Impression》[1],内容分为以下7个部分:
Java 第一深情1 年前
大数据·flink·实时计算
零基础入门Flink,掌握基本使用方法首先来讲,Flink是一个面向数据流处理和批处理的分布式开源计算框架。那么,流处理和批处理分别处理什么样的数据呢,这就涉及两个概念-无界流和有界流
杨丰玉1 年前
大数据·ubuntu·flink·实时计算·集群搭建
Ubuntu上搭建Flink Standalone集群本文部分内容转自如下链接。ubuntu 22.06先执行apt-get update更新环境通过apt自动拉取 openjdk8
DolphinDB智臾科技1 年前
数据分析·时序数据库·实时计算·量化金融
视频回放 | DolphinDB 2024 年度峰会主会场演讲精彩回顾9 月 6 日,“以实时,见未来” DolphinDB 2024 年度峰会在杭州成功举办。上午,DolphinDB 创始团队与技术团队分别从不同方面介绍了 DolphinDB 这一年来的创新和突破。没来到现场没关系,现在就为您送上全场完整视频回放~(请点击“阅读原文”,或前往 B 站搜索「DolphinDB」进入主页观看)
Apache Flink1 年前
大数据·flink·实时计算
用实时计算释放当下企业大数据潜能摘要:本文整理自阿里云高级产品解决方案架构师王启华(敖北)老师在 Flink Forward Asia 2023 中闭门会的分享。内容分为以下四个部分: