apache flink

鼠鼠我捏,要死了捏10 小时前
微服务·apache flink·实时处理
基于Apache Flink Stateful Functions的事件驱动微服务架构设计与实践指南随着微服务规模不断扩大,传统的REST/OA模式在高并发、状态管理和事件一致性方面面临挑战。Apache Flink Stateful Functions(以下简称Stateful Functions,简称StateFun)是一种将流处理与函数式编程相结合的新型架构,能够在事件驱动微服务中实现高吞吐、低延迟的状态管理与一致性保证。本文结合真实生产环境,分享我们基于Stateful Functions的事件驱动微服务架构设计与实践经验。
鼠鼠我捏,要死了捏16 天前
kafka·apache flink·apache storm
Kafka Streams vs Apache Flink vs Apache Storm: 实时流处理方案对比与选型建议随着大数据时代的到来,传统批处理已难以满足金融风控、实时监控、在线推荐等场景对低延迟、高吞吐的严格要求。实时流处理技术应运而生,在海量数据的实时摄取、计算与落地方面扮演关键角色。目前主流的开源流处理框架包括Kafka Streams、Apache Flink和Apache Storm,它们在架构、编程模型、性能和生态兼容性上各有特点。本文将从多维度对比三者,实现方案适用场景并给出选型建议。
鼠鼠我捏,要死了捏1 个月前
性能优化·apache flink·实时流处理
Apache Flink 实时流处理性能优化实践指南随着大数据和实时计算需求不断增长,Apache Flink 已经成为主流的流处理引擎。然而,在生产环境中,高并发、大吞吐量和低延迟的业务场景对 Flink 作业的性能提出了更高要求。本文将从原理层面深入解析 Flink 的数据处理机制,并结合关键源码示例和真实项目实践,分享有效的性能优化策略,帮助有一定技术基础的后端开发者在生产环境中实现高效的实时流处理。
千千寰宇8 个月前
apache flink
[Flink] Flink运行过程中Flink作业运行崩溃,且`TaskManager`报:"Association with remote system [akka.tcp://flink@flink-236429.ns-69020:6123] has failed, address is now gated for [50] ms. Reason: [Disassociated]"与远程系统[akka.tcp://flink-metrics@flink-236429.ns-69020:45033]关联失败,地址现在的阈值是[50]ms。原因:[断联/解除关联]
千千寰宇10 个月前
apache flink·大数据/云计算-数据集成/数据开发-cdc/binlog
[Flink/FlinkCDC] 实践总结:Flink 1.12.6 升级 Flink 1.15.4个人猜测:JDK 8 的用户群实在太大,牵一发而动全身,防止步子扯太大,遏制自身项目的发展势头。版本变化
夜夜流光相皎洁_小宁1 年前
大数据·实时计算·apache flink·flink架构·flink集群
Apache Flink架构介绍目录一、Apache Flink架构组件栈1.1 概述1.2 架构图1.3 架构分层组件说明1.3.1 物理部署层
最笨的羊羊1 年前
apache flink·cdc 3.1.0版本·知识学习
Apache Flink CDC 3.1.0版本知识学习作为 Flink CDC 成为 Apache Flink 子项目之后的首个版本,3.1 带来了许多新功能与稳定性提升。主要亮点包括:
千千寰宇2 年前
apache flink
[Flink] Flink(CDC/SQL)Job在启动时,报“ConnectException: Error reading MySQL variables: Access denied for user 'xxxx '@'xxxx' (using password: YES)”(1个空格引发的"乌龙")所属环境:CN-PT 问题时间:2023-11-21 所属程序: Flink Job(XXXPT_dimDeviceLogEventRi)
我是有底线的