技术栈
fluss
头茬韭菜
9 天前
fluss
功能点 10:Delta Join 与状态外部化
对应源码阅读计划功能点 10:DeltaJoinOperator、JoinStateStore、无状态计算架构。
头茬韭菜
9 天前
fluss
图解 Fluss(三):读写全链路 —— 一次写入、一次扫描、一次点查
阅读本文你将了解: 一条记录从客户端到落盘要经过哪些步骤、Exactly-Once 是怎么保证的、列裁剪为什么能把网络传输降两个数量级、以及 Lookup Join 的三级缓存如何让维表关联做到亚毫秒级。
头茬韭菜
9 天前
大数据
·
flink
·
fluss
图解 Fluss(五):Flink 接入与数据生命周期 —— Connector、表生命周期与冷热分层
阅读本文你将了解: Flink 是怎么"发现"Fluss 表的、Split 与 Bucket 的映射关系、一条 CREATE TABLE 在集群内部要走几步、Schema Evolution 为什么只支持加列、以及热数据如何自动归档成 Iceberg/Parquet 并被同一条 SQL 查到。
StarRocks_labs
10 天前
starrocks
·
flink
·
jni
·
native
·
paimon
·
湖仓
·
fluss
StarRocks × Fluss × Paimon:流湖仓分析与 ETL 闭环
作者:段彦 阿里云高级研发工程师导读:在传统数据架构中,一份数据从业务系统产生,到最终支撑分析、风控、报表及对外服务,往往需要经过多套系统、多份存储和多次口径对齐。随着业务对秒级数据新鲜度、运维效率及湖仓能力提出更高要求,传统架构的局限也愈发明显。
头茬韭菜
10 天前
分布式
·
fluss
图解 Fluss(四):分布式协调 —— 选举、副本状态机与
阅读本文你将了解: 三个 Coordinator 如何选出唯一 Leader 且不脑裂、一个 Tablet 副本的状态迁移路径、节点宕机时数据为什么不会丢、以及扩容时 Fluss 如何在不中断服务的前提下搬移数据。
头茬韭菜
10 天前
架构
·
fluss
图解 Fluss(一):一张图看清整体架构,两张图理解核心服务
阅读本文你将了解: Fluss 集群由哪几类节点构成、Coordinator 与 TabletServer 的职责边界为什么这样切分、元数据和数据分别存在哪里、以及 Coordinator 的"两阶段启动 + ZK Fence"设计如何防止脑裂。
StarRocks_labs
11 天前
starrocks
·
olap
·
schema
·
paimon
·
fluss
·
湖流一体
基于 Fluss、Paimon 与 StarRocks 构建淘天集团湖流一体数据链路
作者:朱奥,淘天集团高级数据开发工程师导读:本文整理自淘天集团朱奥在 Flink Forward Asia 2026 的分享,介绍了 Fluss、Paimon 与 StarRocks 构建湖流一体架构的实践:Fluss 负责秒级实时数据,Paimon 沉淀历史数据,StarRocks 提供统一分析入口,实现秒级至历史数据的一体化分析。目前,该方案已实现开发效率提升 50% 以上、实时链路成本降低 80% 以上。
StarRocks_labs
12 天前
starrocks
·
kafka
·
lambda
·
查询
·
paimon
·
fluss
·
湖流一体
StarRocks x Fluss x Paimon 湖流一体方案:构建秒级响应、湖流一体的实时数据引擎
StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss(面向分析场景的实时流存储)与 Apache Paimon(高性能湖格式表)深度融合,以 StarRocks 作为统一查询入口,构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及实现原理。
头茬韭菜
12 天前
网络协议
·
安全
·
rpc
·
fluss
功能点 11-12:客户端、RPC 通信、监控与安全
对应源码阅读计划功能点 11-12:FlussClient、Netty RPC、LogScanner、MetricRegistry、PrometheusReporter、FlussAuthorizer。
头茬韭菜
16 天前
大数据
·
flink
·
fluss
功能点 9:Flink Connector
对应源码阅读计划功能点 9:FlussCatalog、FlussSource/SourceEnumerator/SourceReader、FlussSink/Writer/Committer、LookupFunction。
头茬韭菜
17 天前
fluss
功能点 8:Tiering 分层存储与 Lakehouse
对应源码阅读计划功能点 8:TieringService、ArrowParquetCompactor、LakeUnionRead、Iceberg/Paimon/Lance 集成。
头茬韭菜
18 天前
fluss
功能点 6:Arrow 列式格式
对应源码阅读计划功能点 6:ArrowLogWriter/Reader、ColumnProjector 列裁剪、Arrow 内存管理。
头茬韭菜
19 天前
fluss
功能点 4:LogStore 日志存储引擎
对应源码阅读计划功能点 4:LogTablet → LogSegment → .log/.index 文件的完整写入和读取路径。
头茬韭菜
21 天前
fluss
功能点 3:Bucket、Partition 与数据分布
对应源码阅读计划功能点 3:BucketingFunction、RebalanceCoordinator、TabletBalancer、数据如何切分和路由。
头茬韭菜
23 天前
运维
·
fluss
第 9 篇:「Fluss 运维实战」—— 部署、监控与故障排查
阅读本文你将了解: Fluss 的三种部署方式、Kubernetes Helm Chart 部署、Prometheus + Grafana 监控配置、日常运维操作(扩缩容、备份恢复),以及 Top 10 常见故障排查手册。
头茬韭菜
23 天前
运维
·
笔记
·
debian
·
fluss
功能点 1:项目骨架与启动流程 —— 源码阅读笔记
对应源码阅读计划功能点 1:理解 Fluss 的模块组织、CoordinatorServer 和 TabletServer 的完整启动流程、Standby/Leader 状态机、ZooKeeper 注册机制。
头茬韭菜
24 天前
c#
·
linq
·
fluss
第 10 篇:「Fluss 实战案例集」—— 完整解决方案与最佳实践
阅读本文你将了解: 5 个完整的生产级端到端案例——电商实时大屏、实时特征存储、CDC 数据管道、实时风控系统、客户 360。每个案例包含架构设计、表结构 DDL、Flink 作业代码和运行指南。最后附 Kafka 迁移指南和生产就绪评估清单。
头茬韭菜
1 个月前
fluss
第 5 篇:「Fluss 列式流处理」—— Arrow 格式与查询优化
阅读本文你将了解: Apache Arrow 列式存储的基础原理、Fluss 的 Arrow Log 格式设计、列裁剪/谓词下推/分区裁剪三种优化技术的协同效应、以及与 Kafka 行式存储的性能对比。
头茬韭菜
1 个月前
大数据
·
python
·
flink
·
fluss
第 4 篇:「Fluss + Flink 集成实战」—— Catalog、Source 与 Sink
阅读本文你将了解: 如何使用 Fluss 作为 Flink 的原生 Catalog、如何读写 Fluss 表、DataStream API 集成、以及一个完整的实时订单宽表构建案例。
头茬韭菜
1 个月前
架构
·
fluss
第 2 篇:「Fluss 架构深入」—— CoordinatorServer、TabletServer 与存储引擎
阅读本文你将了解: Fluss 集群的完整架构、CoordinatorServer 和 TabletServer 的职责分工、LogStore 和 KvStore 的存储机制、Tablet/Bucket 如何组织数据、以及远程存储和 ZooKeeper 的角色。