技术栈
智驾数据闭环
一切如来心秘密
13 天前
智驾数据闭环
·
大数据湖仓架构
智驾数据闭环湖仓实战:Flink CDC 实时入湖,多源数据接入架构设计
上一篇我们把湖仓的「读」讲完了——双路查询架构让业务平台各取所需。但所有查询的前提是:数据得先进到湖里。智驾数据闭环的入湖数据源五花八门:五个平台的 MySQL 业务库、四类实时事件流、还有体量最大的采集大文件——延迟要求从秒级到亚秒级不等,合规要求也完全不同。
一切如来心秘密
18 天前
智驾数据闭环
·
大数据湖仓架构
智驾数据闭环湖仓实战:StarRocks + Paimon 双路查询架构
上一篇我们把 79+ 张表的命名、分区、Bucket 设计讲完了,有读者问了一个非常实际的工程问题:「数据都在 Paimon 湖仓里,但闭环大盘要毫秒级响应、训练平台点查难例库要随机圈选——查询引擎到底怎么查湖?全部导进 StarRocks,还是直接查外部表?」
一切如来心秘密
20 天前
大数据
·
智驾数据闭环
智驾数据闭环湖仓实战: Apache Paimon 分层建模实践
系列一我们用七篇文章走完了智驾数据闭环的全景——从 8 环节模型、厂商对标、架构蓝图、全局 ID、11 张 ADS 表、闭环度量到存储治理。但有一个关键问题始终没有展开:这 79+ 张 Paimon 表到底是怎么设计出来的?
我是有底线的