实时数仓

OceanBase数据库官方博客2 个月前
大数据·oceanbase·分布式数据库·实时数仓
如何基于Flink CDC与OceanBase构建实时数仓,实现简化链路,高效排查本文作者:阿里云Flink SQL负责人,伍翀,Apache Flink PMC Member & Committer
OceanBase数据库官方博客2 个月前
oceanbase·分布式数据库·实时数仓
打造高效实时数仓,从Hive到OceanBase的经验分享本文作者:Coolmoon1202,大数据高级工程师,专注于高性能软件架构设计我们的业务主要围绕出行领域,鉴于初期采用的数据仓库方案面临高延迟、低效率等挑战,我们踏上了探索新数仓解决方案的征途。本文分享了我们在方案筛选与实施过程中的经验总结,期望能为您提供有价值的参考与启示。
怒码ing3 个月前
大数据·数据仓库·实时数仓·lambda·数据湖·离线数仓·kappa
浅谈维度建模、数据分析模型,何为数据仓库,与数据库的区别大数据HBase图文简介-CSDN博客数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS-CSDN博客
怒码ing3 个月前
大数据·数据仓库·实时数仓·lambda架构·kappa架构·离线数仓·数仓架构
数仓架构:离线数仓、实时数仓Lambda和Kappa、湖仓一体数据湖大数据HBase图文简介-CSDN博客数仓分层ODS、DWD、DWM、DWS、DIM、DM、ADS-CSDN博客
isNotNullX3 个月前
大数据·数据仓库·分布式·spark·实时数仓
什么是实时数据仓库? 优势与最佳实践在当今数据驱动的世界中,许多企业使用实时数据仓库来满足其分析和商业智能 (BI) 需求。这使他们能够做出更好的决策、推动增长并为客户提供价值。
isNotNullX4 个月前
大数据·数据库·数据仓库·实时数仓·ods
关于实时ODS层数仓搭建的三个问题目录问题一:数据同步的实时性无法满足问题二:批量数据同步计算处理效率低问题三:没有稳定的数据传输管道FineDataLink的解决方案
SelectDB技术团队5 个月前
大数据·数据库·数据仓库·doris·实时数仓
Apache Doris 2.0.12 版本正式发布亲爱的社区小伙伴们,Apache Doris 2.0.12 版本已于 2024 年 6 月 27 日正式与大家见面,该版本提交了 99 个改进项以及问题修复,欢迎大家下载体验。
DolphinDB智臾科技7 个月前
数据库·数据仓库·物联网·时序数据库·实时数仓
案例与脚本实践:DolphinDB 轻量级实时数仓的构建与应用DolphinDB 高性能分布式时序数据库,具有分布式计算、事务支持、多模存储、以及流批一体等能力,非常适合作为一款理想的轻量级大数据平台,轻松搭建一站式的高性能实时数据仓库。
华为云开发者联盟7 个月前
实时数仓·华为云开发者联盟·华为云gaussdb(dws)
GaussDB(DWS)基于Flink的实时数仓构建本文分享自华为云社区《GaussDB(DWS)基于Flink的实时数仓构建》,作者:胡辣汤。大数据时代,厂商对实时数据分析的诉求越来越强烈,数据分析时效从T+1时效趋向于T+0时效,为了给客户提供极速分析查询能力,华为云数仓GaussDB(DWS)基于流处理框架Flink实现了实时数仓构建。在本期《GaussDB(DWS)基于Flink的实时数仓构建》的主题直播中,华为云数仓GaussDB(DWS)解决方案专家Eric老师,为您深度解析GaussDB(DWS)+Flink如何增强湖仓增量数据在不同数据模型
GawynKing8 个月前
数据仓库·架构·实时数仓·数据中台
实时数仓之实时数仓架构(Hudi)目前比较流行的实时数仓架构有两类,其中一类是以Flink+Doris为核心的实时数仓架构方案;另一类是以湖仓一体架构为核心的实时数仓架构方案。本文针对Flink+Hudi湖仓一体架构进行介绍,这套架构的特点是可以基于一套数据完全实现Lambda架构。实时数仓架构图如下:
SelectDB技术团队8 个月前
apache·实时数仓
一文让您读懂实时数仓(Apache Doris)引言:随着大数据时代的来临,实时数据处理与分析成为企业核心竞争力的关键因素之一。在这场数据革命中,SelectDB成为引领者。从百度自研的实时数仓平台 Palo,到开源项目 Apache Doris,再到飞轮科技研发的 SelectDB,这些名字都代表着大数据处理领域的前沿技术和最佳实践,接下来带您深入了解实时数仓及其发展现状。
Light Gao8 个月前
android·大数据·flink·实时数仓·flinkcdc
Flink实时数仓同步:实时表、流水表、快照表整合实战详解在大数据领域,数据分析、实时数仓已经成为平台上常见的功能之一。无论是进行实时分析还是离线分析,都离不开数仓中的表数据。
Light Gao8 个月前
大数据·flink·实时数仓·flinkcdc·数据同步
Flink实时数仓同步:切片表实战详解在大数据领域,初始阶段业务数据通常被存储于关系型数据库,如MySQL。然而,为满足日常分析和报表等需求,大数据平台采用多种同步方式,以适应这些业务数据的不同存储需求。
架构成长指南9 个月前
doris·实时数仓·分库分表·大数据处理
基于Doris构建亿级数据实时数据分析系统转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南随着公司业务快速发展,对业务数据进行增长分析的需求越来越迫切,与此同时我们的业务数据量也在快速激增、每天的数据新增量大概在30w 左右,一年就会产生1 个亿的数据,显然基于传统MySQL数据库已经无法支撑满足以上需求
架构成长指南10 个月前
clickhouse·数据分析·doris·实时数仓
什么是 doris,为什么几乎国内大厂都会使用它转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南今天给各位分享一个非常牛的实时分析型数据库Apache Doris,几乎国内的一二线大厂都在使用它做数据分析,如下图,这只是一小部分
终回首1 年前
apache·olap·实时数仓·apache doris
Apache Doris安装部署Apache Doris安装部署CentOS 7.6 Apache Doris 0.14.0选择合适的版本进行下载,此次选择0.14.0版本
高阳很捷迅1 年前
大数据·flink·实时数仓
实时数仓-Flink使用总结阿里云实时计算Flink版是阿里云基于Apache Flink构建的企业级、高性能实时大数据处理系统。具备一站式开发运维管理平台,支持作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。本期将对Flink的使用进行总结。
upward3371 年前
大数据·hadoop·zookeeper·flink·kafka·实时数仓·flume
尚硅谷大数据项目《在线教育之实时数仓》笔记006视频地址:尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章 数仓开发之DWD层
upward3371 年前
大数据·hadoop·zookeeper·flink·kafka·实时数仓·大数据数仓
尚硅谷大数据项目《在线教育之实时数仓》笔记007视频地址:尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第9章 数仓开发之DWD层
upward3371 年前
大数据·数据仓库·flink·实时数仓
尚硅谷大数据项目《在线教育之实时数仓》笔记004视频地址:尚硅谷大数据项目《在线教育之实时数仓》_哔哩哔哩_bilibili目录第8章 数仓开发之DIM层