湖仓一体

SelectDB技术团队1 天前
大数据·数据仓库·数据湖·湖仓一体·网易游戏
网易游戏如何基于 Apache Doris 构建全新湖仓一体架构导读:随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
SelectDB技术团队5 天前
大数据·数据仓库·doris·实时分析·湖仓一体
Apache Doris 2.1.4 版本正式发布亲爱的社区小伙伴们,Apache Doris 2.1.4 版本已于 2024 年 6 月 26 日正式发布。在 2.1.4 版本中,我们对数据湖分析场景进行了多项功能体验优化,重点修复了旧版本中异常内存占用的问题,同时提交了若干改进项以及问题修复,进一步提升了系统的性能、稳定性及易用性,欢迎大家下载使用。
HashData酷克数据1 个月前
数据库·湖仓一体
如何优雅实现存算分离:缓存及Tablespace讲解与演示在传统的紧耦合系统设计中,存储与计算密不可分,但随着业务的发展,常常会为了扩存储而带来额外的计算扩容,这其实就是一种浪费;同理,只为了提升计算能力,也会带来一段时期的存储浪费。存算分离的架构已然成为行业发展的客观需要。 在设计大型系统时,我们必须深入思考底层存储该如何设计。如果单纯依赖扩容存储来应对前端访问的增长,会引发难以预料的延迟问题。在存算分离的框架下,我们需要对存储进行设计改造,以避免牺牲性能。 上次直播中,由酷克数据资深解决方案架构师王老师与我们探讨了存算分离的基本原则和实现技术,深入讲解了Ha
Java后端何哥6 个月前
大数据·数据仓库·数据湖·湖仓一体·数据湖和湖仓一体
大数据技术16:数据湖和湖仓一体前言:近几年大数据概念很多,数据库和数据仓库还没搞清楚,就又出了数据湖,现在又开始流行湖仓一体。互联网公司拼命造高大上概念来忽略小白买单的能力还是可以的。
碳学长7 个月前
架构·湖仓一体
湖仓一体架构理论与实践汇总软件研发本质上属于“手工业”。软件研发在很大程度上还是依赖于个人的能力。当软件规模较小时,依赖“手工业”可以解决问题,但是当软件规模大了之后再依赖“手工业”就不行了。
hf2000127 个月前
flink·doris·湖仓一体
Apache Doris 整合 FLINK 、 Hudi 构建湖仓一体的联邦查询入门1.概览多源数据目录(Multi-Catalog)功能,旨在能够更方便对接外部数据目录,以增强Doris的数据湖分析和联邦数据查询能力。
白鹿第一帅10 个月前
大数据·云原生·gaussdb·dws·白鹿第一帅·云原生数仓技术解析·湖仓一体
GaussDB(DWS)云原生数仓技术解析:湖仓一体,体验与大数据互联互通数据仓库是一个用于存储大量结构化和非结构化数据的集中式数据存储区域。它旨在帮助组织更好地理解其数据并支持决策制定过程。数据仓库通常由多个数据源提供数据,并使用 ETL(提取,转换,加载)过程将这些数据集成到一个单独的位置中。数据仓库通常用于支持商业分析、数据挖掘、业务智能和决策制定。