lakehouse

SelectDB技术团队23 天前
大数据·数据库·数据仓库·数据分析·lakehouse
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践导读:Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。
StarRocks_labs1 个月前
人工智能·湖仓一体·lakehouse
StarRocks Summit Asia 2024 全部议程公布!随着企业数字化转型深入,云原生架构正成为湖仓部署的新标准。弹性扩展、资源隔离、成本优化,帮助企业在云上获得了更高的灵活性和效率。与此同时,云原生架构也为湖仓与 AI 的深度融合奠定了基础。
SelectDB技术团队2 个月前
数据库·数据仓库·doris·lakehouse·存算分离
Apache Doris 3.0 里程碑版本|存算分离架构升级、湖仓一体再进化亲爱的社区小伙伴们,我们很高兴地向大家宣布,在近期我们迎来了 Apache Doris 3.0 版本的正式发布,欢迎大家下载使用体验!
SelectDB技术团队3 个月前
数据仓库·clickhouse·doris·快手·lakehouse
快手:从 Clickhouse 到 Apache Doris,实现湖仓分离向湖仓一体架构升级导读:快手 OLAP 系统为内外多个场景提供数据服务,每天承载近 10 亿的查询请求。原有湖仓分离架构,由离线数据湖和实时数仓组成,面临存储冗余、资源抢占、治理复杂、查询调优难等问题。通过引入 Apache Doris 湖仓一体能力,替换了 Clickhouse ,升级为湖仓一体架构,并结合 Doris 的物化视图改写能力和自动物化服务,实现高性能的数据查询以及灵活的数据治理。
StarRocks_labs3 个月前
大数据·flink·湖仓一体·paimon·lakehouse
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索作者:王沛斌@饿了么小编导读:本文整理自饿了么大数据架构师、Apache Flink Contributor 王沛斌老师在8月3日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。主要分为以下三个内容:
StarRocks_labs4 个月前
apache·iceberg·数据湖·lakehouse
StarRocks Lakehouse 快速入门——Apache Iceberg导读:StarRocks Lakehouse 快速入门旨在帮助大家快速了解湖仓相关技术,内容涵盖关键特性介绍、独特的优势、使用场景和如何与 StarRocks 快速构建一套解决方案。最后大家也可以通过用户真实的使用场景来了解 StarRocks Lakehouse 的最佳实践!
SelectDB技术团队4 个月前
数据库·doris·trino·湖仓一体·lakehouse
兼容Trino Connector,扩展Apache Doris数据源接入能力|Lakehouse 使用手册(四)Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog,并为其提供原生高性能且稳定的访问能力,以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加,新的数据源连接需求也随之增加。因此,从 3.0 版本开始,Apache Doris 引入了 Trino Connector 兼容框架。
SelectDB技术团队5 个月前
数据库·iceberg·doris·湖仓一体·lakehouse
Apache Doris + Iceberg 快速搭建指南|Lakehouse 使用手册(三)湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、Paimon、Iceberg、OSS、Delta Lake、Kudu、BigQuery 等。
SelectDB技术团队5 个月前
大数据·doris·hudi·湖仓一体·lakehouse
Apache Doris + Apache Hudi 快速搭建指南|Lakehouse 使用手册(一)作者:SelectDB 技术团队导读:湖仓一体(Data Lakehouse)融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势,帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中,Apache Doris 持续加深与数据湖的融合,已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门,我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南,包括 Hudi、Iceberg、Paimon、OSS、Delta Lake、Kudu、BigQ
数字化营销工兵7 个月前
microsoft·fabric·数据工程·lakehouse·apachespark·datapipeline
微软如何打造数字零售力航母系列科普11 - 什么是Microsoft Fabric中的数据工程?目录1. Lakehouse(湖边小屋)2. Apache Spark Job Definition (作业定义)
一切如来心秘密8 个月前
大数据·lakehouse
传统大数据架构与现代数据平台的期望——Lakehouse 架构(二)本文概述了传统数据架构:数据仓库和数据湖,以及现代数据平台的期望,和新兴数据架构 Lakehouse 的详细介绍说明,架构没有好坏只有合适与否,但是个人认为湖仓一体架构 Lakehouse 将在未来数据平台的架构设计中占有强大的竞争力。