湖仓一体

镜舟科技8 天前
大数据·starrocks·数据分析·湖仓一体·物化视图·lakehouse·存算分离
StarRocks Lakehouse 如何重构大数据架构?随着数据分析需求的不断演进,企业对数据处理架构的期望也在不断提升。在这一背景下,StarRocks 凭借其高性能的实时分析能力,正引领数据分析进入湖仓一体的新时代。
镜舟科技11 天前
starrocks·数据仓库·数据湖·大数据平台·湖仓一体·物化视图·流式湖仓
大数据平台与数据仓库的核心差异是什么?随着数据量呈指数级增长,企业面临着如何有效管理、存储和分析这些数据的挑战。 大数据平台和 数据仓库作为两种主流的数据管理工具,常常让企业在选型时感到困惑,它们之间的界限似乎越来越模糊,功能也有所重叠。本文旨在厘清这两种技术的核心差异,并为企业提供一个实用的选型参考框架。
StarRocks_labs18 天前
数据库·starrocks·数据分析·spark·olap·湖仓一体·deepseek
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库文章作者:石强,镜舟科技解决方案架构师赵恒,StarRocks TSC Member👉 加入 StarRocks x AI 技术讨论社区 https://mp.weixin.qq.com/s/61WKxjHiB-pIwdItbRPnPA
StarRocks_labs20 天前
starrocks·数据仓库·数据分析·olap·湖仓一体
StarRocks Community Monthly Newsletter (Mar)核心功能升级数据安全与权限管控支持「安全视图」功能,严格管控视图查询权限MySQL协议连接支持SSL认证,保障数据传输安全
SelectDB技术团队1 个月前
大数据·数据仓库·数据分析·doris·数据湖·湖仓一体·日志数据
Apache Doris 2.1.9 版本正式发布亲爱的社区小伙伴们,Apache Doris 2.1.9 版本已正式发布。2.1.9 版本对湖仓一体、倒排索引、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
SelectDB技术团队1 个月前
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座在全球 290 位开发者的协作下,Apache Doris 在 2024 年完成了 7000+ 次代码提交,并发布了 22 个版本,实现在实时分析、湖仓一体和半结构化数据分析等核心场景的技术突破及创新。
镜舟科技1 个月前
starrocks·数据分析·apache·iceberg·数据湖·湖仓一体·元数据
Apache Iceberg 解析,一文了解Iceberg定义、应用及未来发展Apache Iceberg 是一种开源的 表格式(Table Format) ,专为超大规模数据分析场景设计,通过标准化数据存储规范与访问协议,解决了传统数据湖在元数据管理、事务控制、查询性能等方面的核心痛点。以下从六个维度全面解析其技术原理、应用场景与最佳实践。
镜舟科技2 个月前
数据仓库·湖仓一体·分析型数据库·存算分离·starrocks 主键·主键模型·实时数据分析
StarRocks 主键(Primary Key)深度解析StarRocks 是一款高性能分析型数据库,专为海量数据的实时分析而设计。作为新一代湖仓(Lakehouse)加速引擎,StarRocks 融合了 MPP 架构和列式存储引擎的优势,能够支持亿级数据秒级查询响应。
StarRocks_labs2 个月前
数据仓库·架构·数据分析·云计算·湖仓一体
vivo 湖仓架构的性能提升之旅作者:郭小龙 vivo互联网 大数据高级研发工程师导读:本文整理自 vivo互联网 大数据高级研发工程师 郭小龙 在 StarRocks 年度峰会上的分享,聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。
涤生大数据2 个月前
数据仓库·数据挖掘·数据分析·doris·数据湖·数字化转型·湖仓一体
Doris 湖仓一体:数据分析新范式在大数据的浪潮里,企业数据量呈爆发式增长,数据处理和分析的需求也变得越来越复杂。传统的数据库、数据仓库和数据湖各管一摊,彼此割裂,导致数据利用效率大打折扣。这个时候,湖仓一体的概念横空出世,像是一场 及时雨,为企业的数据管理带来了全新的可能性。今天,我们就来聊聊 基于 Doris 的湖仓一体,看看它到底是怎么解决数据管理的难题,让企业玩转大数据的!
SelectDB技术团队2 个月前
大数据·数据库·iceberg·doris·数据湖·湖仓一体·天翼云
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践导读:天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案,兼具灵活性、高性能和低成本优势,同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。
StarRocks_labs2 个月前
大数据·starrocks·阿里云·架构·湖仓一体
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践作者:范振: 阿里云计算平台开源 OLAP 负责人,StarRocks 社区 Champion翁才智: 阿里云技术专家,Apache Paimon PMC Member
王百万_2 个月前
数据治理·hudi·湖仓一体·ddl·华为mrs·create table
【Hudi-SQL DDL创建表语法】命令功能CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。命令格式参数描述
StarRocks_labs2 个月前
大数据·架构·spark·湖仓一体·lakehouse
小红书湖仓架构的跃迁之路作者:李鹏霖(丁典),小红书-研发工程师,StarRocks Contributor & Apache Impala Committer
StarRocks_labs4 个月前
大数据·架构·spark·湖仓一体·lakehouse
从 Spark 到 StarRocks:实现58同城湖仓一体架构的高效转型作者:王世发,吴艳兴等,58同城数据架构部导读:本文介绍了58同城在其数据探查平台中引入StarRocks的实践,旨在提升实时查询性能。在面对传统Spark和Hive架构的性能瓶颈时,58同城选择StarRocks作为加速引擎,增强数据湖的分析能力。在迁移过程中,团队克服了多个兼容性问题,并对系统进行了稳定性和易用性的改进,特别是在Java UDF支持和SQL黑名单功能方面。
Moshow郑锴6 个月前
大数据·数据库·数据仓库·数据湖·湖仓一体
数据库、数据仓库、数据湖、数据中台、湖仓一体的概念和区别数据库、数据仓库、数据湖、数据中台和湖仓一体是数据管理和分析领域的不同概念,各自有不同的特点和应用场景。以下是它们的主要区别:
StarRocks_labs6 个月前
人工智能·湖仓一体·lakehouse
StarRocks Summit Asia 2024 全部议程公布!随着企业数字化转型深入,云原生架构正成为湖仓部署的新标准。弹性扩展、资源隔离、成本优化,帮助企业在云上获得了更高的灵活性和效率。与此同时,云原生架构也为湖仓与 AI 的深度融合奠定了基础。
阿里云大数据AI技术6 个月前
大数据·olap·emr·dataworks·湖仓一体
DataWorks on EMR StarRocks,打造标准湖仓新范式在大数据领域,数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务(下文简称 StarRocks),专注于实时分析场景,可提供高性能、全场景、极速统一的数据分析体验。
hf2000126 个月前
大数据·数据仓库·云原生·数据挖掘·数据分析·湖仓一体
比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?作者 | 关涛 云器科技CTO数据平台领域发展 20 年,逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域,当下的架构已经完美了吗,主要问题和挑战是什么?在 2023 年 AI 跃变式爆发的大背景下,数据平台又该如何演进,以适应未来的数据使用场景?
StarRocks_labs7 个月前
大数据·flink·湖仓一体·paimon·lakehouse
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索作者:王沛斌@饿了么小编导读:本文整理自饿了么大数据架构师、Apache Flink Contributor 王沛斌老师在8月3日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。主要分为以下三个内容: