技术栈
湖仓一体
镜舟科技
8 天前
大数据
·
starrocks
·
数据分析
·
湖仓一体
·
物化视图
·
lakehouse
·
存算分离
StarRocks Lakehouse 如何重构大数据架构?
随着数据分析需求的不断演进,企业对数据处理架构的期望也在不断提升。在这一背景下,StarRocks 凭借其高性能的实时分析能力,正引领数据分析进入湖仓一体的新时代。
镜舟科技
11 天前
starrocks
·
数据仓库
·
数据湖
·
大数据平台
·
湖仓一体
·
物化视图
·
流式湖仓
大数据平台与数据仓库的核心差异是什么?
随着数据量呈指数级增长,企业面临着如何有效管理、存储和分析这些数据的挑战。 大数据平台和 数据仓库作为两种主流的数据管理工具,常常让企业在选型时感到困惑,它们之间的界限似乎越来越模糊,功能也有所重叠。本文旨在厘清这两种技术的核心差异,并为企业提供一个实用的选型参考框架。
StarRocks_labs
18 天前
数据库
·
starrocks
·
数据分析
·
spark
·
olap
·
湖仓一体
·
deepseek
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库
文章作者:石强,镜舟科技解决方案架构师赵恒,StarRocks TSC Member👉 加入 StarRocks x AI 技术讨论社区 https://mp.weixin.qq.com/s/61WKxjHiB-pIwdItbRPnPA
StarRocks_labs
20 天前
starrocks
·
数据仓库
·
数据分析
·
olap
·
湖仓一体
StarRocks Community Monthly Newsletter (Mar)
核心功能升级数据安全与权限管控支持「安全视图」功能,严格管控视图查询权限MySQL协议连接支持SSL认证,保障数据传输安全
SelectDB技术团队
1 个月前
大数据
·
数据仓库
·
数据分析
·
doris
·
数据湖
·
湖仓一体
·
日志数据
Apache Doris 2.1.9 版本正式发布
亲爱的社区小伙伴们,Apache Doris 2.1.9 版本已正式发布。2.1.9 版本对湖仓一体、倒排索引、半结构化数据类型、查询优化器、执行引擎、存储管理进行了若干改进优化。欢迎大家下载使用。
SelectDB技术团队
1 个月前
大数据
·
数据库
·
数据仓库
·
人工智能
·
ai
·
数据分析
·
湖仓一体
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
在全球 290 位开发者的协作下,Apache Doris 在 2024 年完成了 7000+ 次代码提交,并发布了 22 个版本,实现在实时分析、湖仓一体和半结构化数据分析等核心场景的技术突破及创新。
镜舟科技
1 个月前
starrocks
·
数据分析
·
apache
·
iceberg
·
数据湖
·
湖仓一体
·
元数据
Apache Iceberg 解析,一文了解Iceberg定义、应用及未来发展
Apache Iceberg 是一种开源的 表格式(Table Format) ,专为超大规模数据分析场景设计,通过标准化数据存储规范与访问协议,解决了传统数据湖在元数据管理、事务控制、查询性能等方面的核心痛点。以下从六个维度全面解析其技术原理、应用场景与最佳实践。
镜舟科技
2 个月前
数据仓库
·
湖仓一体
·
分析型数据库
·
存算分离
·
starrocks 主键
·
主键模型
·
实时数据分析
StarRocks 主键(Primary Key)深度解析
StarRocks 是一款高性能分析型数据库,专为海量数据的实时分析而设计。作为新一代湖仓(Lakehouse)加速引擎,StarRocks 融合了 MPP 架构和列式存储引擎的优势,能够支持亿级数据秒级查询响应。
StarRocks_labs
2 个月前
数据仓库
·
架构
·
数据分析
·
云计算
·
湖仓一体
vivo 湖仓架构的性能提升之旅
作者:郭小龙 vivo互联网 大数据高级研发工程师导读:本文整理自 vivo互联网 大数据高级研发工程师 郭小龙 在 StarRocks 年度峰会上的分享,聚焦 vivo 大数据多维分析面临的挑战、StarRocks 落地方案及应用收益。
涤生大数据
2 个月前
数据仓库
·
数据挖掘
·
数据分析
·
doris
·
数据湖
·
数字化转型
·
湖仓一体
Doris 湖仓一体:数据分析新范式
在大数据的浪潮里,企业数据量呈爆发式增长,数据处理和分析的需求也变得越来越复杂。传统的数据库、数据仓库和数据湖各管一摊,彼此割裂,导致数据利用效率大打折扣。这个时候,湖仓一体的概念横空出世,像是一场 及时雨,为企业的数据管理带来了全新的可能性。今天,我们就来聊聊 基于 Doris 的湖仓一体,看看它到底是怎么解决数据管理的难题,让企业玩转大数据的!
SelectDB技术团队
2 个月前
大数据
·
数据库
·
iceberg
·
doris
·
数据湖
·
湖仓一体
·
天翼云
天翼云:Apache Doris + Iceberg 超大规模湖仓一体实践
导读:天翼云基于 Apache Doris 成功落地项目已超 20 个,整体集群规模超 50 套,部署节点超 3000 个,存储容量超 15PB。天翼云基于 Apache Doris 和 Apache Iceberg 构建的湖仓一体方案,兼具灵活性、高性能和低成本优势,同时满足了报表和 BI 分析、湖仓融合分析、日志存储分析、高并发实时分析、MPPDB 国产化替代等多种场景需求。
StarRocks_labs
2 个月前
大数据
·
starrocks
·
阿里云
·
架构
·
湖仓一体
StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
作者:范振: 阿里云计算平台开源 OLAP 负责人,StarRocks 社区 Champion翁才智: 阿里云技术专家,Apache Paimon PMC Member
王百万_
2 个月前
数据治理
·
hudi
·
湖仓一体
·
ddl
·
华为mrs
·
create table
【Hudi-SQL DDL创建表语法】
命令功能CREATE TABLE命令通过指定带有表属性的字段列表来创建Hudi Table。命令格式参数描述
StarRocks_labs
2 个月前
大数据
·
架构
·
spark
·
湖仓一体
·
lakehouse
小红书湖仓架构的跃迁之路
作者:李鹏霖(丁典),小红书-研发工程师,StarRocks Contributor & Apache Impala Committer
StarRocks_labs
4 个月前
大数据
·
架构
·
spark
·
湖仓一体
·
lakehouse
从 Spark 到 StarRocks:实现58同城湖仓一体架构的高效转型
作者:王世发,吴艳兴等,58同城数据架构部导读:本文介绍了58同城在其数据探查平台中引入StarRocks的实践,旨在提升实时查询性能。在面对传统Spark和Hive架构的性能瓶颈时,58同城选择StarRocks作为加速引擎,增强数据湖的分析能力。在迁移过程中,团队克服了多个兼容性问题,并对系统进行了稳定性和易用性的改进,特别是在Java UDF支持和SQL黑名单功能方面。
Moshow郑锴
6 个月前
大数据
·
数据库
·
数据仓库
·
数据湖
·
湖仓一体
数据库、数据仓库、数据湖、数据中台、湖仓一体的概念和区别
数据库、数据仓库、数据湖、数据中台和湖仓一体是数据管理和分析领域的不同概念,各自有不同的特点和应用场景。以下是它们的主要区别:
StarRocks_labs
6 个月前
人工智能
·
湖仓一体
·
lakehouse
StarRocks Summit Asia 2024 全部议程公布!
随着企业数字化转型深入,云原生架构正成为湖仓部署的新标准。弹性扩展、资源隔离、成本优化,帮助企业在云上获得了更高的灵活性和效率。与此同时,云原生架构也为湖仓与 AI 的深度融合奠定了基础。
阿里云大数据AI技术
6 个月前
大数据
·
olap
·
emr
·
dataworks
·
湖仓一体
DataWorks on EMR StarRocks,打造标准湖仓新范式
在大数据领域,数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务(下文简称 StarRocks),专注于实时分析场景,可提供高性能、全场景、极速统一的数据分析体验。
hf200012
6 个月前
大数据
·
数据仓库
·
云原生
·
数据挖掘
·
数据分析
·
湖仓一体
比流计算资源效率最高提升 1000 倍,“增量计算”新模式能否颠覆数据分析?
作者 | 关涛 云器科技CTO数据平台领域发展 20 年,逐渐成为每个企业的基础设施。作为一个进入“普惠期”的领域,当下的架构已经完美了吗,主要问题和挑战是什么?在 2023 年 AI 跃变式爆发的大背景下,数据平台又该如何演进,以适应未来的数据使用场景?
StarRocks_labs
7 个月前
大数据
·
flink
·
湖仓一体
·
paimon
·
lakehouse
饿了么基于Flink+Paimon+StarRocks的实时湖仓探索
作者:王沛斌@饿了么小编导读:本文整理自饿了么大数据架构师、Apache Flink Contributor 王沛斌老师在8月3日 Streaming Lakehouse Meetup Online(Paimon x StarRocks,共话实时湖仓架构)上的分享。主要分为以下三个内容: