lakehouse

hf20001214 天前
大数据·分布式·spark·lakehouse
零成本迁移,原地加速,成本降低60%:火花思维基于云器Lakehouse升级实践火花思维起步于2017年,作为中国专注少儿逻辑思维培养的细分头部品牌,其多元化的课程体系、实时互动的教学场景与全球化的服务网络,对平台的海量数据处理与智能化分析能力提出了极高要求。
百度Geek说15 天前
clickhouse·湖仓一体·lakehouse·数据引擎·存算分离
百度MEG数据中台ClickHouse在数据湖仓中的探索和应用随着图灵3.0生态在业务中不断深入,数据量和分析需求飞速增长,传统ClickHouse架构面临成本高昂、即席探索链路冗长以及故障恢复缓慢等问题。
hf20001218 天前
架构·数据湖·湖仓一体·lakehouse
美团 x 云器|从美团BI平台升级看数据引擎架构升级演进路径导读本周,美团基础研发平台发布了《美团 BI 在指标平台和分析引擎上的探索和实践》一文,详细披露了其BI平台基于云器Lakehouse的引擎升级探索与实践。作为国内头部互联网公司的核心数据基础设施,美团的这一技术选型与实践经验,对于整个行业具有较高的参考价值。
StarRocks_labs2 个月前
starrocks·人工智能·物化视图·lakehouse·湖仓架构
不止于极速查询!StarRocks 2025 年度回顾:深耕 Lakehouse,加速 AI 融合2025 年,是 StarRocks 持续深耕与进化的一年。围绕 Lakehouse 与 AI 实时能力,多个关键能力在迭代与实践中渐次落地。项目的每一步前行,都得益于社区每一次真实的反馈与贡献。
云器科技3 个月前
大数据·架构·spark·lakehouse·数据湖仓
告别Spark?大数据架构的十字路口与技术抉择作者:果诚凌晨六点,一条告警消息打破了寂静:夜间 Spark 批处理任务再次超时,库存数据未能按时更新。如果不及时处理,电商平台的客户投诉可能接踵而至。这不是偶发事件,而是技术团队的常态:面对引擎性能瓶颈,他们不得不频繁调整资源扩缩容,在业务稳定与成本控制之间艰难权衡;面对实时数据的场景,他们不得不临时搭建一个额外的流式数据链路,以支持 11.11 大促活动看板;他们还要达成每年平台降本增效的需求;他们夜复一夜,人力监控 Spark 的 ETL(提取、转换、加载)任务,确保系统底层不崩塌。Spark 体系
云器科技3 个月前
大数据·数据库·架构·spark·lakehouse
云器Lakehouse2025年03月版本发布:打造更强大、更智能、更安全的数据管理新体验在本次云器Lakehouse产品3月的版本发布中,我们带来了数十项产品核心功能的演进和升级,覆盖数据同步、开发体验、智能运维、数据安全四大维度,助力企业轻松应对复杂数据加工和管理挑战!这是自2025年1月云器产品全面开放注册两个月后的一次产品更新。(GA发布会详情请查看文末链接)
云器科技4 个月前
数据仓库·湖仓一体·lakehouse·无需 cdp
无需CDP:基于现有数据仓库构建高效用户画像系统作者:刘俊用户画像是大数据应用的重要场景。通过多维度数据建模,构建用户行为并转化为标签,建立完整的数字身份图谱。通过系统分析大量用户行为数据,给每个用户打上多样的标签。这些标签包括人口特征和兴趣爱好等多方面信息。用户画像帮助企业做个性化推荐和精准营销,已经成为企业数字化运营的基础工具。
镜舟科技4 个月前
starrocks·数据分析·开源·数字化转型·华为鲲鹏·lakehouse·镜舟科技
活动回顾 | 镜舟科技出席鲲鹏开发者创享日・北京站12月12日,由华为技术有限公司主办的“鲲鹏开发者创享日・北京站”在北京圆满落幕。作为中国领先的企业级数据基础设施服务商,镜舟科技受邀出席,并亮相“开发者解决方案展区”,与现场顶尖技术大咖、科研领袖及行业伙伴共同探讨前沿科技,展示了新一代数据架构的无限可能。
StarRocks_labs8 个月前
大数据·starrocks·人工智能·iceberg·lakehouse·智能bi·湖仓分析
Lakehouse x AI ,打造智能 BI 新体验本文整理自瓴羊的王璟尧老师与镜舟科技石强老师的联合分享,围绕 Quick BI 在智能 BI 场景中的落地实践,深入探讨了 StarRocks 如何凭借 MPP 架构、实时分析能力与 AI 原生支持,成为智能分析的理想 Lakehouse 引擎底座,助力 BI 从“被动查询”迈向“主动决策”,开启数据“会说话”的新体验。
镜舟科技1 年前
starrocks·金融·架构·数据分析·湖仓一体·物化视图·lakehouse
湖仓一体架构在金融典型数据分析场景中的实践在数字经济与金融科技深度融合的今天,数据已成为金融机构的核心战略资产。然而,传统数据架构面临着三大困局,制约着金融机构数据价值的充分释放。
镜舟科技1 年前
大数据·starrocks·数据分析·湖仓一体·物化视图·lakehouse·存算分离
StarRocks Lakehouse 如何重构大数据架构?随着数据分析需求的不断演进,企业对数据处理架构的期望也在不断提升。在这一背景下,StarRocks 凭借其高性能的实时分析能力,正引领数据分析进入湖仓一体的新时代。
镜舟科技1 年前
大数据·starrocks·数据分析·开源·lakehouse·分析型数据库·湖仓
镜舟科技助力某大型电网企业破解数据架构升级难题,打造国产化湖仓标杆在 “十四五” 规划全面推进国产化替代的背景下,某大型电网企业联合镜舟科技与腾讯云,基于全球领先的开源分析型数据库 StarRocks 及腾讯 TBDS 大数据平台,构建电力行业国产化湖仓一体架构。该项目实现 PB 级电力数据的统一管理,为能源行业核心系统国产化升级提供了可复制的技术范本。
镜舟科技1 年前
大数据·科技·lakehouse·创新·镜舟科技
镜舟科技荣膺“北京市用户满意企业”认证,以用户为中心驱动高质量发展近日,镜舟科技正式获颁"北京市用户满意企业"证书,这一权威认证由北京质协用户评价中心、北京市用户满意认定办公室联合颁发。此次认证不仅是对镜舟科技用户满意度的高度肯定,也是对企业综合质量管理能力的权威认可。
StarRocks_labs1 年前
大数据·架构·spark·湖仓一体·lakehouse
小红书湖仓架构的跃迁之路作者:李鹏霖(丁典),小红书-研发工程师,StarRocks Contributor & Apache Impala Committer
SelectDB技术团队1 年前
doris·数据湖·paimon·lakehouse·湖仓加速
湖仓分析|浙江霖梓基于 Doris + Paimon 打造实时/离线一体化湖仓架构导读:浙江霖梓早期使用 CDH 产品套件搭建了大数据系统,面临业务逻辑冗余、查询效率低下等问题,基于 Apache Doris 进行整体架构与表结构的重构,并基于湖仓一体和查询加速展开深度探索与实践,打造了 Doris + Paimon 的实时/离线一体化湖仓架构,实现查询提速 30 倍、资源成本节省 67% 等显著成效。
StarRocks_labs1 年前
大数据·架构·spark·湖仓一体·lakehouse
从 Spark 到 StarRocks:实现58同城湖仓一体架构的高效转型作者:王世发,吴艳兴等,58同城数据架构部导读:本文介绍了58同城在其数据探查平台中引入StarRocks的实践,旨在提升实时查询性能。在面对传统Spark和Hive架构的性能瓶颈时,58同城选择StarRocks作为加速引擎,增强数据湖的分析能力。在迁移过程中,团队克服了多个兼容性问题,并对系统进行了稳定性和易用性的改进,特别是在Java UDF支持和SQL黑名单功能方面。
chaplinthink1 年前
lakehouse·fluss·pamion
基于Fluss 的流式湖仓架构Fluss 是一个用于实时分析的可扩展流存储,可以作为 Lakehouse 架构的实时数据层。它通过实现低延迟、高吞吐量的数据摄取和处理,弥合了流数据和数据湖之间的差距,同时无缝集成流行的计算引擎,如Apache Flink,而Apache Spark和StarRocks也即将推出。 Fluss 支持亚秒级延迟的 流式读取 和 写入,并以列式格式存储数据,从而提高查询性能并降低存储成本。 它提供灵活的表类型,包括仅追加的 日志表 和可更新的 主键表,以满足各种实时分析和处理需求。 内置的复制功能可提供容错
SelectDB技术团队1 年前
大数据·数据库·数据仓库·数据分析·lakehouse
Cisco WebEx 数据平台:统一 Trino、Pinot、Iceberg 及 Kyuubi,探索 Apache Doris 在 Cisco 的改造实践导读:Cisco WebEx 早期数据平台采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖仓及查询分析引擎,显著提升了查询性能及系统稳定性,同时实现资源成本降低 30%。