olap

梦想画家5 天前
postgresql·olap·duckdb
破局OLAP困境:PostgreSQL集成列存储数据的终极方案——DuckDB FDW深度实践PostgreSQL作为经典的行存储数据库,在事务型(OLTP)场景中表现卓越,但面对海量列存储数据(如Parquet、ORC)的分析型(OLAP)需求时,常陷入性能瓶颈。本文先剖析PostgreSQL适配OLAP与列存储的核心必要性,系统对比aws_s3扩展、Citus列存、DuckDB FDW等主流方案的优劣,最终聚焦高性能方案DuckDB FDW,通过“电商用户行为分析”“政务数据跨源查询”“企业IOT设备监控”三大实战场景,提供从环境部署到查询优化的完整落地流程,为企业构建“事务+分析”一体化数据
阿坤带你走近大数据9 天前
starrocks·架构·olap
StarRocks(SR)的基本概念、架构及基本使用介绍StarRocks(原名 DorisDB,后开源并更名为 StarRocks)是一款高性能、实时、MPP(大规模并行处理)架构的现代化分布式 SQL 数据库,专为 OLAP(在线分析处理) 场景设计。它兼容 MySQL 协议,支持标准 SQL,具备亚秒级查询响应能力,适用于实时报表、即席查询、多维分析、用户画像、日志分析等场景。
KG大数据18 天前
物联网·doris·olap
Apache Doris 在 IOT 场景的实践与落地方案在协助众多传统制造业公司进行了一系列的 IOT 方案升级改造和落地实施后,还是总结了不少这方面的经验,今天我们一起来看看, Apache Doris 在 IOT 场景从技术实现角度和业务场景提效方面应该如何正确的设计架构方案及开发实现。
IT 行者1 个月前
数据库·olap
ClickHouse 学习笔记:单例模式安装部署实战指南ClickHouse 是由俄罗斯「Yandex」公司开源的列式存储数据库,专门用于 OLAP(在线分析处理)场景。本笔记记录了 ClickHouse 单例模式的完整安装部署流程,帮助开发者快速搭建分析型数据库环境。
码以致用2 个月前
数据库·starrocks·olap·1024程序员节
StarRocks笔记StarRocks 是新一代极速统一的云原生MPP数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理,就可以用 StarRocks 来支持多种数据分析场景的极速分析。
SelectDB技术团队3 个月前
数据库·人工智能·apache·olap·mcp
Apache Doris 4.0 AI 能力揭秘(二):为企业级应用而生的 AI 函数设计与实践在上一篇文章《Apache Doris 4.0 AI 能力揭秘(一):AI 函数之 LLM 函数介绍》中,我们介绍了 Apache Doris 4.0 如何通过原生集成 LLM 函数,将大语言模型的强大能力引入 SQL 分析场景,实现文本处理的智能化与内部分析的无缝化。这一能力不仅拓展了数据库的边界,也为数据密集型业务注入了全新的智能维度。
喂完待续4 个月前
大数据·数据库·clickhouse·数据分析·olap·big data·序列晋升
【Big Data】AI赋能的ClickHouse 2.0:从JIT编译到LLM查询优化,下一代OLAP引擎进化路径目录1. 什么是ClickHouse?2. 诞生背景与发展历程3. 架构设计解析3.1 存储引擎:MergeTree家族
镜舟科技8 个月前
数据库·物联网·数据分析·时序数据库·olap·实时数仓·实时数据库
时序数据库、实时数据库与实时数仓:如何为实时数据场景选择最佳解决方案?随着物联网、金融交易、在线游戏等场景对实时数据处理需求的增长,市场上涌现出多种专门针对实时数据处理的数据库解决方案。然而,面对时序数据库、实时数据库和实时数据仓库这三种看似相似的技术,许多技术决策者常常感到困惑:它们之间有什么区别?各自适用于什么场景?如何为特定业务需求选择最佳解决方案?本文将深入浅出地解析这三种技术的核心特点、应用场景及选择策略。
StarRocks_labs8 个月前
数据库·starrocks·人工智能·开源·olap·mcp
StarRocks MCP Server 开源发布:为 AI 应用提供强大分析中枢过去,开发者要让大模型(LLM)使用数据库查询数据,往往需要开发专属插件、设计复杂的接口或手动构建 Prompt,这不仅费时费力,而且很难在不同模型之间复用。StarRocks MCP Server 提供了一个“通用适配器”接口,让各种 LLM(如 Claude、OpenAI、Gemini)都能标准化地访问 StarRocks,使得模型能够直接执行 SQL 查询并探索数据库内容,无需复杂的配置或集成。
镜舟科技8 个月前
数据仓库·olap·数据集市·多维数据模型·在线分析处理·定制化数据
什么是数据集市(Data Mart)?数据集市(Data Mart)是数据仓库(Data Warehouse)的一个子集,专门针对某个特定业务部门、业务线或主题领域,存储和管理该部门或领域所需的特定数据。它通常包含从企业范围的数据仓库中抽取、筛选和汇总的部分数据,目的是满足特定用户群体的分析和决策需求。
StarRocks_labs8 个月前
数据库·starrocks·olap·数据查询·查询优化·logical rewrite
StarRocks 查询优化器深度解析1. Development History of StarRocks过去五年,StarRocks 发布了三个大版本:
StarRocks_labs9 个月前
数据库·starrocks·数据分析·spark·olap·湖仓一体·deepseek
RAG 实战|用 StarRocks + DeepSeek 构建智能问答与企业知识库文章作者:石强,镜舟科技解决方案架构师赵恒,StarRocks TSC Member👉 加入 StarRocks x AI 技术讨论社区 https://mp.weixin.qq.com/s/61WKxjHiB-pIwdItbRPnPA
StarRocks_labs9 个月前
starrocks·数据仓库·数据分析·olap·湖仓一体
StarRocks Community Monthly Newsletter (Mar)核心功能升级数据安全与权限管控支持「安全视图」功能,严格管控视图查询权限MySQL协议连接支持SSL认证,保障数据传输安全
StarRocks_labs9 个月前
数据库·starrocks·数据分析·spark·olap·物化视图·apache druid
【活动回顾】StarRocks Singapore Meetup #2 @Shopee3 月 13 日,StarRocks 社区在新加坡成功举办了第二场 Meetup 活动,主题为“Empowering Customer-Facing Analytics”。本次活动在 Shopee 新加坡办公室举行,吸引了来自 Shopee、Grab 和 Pinterest 的专家讲师以及 50 多位参会者。大家围绕电商、BI 报表和广告场景中的数据分析挑战展开了深入探讨,并分享了如何利用 StarRocks 为关键业务提供更快、更精准的数据分析解决方案。
viperrrrrrrrrr710 个月前
大数据·学习·olap·oltp
大数据学习(69)- OLAP和OLTP🍋🍋大数据学习🍋🍋🔥系列专栏: 👑哲学语录: 用力所能及,改变世界。 💖如果觉得博主的文章还不错的话,请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞
ZNineSun1 年前
starrocks·olap·数据湖·mpp·oltp
新一代MPP数据库:StarRocksOLAP数据库(Online Analytical Processing Database,在线分析处理数据库)是大数据场景下用于进行数据分析不可或缺的系统,早期主要有Oracle、Vertica、HANA等商业数据库占据市场份额,后来出现了GreenPlum、Impala、Presto、Kylin等开源的OLAP系统,字节跳动带火了ClickHouse,Snowflake的出现和上市使OLAP进入了云原生时代,之后从百度Palo发展而来的StarRocks和Doris相继进入Linux和Aapche基金
PersistJiao1 年前
olap·couchbase
Couchbase的OLAP支持情况Couchbase 是一个高性能的 NoSQL 数据库,主要用于在线事务处理(OLTP)场景,但它也提供了一些功能来支持在线分析处理(OLAP)需求。以下是 Couchbase 对 OLAP 支持的几个方面:
阿里云大数据AI技术1 年前
大数据·olap·emr·dataworks·湖仓一体
DataWorks on EMR StarRocks,打造标准湖仓新范式在大数据领域,数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务(下文简称 StarRocks),专注于实时分析场景,可提供高性能、全场景、极速统一的数据分析体验。
OceanBase数据库官方博客1 年前
oceanbase·分布式数据库·olap·产品特性
OceanBase V4.3.3,首个面向实时分析场景的GA版本发布在10月23日举办的 OceanBase年度发布会 上,我们怀着激动之情,正式向大家宣布了 OceanBase 4.3.3 GA 版的正式发布,这也是OceanBase 为实时分析(AP)场景打造的首个GA版本。