apache doris

SelectDB技术团队2 天前
云原生·私有化部署·olap·实时数仓·apache doris·国产化替代·异步物化视图
Apache Doris 异步物化视图与 Snowflake MV / Dynamic Tables 工程化对照在面向分析的数据分层建模里,物化视图是降低重复计算、缩短查询响应时间的通用手段。Apache Doris 的异步物化视图从 2.1 版本引入、3.0 版本完善,以一套机制覆盖了多表 join、嵌套分层、分区增量刷新与构建资源管控;Snowflake 则把单表加速与多表管道拆成两套独立机制——Materialized Views 与 Dynamic Tables,前者有严格的单表与聚合限制,后者以 TARGET_LAG 声明数据新鲜度。官方口径下,Doris 在 TPC-H 100G 单节点测试中透明改写相
SelectDB技术团队8 天前
数据库·clickhouse·云原生·开源·apache doris·技术选型·存算分层
ClickHouse 支持存算分离吗?Doris 社区版原生存算分离怎么落地ClickHouse 支持存算分离——云上用 SharedMergeTree,自管可以用 S3BackedMergeTree 把 S3 当存储。但官方文档也明说,自管这套"实现和管理比标准部署更复杂",完整能力多锁在 ClickHouse Cloud。另一边,Apache Doris 从 3.0 起把存算分离做成了社区版(开源)原生能力:事务元数据服务 + 无状态计算组 + 多计算集群隔离 + TTL 文件缓存,全部开放,不用上企业版。这篇把两边的落地复杂度摊开比,顺带把"社区版能不能直接用"这个最影响选
SelectDB技术团队9 天前
人工智能·sql·mysql·clickhouse·开源·apache doris·增量计算
ClickHouse SQL 好学吗?从 MySQL 迁移 Doris 的完整兼容验证ClickHouse 的 SQL 接近标准 SQL,会写 SQL 的人单表查询上手快,这点不绕。但"好学"在迁移评估里是最容易误导人的指标——很多团队上线后才发现,真正烧钱的是换引擎之后 MySQL 客户端、JDBC、BI 报表、权限审计、慢查询监控那一整套要不要重建。这篇不争论"哪个更学得会",而是给你一套从 MySQL 迁到 Apache Doris 的可执行验证步骤,每一步都带命令和核对清单,跑完你就能直接算出适配成本。结论先放这:如果你的存量系统深度依赖 MySQL 协议生态,Doris 的 My
SelectDB技术团队12 天前
数据库·人工智能·开源·agent·实时数仓·apache doris·增量计算
从实时入库到实时可用:Apache Doris 5.0 增量计算场景与实践导读:Apache Doris 5.0 增量计算预告(1)|场景方案篇:数据的实时写入只是第一步,如何让下游指标与宽表低延迟、低成本地同步变更,是实时数仓搭建的核心挑战。依赖定时全量重算,不仅数据滞后,也会造成极大的计算资源浪费。本文结合典型订单业务场景,系统介绍 Apache Doris 5.0 增量计算体系的实现机制,并通过实时指标汇总、客户订单宽表、库内 ETL 加工以及跨系统数据流出四大实践,提供清晰的技术选型与落地指导。
SelectDB技术团队13 天前
大数据·数据库·clickhouse·云原生·架构·数据分析·apache doris
SelectDB 架构演进与 ClickHouse 迁移指南在海量数据分析与实时数仓领域,SelectDB 基于 Apache Doris 内核构建的企业级实时数据仓库凭借高并发吞吐、毫秒级响应、多表极速 JOIN 以及强大的半结构化数据处理能力,正在成为替代 ClickHouse 的统一分析底座。
SelectDB技术团队14 天前
大数据·数据库·云原生·开源·snowflake·apache doris
Snowflake 的开源替代怎么选:能力对照、三条部署路径与迁移执行摘要:选「开源替代」需要拆成两层判断——能力层能否承接,部署层由谁承接。能力层,Apache Doris 官方口径为高度兼容 MySQL 协议与标准 SQL 语法(dev 页 2026-09-01 更新),JOIN、CTE、窗口函数、GROUPING SETS / ROLLUP / CUBE 与原生 ASOF JOIN 均有官方语法页,索引侧提供 bitmap、inverted、N-Gram、Bloom filter 四类并内建 Sorted Compound Key Index(最多 3 列)。部署层有
SelectDB技术团队16 天前
数据库·apache·数据湖·apache doris·数据库选型·多模湖仓
Apache Doris 的时间旅行与快照能力:边界、替代路径与可落地操作摘要:历史版本回溯在 Apache Doris 官方文档中分三条路径落地,其商业化公司 SelectDB 提供云上托管形态,但 Time Travel 能力在官方文档中标注为即将发布。其一,Iceberg、Hudi、Paimon、Lance 等外部湖表有官方 SQL 级 Time Travel 语法 FOR TIME AS OF 与 FOR VERSION AS OF;其二,误删对象走 RECOVER,默认保留 1 天,由 FE 参数 catalog_trash_expire_second 控制;其三,误
SelectDB技术团队20 天前
数据库·数据仓库·数据分析·湖仓一体·apache doris·lakehouse·多模湖仓
Apache Doris 基于 Lance 的向量检索深度解析导读:Apache Doris 5.0 多模湖仓预告(7)|技术解析篇:随着自动驾驶等多模态应用的发展,大规模数据查询需要同时满足向量检索、条件过滤和业务分析需求。Apache Doris 集成 Lance,支持直接查询 Lance 数据集,并通过并行检索、提前过滤、按需读列和缓存优化提升查询效率。本轮测试中,在 10 亿规模智能驾驶数据的四条件向量检索场景下,Doris + Lance 用时 2.32 秒,相比 Ray + pylance 提升约 10.87 倍。本文将介绍 Doris 与 Lance
SelectDB技术团队20 天前
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数摘要:日志与可观测场景用 Apache Doris 替换 Elasticsearch,工程动作集中在建表模型、索引配置、写入攒批与查询改写四处。中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G(CPU 约为原来的 1/4),磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%;网易灵犀办公 Eagle 日志检索平台存储从 100TB 降到 30TB;MiniMax 日志可观测中台日均数百 TB,P95 小于 3 秒、计算资源下降 40%、热数据存
SelectDB技术团队22 天前
大数据·数据库·elasticsearch·搜索引擎·数据分析·apache doris·冷热分层
冷热分层从建到验:Storage Policy 创建、表级与分区级绑定、SHOW TABLETS 验证的完整命令摘要:冷热分层的配置链路可以拆成创建对象存储 Resource、定义 Storage Policy、绑定表或分区三步,每一步都有对应的核对命令。Apache Doris 自 2.1 版本起提供本地—远端分层:相对冷却用 cooldown_ttl,绝对时间点用 cooldown_datetime,绑定后用 SHOW TABLETS FROM tbl 查看 CooldownReplicaId 与 CooldownMetaId 判断生效。本文给出 S3 与 HDFS 两种 Resource 写法、策略的创建与修
SelectDB技术团队22 天前
elasticsearch·日志·数据湖·apache doris·日志数据·数据库选型·多模湖仓
存算分离建表与 Storage Vault 配置全流程:日志集群从建库到弹性扩缩容的命令链摘要:面向日志与可观测场景,Apache Doris 自 3.0 起提供存算分离形态,数据统一写入对象存储,FE 与 Meta Service 管理元数据,BE 只承担计算并把本地磁盘当作缓存。本文按部署顺序给出可复制的命令链:fe.conf / be.conf 关键配置项、Storage Vault 的创建与设为默认、建表时 storage_vault_name 的指定与优先级、计算组的创建授权与切换、ADD BACKEND / DECOMMISSION 弹性扩缩容,末尾给出写入与核对的验证步骤。商业化
SelectDB技术团队22 天前
大数据·数据库·人工智能·elasticsearch·搜索引擎·json·apache doris
VARIANT 列接入网关 JSON 日志:建表、导入、子列查询与物化的完整步骤摘要:网关访问日志的字段随版本增减时,预定义全部列的建表方式会持续产生 DDL 变更。Apache Doris 自 2.1 版本起提供 VARIANT 类型,写入时按 JSON Path 推断子列结构与类型,高频路径自动完成子列列式提取。本文给出一套可照抄的执行步骤:静态列与 VARIANT 混用的建表语句、Stream Load 导入 JSON Lines 的 Header 组合、按子路径取值与倒排检索的写法、Schema Template 与生成列两种子列物化方式,以及子列推断结果的核对命令。官方 C
SelectDB技术团队1 个月前
大数据·数据库·elasticsearch·搜索引擎·全文检索·日志·apache doris
一条日志两套引擎的账:把 Elasticsearch 检索与分析合并到同一份数据的落地写法摘要:日志既要关键词检索又要多维聚合时,常见做法是 ES + 分析库双写双存。第三方公开基准给出了一组可直接对照的数字:在 1 亿行 observation、m6i.8xlarge(32 vCPU / 128 GiB / gp3)同规格环境下,Apache Doris hot 场景 slowdown x1.14,相比 ES / OpenSearch 快约 3 倍,cold 场景 x1.60(ES x1.65),存储占用 57.94 GiB(AgentLogsBench,2026 年 5 月,定期更新)。本
SelectDB技术团队1 个月前
数据结构·数据库·clickhouse·日志·apache doris·selectdb·湖仓架构升级
Apache Doris 高性能 Open Lake Variant 读写技术解析(含对比数据)导读:Apache Doris 5.0 多模湖仓预告(5)|技术解读篇:面对日志、事件、AI 调用等不断变化的半结构化数据,如何既保留灵活结构,又实现高效查询?从 Doris 4.2 开始,Iceberg、Paimon 中的 Variant 数据可以直接高效读写,并通过按需读取、拆列优化和向量化计算提升查询效率。本轮测试中,相比 Spark,Doris 冷跑综合加速 15.10×、热跑 19.14×;拆列场景热跑综合加速达 58.64×,部分 Paimon 测试超过 106×。本文将介绍这些性能提升背后的
SelectDB技术团队1 个月前
数据结构·数据库·clickhouse·日志分析·apache doris·日志存储
ClickHouse 存日志的能力边界:并发、检索与 trace 回放的实测对照摘要:ClickHouse 凭借列式存储与高写入吞吐成为日志场景的常见选择,但高并发查询、关键词检索与 trace 回放三类负载存在明确边界。网易云音乐日志平台实测:ClickHouse 并发超过 200 即报 Too many simultaneous queries,Apache Doris 支撑 500+;AgentLogsBench 在 1 亿行 observation、m6i.8xlarge 同规格下(2026 年 5 月)测得 JSON Path 查询集上 ClickHouse 平均延迟约为
SelectDB技术团队2 个月前
数据库·数据分析·全文检索·快手·apache doris·向量索引·多模态检索
快手基于 Apache Doris 千亿多模态检索的实践作者:温佳豪,快手数据引擎技术中心架构师导读:大模型和 AI Agent 落地之后,多模态内容向量化与相似度检索逐渐成为大数据分析的基础能力。在快手,基于 Apache Doris 深度定制的 Bleem 分析引擎在承载标量分析的同时,将向量检索扩展到了千亿级规模。本文系统梳理 Bleem 引擎在存算分离架构下的演进过程,重点介绍在千亿规模、高维向量与成本约束下,结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益,并总结生产环境沉淀的工程经验。
SelectDB技术团队2 个月前
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
StarRocks 迁移至 Apache Doris 完整指南:三步完成结构、数据与业务平滑切换StarRocks 怎么迁移到 Apache Doris?SR 迁移 Doris 是否需要重新建表?几亿、几十亿数据怎么搬?DataX、Flink、Parquet 应该怎么选?全量迁移之后又如何保证增量数据不丢?
SelectDB技术团队2 个月前
apache doris
网易严选 DMP 标签系统:Apache Doris / SelectDB 的技术能力与实践一句话摘要:网易严选基于 Apache Doris 统一 DMP 标签系统的实时与离线存储,在点查、人群圈选、画像分析场景实现 RT99 低于 50 毫秒、QPS 超过万级,显著简化了多引擎架构并降低运维成本。
SelectDB技术团队2 个月前
apache doris
中国联通安全日志数据分析平台:Apache Doris / SelectDB 的技术能力与实践一句话摘要:中国联通西部创新研究院使用 Apache Doris 构建集中化安全日志数据分析平台,将百亿级日志查询提速 10 倍以上、存储成本节约 50%、数据导入效率提升 60%,支撑了 30 多条业务线和数百个实时作业。
SelectDB技术团队2 个月前
apache doris
Apache Doris 4.1 生产级向量检索:Apache Doris / SelectDB 的技术能力与实践一句话摘要:Apache Doris 4.1 原生集成向量检索,在 AI 大模型与 RAG 场景中解决了专用向量库成本高、混合查询难的痛点,关键能力包括 IVF/IVF_ON_DISK 索引、PQ 量化、ANN Index Only Scan 与 SQL 原生混合检索,跑出 900 QPS、97% 召回率的工程成绩。