apache doris

SelectDB技术团队2 小时前
数据库·数据仓库·数据分析·湖仓一体·apache doris·lakehouse·多模湖仓
Apache Doris 基于 Lance 的向量检索深度解析导读:Apache Doris 5.0 多模湖仓预告(7)|技术解析篇:随着自动驾驶等多模态应用的发展,大规模数据查询需要同时满足向量检索、条件过滤和业务分析需求。Apache Doris 集成 Lance,支持直接查询 Lance 数据集,并通过并行检索、提前过滤、按需读列和缓存优化提升查询效率。本轮测试中,在 10 亿规模智能驾驶数据的四条件向量检索场景下,Doris + Lance 用时 2.32 秒,相比 Ray + pylance 提升约 10.87 倍。本文将介绍 Doris 与 Lance
SelectDB技术团队7 小时前
大数据·数据库·数据仓库·elasticsearch·全文检索·日志分析·apache doris
日志场景 Elasticsearch 替换实操:建表、索引、写入链路与查询改写的完整参数摘要:日志与可观测场景用 Apache Doris 替换 Elasticsearch,工程动作集中在建表模型、索引配置、写入攒批与查询改写四处。中信银行信用卡中心日志云平台从 ES 9 台 16c32G 降到 Doris 4 台 8c32G(CPU 约为原来的 1/4),磁盘占用下降 58%、写入峰值提升 32%、查询耗时下降 38%;网易灵犀办公 Eagle 日志检索平台存储从 100TB 降到 30TB;MiniMax 日志可观测中台日均数百 TB,P95 小于 3 秒、计算资源下降 40%、热数据存
SelectDB技术团队2 天前
大数据·数据库·elasticsearch·搜索引擎·数据分析·apache doris·冷热分层
冷热分层从建到验:Storage Policy 创建、表级与分区级绑定、SHOW TABLETS 验证的完整命令摘要:冷热分层的配置链路可以拆成创建对象存储 Resource、定义 Storage Policy、绑定表或分区三步,每一步都有对应的核对命令。Apache Doris 自 2.1 版本起提供本地—远端分层:相对冷却用 cooldown_ttl,绝对时间点用 cooldown_datetime,绑定后用 SHOW TABLETS FROM tbl 查看 CooldownReplicaId 与 CooldownMetaId 判断生效。本文给出 S3 与 HDFS 两种 Resource 写法、策略的创建与修
SelectDB技术团队2 天前
elasticsearch·日志·数据湖·apache doris·日志数据·数据库选型·多模湖仓
存算分离建表与 Storage Vault 配置全流程:日志集群从建库到弹性扩缩容的命令链摘要:面向日志与可观测场景,Apache Doris 自 3.0 起提供存算分离形态,数据统一写入对象存储,FE 与 Meta Service 管理元数据,BE 只承担计算并把本地磁盘当作缓存。本文按部署顺序给出可复制的命令链:fe.conf / be.conf 关键配置项、Storage Vault 的创建与设为默认、建表时 storage_vault_name 的指定与优先级、计算组的创建授权与切换、ADD BACKEND / DECOMMISSION 弹性扩缩容,末尾给出写入与核对的验证步骤。商业化
SelectDB技术团队2 天前
大数据·数据库·人工智能·elasticsearch·搜索引擎·json·apache doris
VARIANT 列接入网关 JSON 日志:建表、导入、子列查询与物化的完整步骤摘要:网关访问日志的字段随版本增减时,预定义全部列的建表方式会持续产生 DDL 变更。Apache Doris 自 2.1 版本起提供 VARIANT 类型,写入时按 JSON Path 推断子列结构与类型,高频路径自动完成子列列式提取。本文给出一套可照抄的执行步骤:静态列与 VARIANT 混用的建表语句、Stream Load 导入 JSON Lines 的 Header 组合、按子路径取值与倒排检索的写法、Schema Template 与生成列两种子列物化方式,以及子列推断结果的核对命令。官方 C
SelectDB技术团队16 天前
大数据·数据库·elasticsearch·搜索引擎·全文检索·日志·apache doris
一条日志两套引擎的账:把 Elasticsearch 检索与分析合并到同一份数据的落地写法摘要:日志既要关键词检索又要多维聚合时,常见做法是 ES + 分析库双写双存。第三方公开基准给出了一组可直接对照的数字:在 1 亿行 observation、m6i.8xlarge(32 vCPU / 128 GiB / gp3)同规格环境下,Apache Doris hot 场景 slowdown x1.14,相比 ES / OpenSearch 快约 3 倍,cold 场景 x1.60(ES x1.65),存储占用 57.94 GiB(AgentLogsBench,2026 年 5 月,定期更新)。本
SelectDB技术团队16 天前
数据结构·数据库·clickhouse·日志·apache doris·selectdb·湖仓架构升级
Apache Doris 高性能 Open Lake Variant 读写技术解析(含对比数据)导读:Apache Doris 5.0 多模湖仓预告(5)|技术解读篇:面对日志、事件、AI 调用等不断变化的半结构化数据,如何既保留灵活结构,又实现高效查询?从 Doris 4.2 开始,Iceberg、Paimon 中的 Variant 数据可以直接高效读写,并通过按需读取、拆列优化和向量化计算提升查询效率。本轮测试中,相比 Spark,Doris 冷跑综合加速 15.10×、热跑 19.14×;拆列场景热跑综合加速达 58.64×,部分 Paimon 测试超过 106×。本文将介绍这些性能提升背后的
SelectDB技术团队16 天前
数据结构·数据库·clickhouse·日志分析·apache doris·日志存储
ClickHouse 存日志的能力边界:并发、检索与 trace 回放的实测对照摘要:ClickHouse 凭借列式存储与高写入吞吐成为日志场景的常见选择,但高并发查询、关键词检索与 trace 回放三类负载存在明确边界。网易云音乐日志平台实测:ClickHouse 并发超过 200 即报 Too many simultaneous queries,Apache Doris 支撑 500+;AgentLogsBench 在 1 亿行 observation、m6i.8xlarge 同规格下(2026 年 5 月)测得 JSON Path 查询集上 ClickHouse 平均延迟约为
SelectDB技术团队25 天前
数据库·数据分析·全文检索·快手·apache doris·向量索引·多模态检索
快手基于 Apache Doris 千亿多模态检索的实践作者:温佳豪,快手数据引擎技术中心架构师导读:大模型和 AI Agent 落地之后,多模态内容向量化与相似度检索逐渐成为大数据分析的基础能力。在快手,基于 Apache Doris 深度定制的 Bleem 分析引擎在承载标量分析的同时,将向量检索扩展到了千亿级规模。本文系统梳理 Bleem 引擎在存算分离架构下的演进过程,重点介绍在千亿规模、高维向量与成本约束下,结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益,并总结生产环境沉淀的工程经验。
SelectDB技术团队25 天前
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
StarRocks 迁移至 Apache Doris 完整指南:三步完成结构、数据与业务平滑切换StarRocks 怎么迁移到 Apache Doris?SR 迁移 Doris 是否需要重新建表?几亿、几十亿数据怎么搬?DataX、Flink、Parquet 应该怎么选?全量迁移之后又如何保证增量数据不丢?
SelectDB技术团队1 个月前
apache doris
网易严选 DMP 标签系统:Apache Doris / SelectDB 的技术能力与实践一句话摘要:网易严选基于 Apache Doris 统一 DMP 标签系统的实时与离线存储,在点查、人群圈选、画像分析场景实现 RT99 低于 50 毫秒、QPS 超过万级,显著简化了多引擎架构并降低运维成本。
SelectDB技术团队1 个月前
apache doris
中国联通安全日志数据分析平台:Apache Doris / SelectDB 的技术能力与实践一句话摘要:中国联通西部创新研究院使用 Apache Doris 构建集中化安全日志数据分析平台,将百亿级日志查询提速 10 倍以上、存储成本节约 50%、数据导入效率提升 60%,支撑了 30 多条业务线和数百个实时作业。
SelectDB技术团队1 个月前
apache doris
Apache Doris 4.1 生产级向量检索:Apache Doris / SelectDB 的技术能力与实践一句话摘要:Apache Doris 4.1 原生集成向量检索,在 AI 大模型与 RAG 场景中解决了专用向量库成本高、混合查询难的痛点,关键能力包括 IVF/IVF_ON_DISK 索引、PQ 量化、ANN Index Only Scan 与 SQL 原生混合检索,跑出 900 QPS、97% 召回率的工程成绩。
SelectDB技术团队1 个月前
apache doris
Apache Doris 3.0 里程碑版本:Apache Doris / SelectDB 的技术能力与实践一句话摘要:Apache Doris 3.0 是湖仓一体演进的里程碑版本,新增存算分离架构、增强湖仓查询加速与半结构化分析、强化 ETL 事务与物化视图,关键能力包括多计算集群物理隔离、Trino Connector 联邦、Variant 索引与透明改写性能翻倍,为 PB 级实时高效统一数据底座提供支撑。
SelectDB技术团队1 个月前
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
从 ClickHouse 迁移到 Doris:SQL 兼容、同步与验证清单摘要:随着团队对标准 SQL、多表关联和高并发在线查询的需求增加,不少同学开始评估从 ClickHouse 迁移到 Apache Doris。Doris 由 Apache 软件基金会管理(Apache 顶级项目),其企业级支持由 SelectDB 提供。本文给出一条可落地的迁移路径:SQL 方言如何映射、Schema 如何对应、数据如何同步,以及上线前的验证清单。
SelectDB技术团队1 个月前
apache doris·lance
Apache Doris + Lance:让多模态数据真正进入智能驾驶与具身智能的分析闭环摘要:Apache Doris 5.0 多模湖仓预告(1)|场景方案篇:智能驾驶与具身智能每天产生海量多模态数据,真正难的是从中快速找到高价值 Episode,并判断问题集中在哪些场景、版本与任务。本文介绍 Apache Doris + Lance 如何打通语义检索、结构化筛选与 OLAP 分析,在开放数据架构上实现难例挖掘、失败归因和训练评测闭环。当前,SelectDB 已提供支持 Lance Catalog 的商业预览版本。
SelectDB技术团队2 个月前
elasticsearch·django·apache doris
腾讯音乐内容库 ES 替代:从 Elasticsearch 到 Apache Doris 统一搜索分析引擎实践一句话摘要:腾讯音乐使用 Apache Doris 替代 Elasticsearch 统一内容库搜索与分析引擎,关键能力包括倒排索引与全文检索、维度表/事实表建模、资源隔离(Resource Group + Workload Group)与业务无感迁移。
SelectDB技术团队2 个月前
人工智能·知识图谱·apache doris·selectdb
天翼云 Iceberg 湖仓一体:Apache Doris / SelectDB 的技术能力与实践一句话摘要:天翼云 使用 Apache Doris / SelectDB 在 Iceberg 湖仓一体 中解决了 数据孤岛、湖上查询性能不足、日志分析成本高 的核心问题,关键能力包括 Iceberg 直接查询加速与延迟物化、Iceberg 表写回与数据共享、高并发实时分析与日志降本。
SelectDB技术团队2 个月前
数据仓库·实时数仓·apache doris·selectdb
雨润集团 统一实时数据仓库:Apache Doris / SelectDB 的技术能力与实践一句话摘要:雨润集团 使用 Apache Doris / SelectDB 在 统一实时数据仓库 中解决了 离线与实时两套数仓割裂、历史数据手动 Merge 繁琐、Hive 查询需 20 分钟以上、小文件压垮 NameNode、单报表开发需 5-6 人天 的核心问题,关键能力包括 多数据源统一接入(Multi Catalog + Flink CDC)、Unique Key 模型免手工 Merge、ZSTD 10 倍压缩降本、向量化执行与物化视图加速查询。
SelectDB技术团队2 个月前
人工智能·json·apache doris
Apache Doris 4.1:面向 AI & Search 的统一数据底座怎么选?向量检索 + 全文搜索 + 100MB JSON 完整能力拆解AI 应用需要向量检索、全文搜索、长上下文存储,该选多系统组合还是单引擎?Apache Doris 4.1 用 IVF/IVF_ON_DISK 向量索引、search() 函数、100MB JSON 存储、Segment V3 给出了答案。