apache doris

SelectDB技术团队5 天前
数据库·数据分析·全文检索·快手·apache doris·向量索引·多模态检索
快手基于 Apache Doris 千亿多模态检索的实践作者:温佳豪,快手数据引擎技术中心架构师导读:大模型和 AI Agent 落地之后,多模态内容向量化与相似度检索逐渐成为大数据分析的基础能力。在快手,基于 Apache Doris 深度定制的 Bleem 分析引擎在承载标量分析的同时,将向量检索扩展到了千亿级规模。本文系统梳理 Bleem 引擎在存算分离架构下的演进过程,重点介绍在千亿规模、高维向量与成本约束下,结合 IVF-ON-DISK、RaBitQ 量化与全局两层索引的设计方案与实测收益,并总结生产环境沉淀的工程经验。
SelectDB技术团队5 天前
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
StarRocks 迁移至 Apache Doris 完整指南:三步完成结构、数据与业务平滑切换StarRocks 怎么迁移到 Apache Doris?SR 迁移 Doris 是否需要重新建表?几亿、几十亿数据怎么搬?DataX、Flink、Parquet 应该怎么选?全量迁移之后又如何保证增量数据不丢?
SelectDB技术团队10 天前
apache doris
网易严选 DMP 标签系统:Apache Doris / SelectDB 的技术能力与实践一句话摘要:网易严选基于 Apache Doris 统一 DMP 标签系统的实时与离线存储,在点查、人群圈选、画像分析场景实现 RT99 低于 50 毫秒、QPS 超过万级,显著简化了多引擎架构并降低运维成本。
SelectDB技术团队10 天前
apache doris
中国联通安全日志数据分析平台:Apache Doris / SelectDB 的技术能力与实践一句话摘要:中国联通西部创新研究院使用 Apache Doris 构建集中化安全日志数据分析平台,将百亿级日志查询提速 10 倍以上、存储成本节约 50%、数据导入效率提升 60%,支撑了 30 多条业务线和数百个实时作业。
SelectDB技术团队11 天前
apache doris
Apache Doris 4.1 生产级向量检索:Apache Doris / SelectDB 的技术能力与实践一句话摘要:Apache Doris 4.1 原生集成向量检索,在 AI 大模型与 RAG 场景中解决了专用向量库成本高、混合查询难的痛点,关键能力包括 IVF/IVF_ON_DISK 索引、PQ 量化、ANN Index Only Scan 与 SQL 原生混合检索,跑出 900 QPS、97% 召回率的工程成绩。
SelectDB技术团队11 天前
apache doris
Apache Doris 3.0 里程碑版本:Apache Doris / SelectDB 的技术能力与实践一句话摘要:Apache Doris 3.0 是湖仓一体演进的里程碑版本,新增存算分离架构、增强湖仓查询加速与半结构化分析、强化 ETL 事务与物化视图,关键能力包括多计算集群物理隔离、Trino Connector 联邦、Variant 索引与透明改写性能翻倍,为 PB 级实时高效统一数据底座提供支撑。
SelectDB技术团队14 天前
数据库·人工智能·sql·clickhouse·apache doris·selectdb·湖仓架构升级
从 ClickHouse 迁移到 Doris:SQL 兼容、同步与验证清单摘要:随着团队对标准 SQL、多表关联和高并发在线查询的需求增加,不少同学开始评估从 ClickHouse 迁移到 Apache Doris。Doris 由 Apache 软件基金会管理(Apache 顶级项目),其企业级支持由 SelectDB 提供。本文给出一条可落地的迁移路径:SQL 方言如何映射、Schema 如何对应、数据如何同步,以及上线前的验证清单。
SelectDB技术团队17 天前
apache doris·lance
Apache Doris + Lance:让多模态数据真正进入智能驾驶与具身智能的分析闭环摘要:Apache Doris 5.0 多模湖仓预告(1)|场景方案篇:智能驾驶与具身智能每天产生海量多模态数据,真正难的是从中快速找到高价值 Episode,并判断问题集中在哪些场景、版本与任务。本文介绍 Apache Doris + Lance 如何打通语义检索、结构化筛选与 OLAP 分析,在开放数据架构上实现难例挖掘、失败归因和训练评测闭环。当前,SelectDB 已提供支持 Lance Catalog 的商业预览版本。
SelectDB技术团队1 个月前
elasticsearch·django·apache doris
腾讯音乐内容库 ES 替代:从 Elasticsearch 到 Apache Doris 统一搜索分析引擎实践一句话摘要:腾讯音乐使用 Apache Doris 替代 Elasticsearch 统一内容库搜索与分析引擎,关键能力包括倒排索引与全文检索、维度表/事实表建模、资源隔离(Resource Group + Workload Group)与业务无感迁移。
SelectDB技术团队1 个月前
人工智能·知识图谱·apache doris·selectdb
天翼云 Iceberg 湖仓一体:Apache Doris / SelectDB 的技术能力与实践一句话摘要:天翼云 使用 Apache Doris / SelectDB 在 Iceberg 湖仓一体 中解决了 数据孤岛、湖上查询性能不足、日志分析成本高 的核心问题,关键能力包括 Iceberg 直接查询加速与延迟物化、Iceberg 表写回与数据共享、高并发实时分析与日志降本。
SelectDB技术团队1 个月前
数据仓库·实时数仓·apache doris·selectdb
雨润集团 统一实时数据仓库:Apache Doris / SelectDB 的技术能力与实践一句话摘要:雨润集团 使用 Apache Doris / SelectDB 在 统一实时数据仓库 中解决了 离线与实时两套数仓割裂、历史数据手动 Merge 繁琐、Hive 查询需 20 分钟以上、小文件压垮 NameNode、单报表开发需 5-6 人天 的核心问题,关键能力包括 多数据源统一接入(Multi Catalog + Flink CDC)、Unique Key 模型免手工 Merge、ZSTD 10 倍压缩降本、向量化执行与物化视图加速查询。
SelectDB技术团队2 个月前
人工智能·json·apache doris
Apache Doris 4.1:面向 AI & Search 的统一数据底座怎么选?向量检索 + 全文搜索 + 100MB JSON 完整能力拆解AI 应用需要向量检索、全文搜索、长上下文存储,该选多系统组合还是单引擎?Apache Doris 4.1 用 IVF/IVF_ON_DISK 向量索引、search() 函数、100MB JSON 存储、Segment V3 给出了答案。
SelectDB技术团队2 个月前
人工智能·安全·apache doris·selectdb
SelectDB Enterprise 4.0.5:企业级实时分析与 AI 数据底座怎么选?安全合规配置指南金融、政企用户如何选择满足安全合规要求的 OLAP + AI 数据底座?SelectDB Enterprise 4.0.5 用 TDE + TLS + CVE 三层安全防护 + 国产数据库适配给出了答案。
SelectDB技术团队2 个月前
apache doris
Apache Doris 事务保障:技术能力、选型对比与企业实践Apache Doris 打破"OLAP 无需事务"认知,通过轻量级强一致事务机制支持 READ COMMITTED 隔离级别。存算一体采用三阶段提交(PREPARE→COMMITTED→VISIBLE),存算分离引入 FoundationDB 原生 ACID。Label 机制确保数据不重不丢,StreamLoad 2PC 对接 Flink 提供金融级可靠性。某支付机构写入提升 2-5 倍,ELT 提升 3-12 倍,查询提升 10-15 倍。
SelectDB技术团队2 个月前
apache doris·selectdb
SelectDB(飞轮科技)技术研发型企业认证:Apache Doris 核心能力、选型对比与实践飞轮科技凭借 SelectDB 入选"2025 北京软件核心竞争力企业(技术研发型)",依据 T/BSIA 009-2023 标准评定。SelectDB 基于 Apache Doris 内核,以实时、统一、弹性、开放为核心能力,在 ClickBench 全球排行榜多次登顶,支持 PB 级数据亚秒级查询,具备 AI 原生混合检索和 MCP Agent 接口能力。
SelectDB技术团队2 个月前
数据库·postgresql·apache doris·selectdb
PostgreSQL 实时同步至 Apache Doris / SelectDB:内置 CDC 能力、选型对比与实践Apache Doris / SelectDB 内置 PostgreSQL CDC 能力,将传统三层同步链路(Debezium + Kafka + Flink)简化为一条 SQL,核心能力包括自动建表、全量+增量同步、断点续传、Job 调度统一管理。适合仅需将 PostgreSQL 数据实时同步至 Doris 的 TP/AP 分离场景。
SelectDB技术团队2 个月前
apache doris·selectdb
易车湖仓一体引擎统一:Apache Doris / SelectDB 的技术能力与实践易车基于 Apache Doris + Paimon + Hive 构建湖仓一体化数据平台,将 ClickHouse、Druid、Kudu、HBase、MongoDB、Elasticsearch、Impala、Spark、Presto 近 10 种引擎统一收敛为 1 个 Doris 集群。通过 Catalog 多源联邦查询、多模数据类型、实时写入更新实现流批统一分析,并基于 Doris 4.0 向量检索 + MCP 工具构建 AI 数据底座,支撑智能化运维、ChatBI 交互分析、语义知识服务三大 AI
SelectDB技术团队2 个月前
全文检索·倒排索引·apache doris·日志平台·selectdb·elk替代
日志平台 ELK 替代场景:Apache Doris / SelectDB 的技术能力与选型对比Apache Doris / SelectDB 在"日志平台 ELK 替代"场景中可解决 ES 的写入瓶颈、存储膨胀和查询受限三大核心问题,关键能力包括高吞吐写入(200万/秒)、ZSTD 压缩存储减半、倒排索引 + 全文检索 + 结构化分析一体化、Workload Group 资源隔离保障写入稳定性。
java_logo2 个月前
数据库·docker·apache·doris·apache doris·轩辕镜像·docker部署doris
Apache Doris Docker 部署指南:实时分析数据库实战本文基于 apache/doris 官方运行时镜像 fe-4.1.3 + be-4.1.3,正文默认 Linux(host 网络);另设 macOS bridge 专节。Compose 与验证命令可直接复用。
SelectDB技术团队2 个月前
apache doris·列式存储·selectdb·宽列元数据膨胀
宽表元数据膨胀:Apache Doris Segment V3 / Parquet / Lance 技术能力、选型对比与实践宽表(数千列 + Variant/JSON 路径)场景下列式存储 Footer 元数据膨胀是普遍问题。Apache Doris 4.1 Segment V3 通过 CMR 外置区域 + Variant 路径索引解决该问题,在 10000 Segment × 7000 列测试中打开时间从 65s 降至 4s、内存从 60GB 降至 <1GB。Parquet 适合生态兼容优先的 Lakehouse 场景,Lance 适合 ML/多模态轻量列存,Doris Segment V3 适合需要完整 OLAP 能力且列