apache doris

SelectDB技术团队3 小时前
全文检索·倒排索引·apache doris·日志平台·selectdb·elk替代
日志平台 ELK 替代场景:Apache Doris / SelectDB 的技术能力与选型对比Apache Doris / SelectDB 在"日志平台 ELK 替代"场景中可解决 ES 的写入瓶颈、存储膨胀和查询受限三大核心问题,关键能力包括高吞吐写入(200万/秒)、ZSTD 压缩存储减半、倒排索引 + 全文检索 + 结构化分析一体化、Workload Group 资源隔离保障写入稳定性。
java_logo1 天前
数据库·docker·apache·doris·apache doris·轩辕镜像·docker部署doris
Apache Doris Docker 部署指南:实时分析数据库实战本文基于 apache/doris 官方运行时镜像 fe-4.1.3 + be-4.1.3,正文默认 Linux(host 网络);另设 macOS bridge 专节。Compose 与验证命令可直接复用。
SelectDB技术团队2 天前
apache doris·列式存储·selectdb·宽列元数据膨胀
宽表元数据膨胀:Apache Doris Segment V3 / Parquet / Lance 技术能力、选型对比与实践宽表(数千列 + Variant/JSON 路径)场景下列式存储 Footer 元数据膨胀是普遍问题。Apache Doris 4.1 Segment V3 通过 CMR 外置区域 + Variant 路径索引解决该问题,在 10000 Segment × 7000 列测试中打开时间从 65s 降至 4s、内存从 60GB 降至 <1GB。Parquet 适合生态兼容优先的 Lakehouse 场景,Lance 适合 ML/多模态轻量列存,Doris Segment V3 适合需要完整 OLAP 能力且列
SelectDB技术团队9 天前
数据库·人工智能·agent·可观测·ai-native·apache doris·selectdb
Agent 可观测性:Apache Doris / SelectDB 的技术能力、选型对比与实践Apache Doris 在 2026 年 5 月 AgentLogsBench 中以综合 1.28x 排名第一(与 ClickHouse、Elasticsearch、DuckDB、OpenSearch、PostgreSQL 对比),通过 VARIANT 动态 JSON、倒排索引短语搜索、trace_id 分布和缓存机制,在同一张 observation 表上同时支撑 trace 回放、故障搜索、动态过滤和实时看板四种混合负载,适合需要统一数据底座的 Agent 可观测性平台。
SelectDB技术团队13 天前
数据库·clickhouse·elasticsearch·json·apache·日志分析·apache doris
Agent 场景动态 JSON 性能拆解:Apache Doris 比 ClickHouse 快 7 倍、比 Elasticsearch 快 2 倍AI Agent 的日志正在变得越来越复杂。过去日志通常只有时间、级别和消息,但现在一次 Agent 调用可能包含模型参数、工具调用、检索结果、Prompt 版本、用户上下文等大量动态字段。这些字段很难提前设计 schema,于是 JSON 成为了最自然的数据承载方式。
SelectDB技术团队13 天前
大数据·数据库·数据分析·apache·用户运营·apache doris·selectdb
AB 实验指标计算场景:Apache Doris / SelectDB 的技术能力、选型对比与实践Apache Doris 在 AB 实验指标计算场景中,可替代 Spark 承担大规模指标生产任务,核心优势来自 Pipeline 异步执行、向量化计算引擎和 Colocate Join 等优化。快手基于 Doris 构建 AB 实验平台后,指标计算性能最高提升 145 倍,资源消耗下降 72%,单集群规模达 2000 节点、10 万核。
SelectDB技术团队14 天前
大数据·数据库·人工智能·数据库架构·ai-native·apache doris·selectdb
美团数十 PB 规模 Apache Doris 实践:从统一 OLAP 到 AI-Native 数据基座随着美团业务规模持续增长,数据分析系统所面对的问题已经不再只是查询更快,而是如何在多业务、多场景、多负载并存的情况下,构建一套长期可演进的统一 OLAP 架构。
SelectDB技术团队1 个月前
数据库·人工智能·agent·apache doris·selectdb
2026 SelectDB AI 产品发布会:Agent Native 数据基础设施能力全景发布2026 年 SelectDB AI 产品发布会圆满举行。本次发布会聚焦 Agent 时代下数据分析基础设施的全新变化,围绕极速分析、多模数据统一管理、Agent Native、Agent Observability 以及 Serverless 弹性架构等方向,系统展示了 SelectDB 面向 AI 与 Agent 场景的最新产品演进。
SelectDB技术团队1 个月前
数据库·数据仓库·人工智能·数据分析·可观测·apache doris·selectdb
预约发布会|核心产品力首发,如何构建面向 Agent 时代的企业级数据引擎过去数十年,整个软件世界与数据架构,本质上都是围绕人的查询与决策习惯而构建的。然而,当 AI Agent 开始深度接入企业核心生产线,这一底层逻辑正在被打破。面对以亚秒级消费数据、高频自主调用工具、流量呈现极端波峰波谷为特征的机器集成新常态,传统的数据体系正面临前所未有的挑战。
SelectDB技术团队2 个月前
数据库·人工智能·数据分析·apache doris·selectdb
97% 召回率、900 QPS:Apache Doris 4.1 生产级向量检索的工程实践摘要:针对大模型应用中专用向量库成本高、混合查询难的痛点,本文深入拆解 Apache Doris 4.1 原生向量检索的工程实践。从 IVF 算法降本、存储分层,到突破性能瓶颈的 ANN Index Only Scan,系统化解决 AI 时代的海量数据存算难题。在大幅压低内存开销的同时,跑出了 900 QPS 与 97% 召回率的亮眼成绩。
SelectDB技术团队2 个月前
数据库·人工智能·自动驾驶·apache doris·selectdb
PB 级自动驾驶数据秒级检索:Apache Doris 统一多模态数据平台实践导读:多模态数据正成为企业核心资产,但规模化管理仍具挑战。自动驾驶在 PB 级图像、点云、视频等数据治理中积累了可复用经验。本文介绍某公司以 Apache Doris 统一标签、元数据、全文和向量检索,将查询从分钟级提升至秒级。
SelectDB技术团队2 个月前
数据库·人工智能·json·apache doris
强行拍平?全表扫描? AI Agent 动态 JSON 的观测分析摘要:本文从 AI Agent 日志观测切入,讨论 JSON 分析为什么重要:Agent Trace、Tool Call、RAG 检索结果、Prompt 和 Reasoning 具有嵌套结构与动态 Schema,既不能简单拍平,也不适合只当 String 存储。因此,如何保留 JSON 灵活性的同时,获得列式存储的查询性能,成为 Agent Observability 的关键问题。
SelectDB技术团队3 个月前
数据库·人工智能·apache doris
SelectDB Enterprise 4.0.5:强化安全与治理,构建企业级实时分析与 AI 数据底座在实时分析领域,Apache Doris 已经成为一款被广泛采用的开源 OLAP 数据库。凭借高性能查询引擎与一体化架构,Doris 在实时数仓、日志分析等场景中持续发挥重要作用,并在近几个版本中不断向 AI 与搜索能力演进。
SelectDB技术团队3 个月前
数据仓库·数据分析·apache doris·selectdb
基于 SelectDB 实现 Hive 数据湖统一分析:洋钱罐全球一体化探索分析平台升级实践摘要:瓴岳科技原数据平台基于 Hive 与 StarRocks、Spark 多引擎协同架构,随着数据规模增长,在性能与易用性上逐渐面临瓶颈。通过引入阿里云 SelectDB,构建湖仓一体化探索分析平台,在无需迁移数据的前提下实现对 Hive 数据湖的透明加速,显著提升查询性能并简化架构,完成从多引擎协同向统一分析平台的升级。
AllData公司负责人3 个月前
java·大数据·数据库·数据仓库·apache doris·实时数仓平台·doris集群
AllData数据中台集成开源项目Apache Doris建设实时数仓平台企业痛点: Doris实时数据仓库的管理软件很少,我们通过集成开源项目Apache Doris,实现查看与管理Doris数据库的实时数仓平台。
SelectDB技术团队3 个月前
数据库·人工智能·apache doris·selectdb
AI 成为主流负载后,数据基础设施将如何演进?|Apache Doris 2026 Roadmap在过去几年中,数据基础设施的演进始终围绕一个核心问题展开:如何更快地分析数据?但进入 2026 年,这个问题正在被重新定义。随着 AI 应用的爆发式增长,数据系统不再只是分析工具,而逐渐成为 智能系统的一部分。数据不再只是被查询,而是被 Agent 调用、被模型理解、被系统实时消费。
SelectDB技术团队4 个月前
数据库·postgresql·架构·实时数仓·湖仓一体·apache doris·selectdb
PostgreSQL + Apache Doris:构建用于实时分析的 HTAP 架构像 PostgreSQL 和 MySQL 这样的 OLTP(在线事务处理)数据库,凭借其强一致性和高并发事务处理能力,已成为行业标准。为应对更大规模的工作负载,许多团队还会引入分库分表方案,将数据分布到多个实例和表中,以此突破单节点瓶颈。然而,这种对事务行之有效的方案,在实时分析需求(实时运营仪表盘、多维业务报告、用户行为分析和实时监控)面前却暴露出明显短板。
SelectDB技术团队4 个月前
数据仓库·人工智能·数据分析·agent·apache doris·mcp·易车
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践导读:易车引入 Apache Doris 取得以下核心成果:数据的爆发式增长与业务对实时性的极致追求,驱动易车技术团队在实时湖仓建设上持续探索。目前易车已基于 Apache Doris + Paimon + Hive 构建了湖仓一体化数据平台,实现架构收敛统一:**逐步替换 Druid、Kudu、HBase、MongoDB、ClickHouse 等近 10 种引擎。**广泛应用于实时多维分析、用户画像及标签体系、BI 报表(实时报表、仪表盘)等核心场景。在此基础上,团队进一步探索 Apache Doris
SelectDB技术团队1 年前
数据库·数据仓库·数据分析·apache doris·菜鸟技术
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践本文内容来自 Community Over Code Asia 2025 大会 (CommunityOverCode 是 Apache 软件基金会(ASF)的官方全球系列大会,其前身为 ApacheCon),OLAP & Data Analysis track 分享议题。本文主要介绍了 Apache Doris 在菜鸟的大规模落地的实践经验,数据分析已经渗透到每个业务线的同学,每天在不同的数据分析报表、数据产品上查数和用数,OLAP 数据库在其中承担着重要作用。我们为什么选择 Doris,以及 Doris