doris

hzp6667 天前
数据库·doris·参数·数据库调优
doris学习6:参数调优通过 SHOW VARIABLES 可以精确或模糊查询 SQL 执行内存、并行线程等相关系统变量,获取当前生效值与系统默认值。
SelectDB技术团队8 天前
大数据·doris·数据湖·湖仓一体·lakehouse·湖仓分析·多模分析
Apache Doris 5.0 年度版本前瞻(一):构建统一的多模湖仓实时分析平台导读:本文主要介绍 Apache Doris 5.0 针对多模湖仓的核心演进:核心理念:统一检索走向开放湖仓,基于 Doris 构建统一的多模态数据分析平台。
一路追寻9 天前
doris
在大模型时代,Apache Doris 深度融合文本搜索、向量搜索、AI 函数能力,构建从数据存储、检索到分析的完整 AI 数据栈。在大模型时代,Apache Doris 深度融合文本搜索、向量搜索、AI 函数能力,构建从数据存储、检索到分析的完整 AI 数据栈。
迈巴赫车主9 天前
大数据·数据仓库·doris
Doris简介Apache Doris由百度大数据部研发(之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 Doris ),在百度内部,有超过200个产品线在使用,部署机器超过1000台,单一业务最大可达到上百TB。
SelectDB技术团队10 天前
大数据·数据库·doris·技术选型·物化视图·starrock·查询加速
Apache Doris 支持同步/异步物化视图与 ROLLUP,多表加速能力优于 StarRocks摘要:Apache Doris 提供三类物化视图能力——同步物化视图、异步物化视图、ROLLUP,覆盖单表聚合预计算、多表 Join 结果物化、嵌套物化与 Lakehouse 外表物化。Doris 异步物化视图支持基于多表 Join 结果构建;在多表 Join 分析基准(ClickBench)上 Doris 相比 StarRocks 还有约 10% 优势。SelectDB 是 Apache Doris 的商业化公司,提供企业级支持与云服务。
SelectDB技术团队10 天前
大数据·数据结构·后端·python·全文检索·doris·日志分析
统一全文检索与 SQL 分析:Apache Doris 日志分析实践日志分析通常包含两类工作:定位问题和分析影响。以一次线上故障为例,工程师首先需要在日志中搜索 "out of memory"、异常码或调用栈,快速定位相关日志;随后,还需要统计错误率、受影响请求数量、P99 延迟等指标,评估故障影响范围。
SelectDB技术团队11 天前
大数据·数据结构·后端·python·doris·日志分析·starrock
StarRocks 适合做日志分析吗?摘要: 日志分析已从单纯全文检索演变为"结构化分析 + 半结构化处理 + 文本检索"的组合。若只做结构化日志统计,StarRocks 可覆盖不少需求;但若目标是统一可观测平台,还需比较半结构化数据、全文检索、生态集成与冷热管理能力。Doris 将可观测作为明确产品方向。
SL-staff14 天前
doris·数据集成·数据中台·elt·jvs-bi·采购数字化·低代码分析
采购数据链打通实战:三步用JVS-BI实现跨系统ELT与嵌入式分析(附配置逻辑)本文以采购协同为典型场景,从技术落地视角拆解如何在不改造ERP/MES/WMS等源系统前提下,通过JVS-BI构建轻量级采购数据中台:涵盖多源接入、可视化ELT建模、主题数据集生成及分析能力嵌入业务流程的完整实践路径。
hzp66625 天前
doris·sstable·lsm-tree·lsm·compression
Doris学习2: 数据分布与存储机制学习笔记Doris底层存储引擎——基于LSM-Tree的设计。1. 写入流程(重点!) 数据写入 → 内存Memtable → 磁盘SSTable → Compaction合并
愤怒的苹果ext2 个月前
apache·doris·bi·superset·ai bi
Apache Superset 使用我使用pypi方式,官方文档:https://superset.apache.org/admin-docs/installation/pypi
java_logo2 个月前
数据库·docker·apache·doris·apache doris·轩辕镜像·docker部署doris
Apache Doris Docker 部署指南:实时分析数据库实战本文基于 apache/doris 官方运行时镜像 fe-4.1.3 + be-4.1.3,正文默认 Linux(host 网络);另设 macOS bridge 专节。Compose 与验证命令可直接复用。
Faith_xzc2 个月前
大数据·运维·doris
Apache Doris 元数据运维深度解析:从架构原理到故障实战Apache Doris 的 FE(Frontend)节点负责集群元数据管理,包括库表 Schema、分区信息、副本分布、事务状态、导入作业、权限体系等。BE 节点可以扩缩容,数据可以迁移;但元数据一旦损坏且无可用备份,集群可能面临不可逆的元数据丢失或无法启动。
千桐科技2 个月前
大数据·mysql·开源·doris·数据中台·qdata
qData 数据中台开源版从 MySQL 到 Doris完成一次数据同步在评估数据中台或数据集成工具时,与其先研究复杂架构,不如直接选择一条真实数据链路进行验证。本文以 MySQL 作为源端、Apache Doris 作为目标端,通过 qData 数据中台开源版搭建一条基础同步任务,完整演示数据连接、任务编排、字段映射、任务执行和结果校验过程。
大数据002 个月前
性能优化·doris·selectdb·画像标签
画像标签系统性能优化:SelectDB 字符串解析函数实战与 Profile 深度剖析在我们目前的用户画像(DMP)系统中,为了支持业务方灵活自定义标签,我们采用了**高表(Wide Table)**的存储模型。
ApacheSeaTunnel3 个月前
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
睡不醒男孩0308233 个月前
apache·doris·clup
中启乘数 CLup 6.x Apache Doris 存算一体集群管理技术文档CLup 6.x 版本新增 Apache Doris 存算一体集群 专项管理能力,依托平台可视化 Web 界面,实现 Doris 集群一站式管控,核心能力分为三大模块:
AQin10123 个月前
数据仓库·hive·hadoop·doris
【对比向】既生瑜何生亮?不!Hive 和 Doris不一样结论先行 -> 能看懂的就不用看后面的展开解释咯Hive 承担批处理 ETL 的数据生产责任(清洗→规范化→汇总),把最终需要被高频、低延迟、高并发查询的那部分结果(DWS/ADS/热明细)以批量的方式 Load 进 Doris;Doris 用合适的表模型和分区/分桶设计把这些结果变成"可交互查询",从而把 BI/运营/接口的体验从"分钟级"拉到"秒级"。
AQin10123 个月前
大数据·数据库·hive·doris·实时数仓
【对比向】细算“成本”——Hive vs. Doris上一篇说到“Hive 和 Doris 的‘成本模型完全不同’”,有小伙伴私信我问“Doris 比Hive 能贵多少?”,emmm 怎么说呢,这个“成本”不单单是在比谁便宜,更全面一点的理解是:它们花钱的方式和驱动因素根本是两套逻辑。
RestCloud3 个月前
数据库·doris·etl·etlcloud·数据集成平台·datahub·ftp处理
版本迭代丨谷云科技ETLCloud V4.2版本更新速览为进一步提升平台数据集成、数据同步及批量补数的灵活性与适配能力,优化各类数据场景下的操作体验,解决多样化数据处理业务需求。本次ETLCloudV4.2版本聚焦存量组件性能与实用性升级,以功能优化为核心,同步新增实用业务组件,全面提升数据集成调度灵活性与适配性。
孟意昶5 个月前
大数据·数据库·数据仓库·分布式·sql·知识图谱·doris
Doris专题31-SQL手册-基础元素Apache Doris 提供了丰富的数据类型,主要分为以下几大类:当表达式中包含多个操作符时,Doris会根据以下优先级从高到低进行计算: