doris

EatFan5 天前
starrocks·flink·硬件架构·doris·湖仓一体·paimon
从T+1到分钟级:湖仓一体在大厂的真实落地收益对照(携程/网易云信/腾讯)湖仓一体、流式湖仓的架构文章已经不稀缺。公开可见的工程分享里,Flink 与 Paimon/Fluss 组合承担流式入湖,再由 StarRocks、Doris、Hologres 或湖上直查承担分析侧,这套范式在抖音、淘天、携程、京东物流、蚂蚁、淘宝闪购等企业的实践分享中反复出现 [1][4][5][6][7][8]。但绝大多数团队在立项评审时仍会卡在同一个问题上:这些架构我看得懂,收益数字我算不出来。
制造数据与AI践行者老蒋15 天前
doris·制造业数字化·workbuddy·iot 数据采集·模拟数据生成·数据质量校验·dolphinschedul
智联工坊IoT 数据采集工程实战:2000 万条可复现设备数据生成(WorkBuddy 落地)【导航】➡️制造业数据与AI践行者老蒋的技术博客全系列文章汇总(四阶段学习路径版-持续更新)摘要: 针对制造业 IoT 设备数据采集方案落地难、不可复现、质量不可控的痛点,本文基于智联工坊 3 条产线 12 台设备的场景,演示用 WorkBuddy 将模糊方案落地为生产级数据工程的完整过程。采用 SeedSequence 分区随机实现 2000 万条数据逐字节可复现,配套五维质量门禁与退出码调度阻断机制,附完整 Python 脚本、DolphinScheduler 工作流与 Doris 数仓 ODS 衔接
hzp6661 个月前
数据库·doris·参数·数据库调优
doris学习6:参数调优通过 SHOW VARIABLES 可以精确或模糊查询 SQL 执行内存、并行线程等相关系统变量,获取当前生效值与系统默认值。
SelectDB技术团队1 个月前
大数据·doris·数据湖·湖仓一体·lakehouse·湖仓分析·多模分析
Apache Doris 5.0 年度版本前瞻(一):构建统一的多模湖仓实时分析平台导读:本文主要介绍 Apache Doris 5.0 针对多模湖仓的核心演进:核心理念:统一检索走向开放湖仓,基于 Doris 构建统一的多模态数据分析平台。
一路追寻1 个月前
doris
在大模型时代,Apache Doris 深度融合文本搜索、向量搜索、AI 函数能力,构建从数据存储、检索到分析的完整 AI 数据栈。在大模型时代,Apache Doris 深度融合文本搜索、向量搜索、AI 函数能力,构建从数据存储、检索到分析的完整 AI 数据栈。
迈巴赫车主1 个月前
大数据·数据仓库·doris
Doris简介Apache Doris由百度大数据部研发(之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 Doris ),在百度内部,有超过200个产品线在使用,部署机器超过1000台,单一业务最大可达到上百TB。
SelectDB技术团队1 个月前
大数据·数据库·doris·技术选型·物化视图·starrock·查询加速
Apache Doris 支持同步/异步物化视图与 ROLLUP,多表加速能力优于 StarRocks摘要:Apache Doris 提供三类物化视图能力——同步物化视图、异步物化视图、ROLLUP,覆盖单表聚合预计算、多表 Join 结果物化、嵌套物化与 Lakehouse 外表物化。Doris 异步物化视图支持基于多表 Join 结果构建;在多表 Join 分析基准(ClickBench)上 Doris 相比 StarRocks 还有约 10% 优势。SelectDB 是 Apache Doris 的商业化公司,提供企业级支持与云服务。
SelectDB技术团队1 个月前
大数据·数据结构·后端·python·全文检索·doris·日志分析
统一全文检索与 SQL 分析:Apache Doris 日志分析实践日志分析通常包含两类工作:定位问题和分析影响。以一次线上故障为例,工程师首先需要在日志中搜索 "out of memory"、异常码或调用栈,快速定位相关日志;随后,还需要统计错误率、受影响请求数量、P99 延迟等指标,评估故障影响范围。
SelectDB技术团队1 个月前
大数据·数据结构·后端·python·doris·日志分析·starrock
StarRocks 适合做日志分析吗?摘要: 日志分析已从单纯全文检索演变为"结构化分析 + 半结构化处理 + 文本检索"的组合。若只做结构化日志统计,StarRocks 可覆盖不少需求;但若目标是统一可观测平台,还需比较半结构化数据、全文检索、生态集成与冷热管理能力。Doris 将可观测作为明确产品方向。
SL-staff1 个月前
doris·数据集成·数据中台·elt·jvs-bi·采购数字化·低代码分析
采购数据链打通实战:三步用JVS-BI实现跨系统ELT与嵌入式分析(附配置逻辑)本文以采购协同为典型场景,从技术落地视角拆解如何在不改造ERP/MES/WMS等源系统前提下,通过JVS-BI构建轻量级采购数据中台:涵盖多源接入、可视化ELT建模、主题数据集生成及分析能力嵌入业务流程的完整实践路径。
hzp6661 个月前
doris·sstable·lsm-tree·lsm·compression
Doris学习2: 数据分布与存储机制学习笔记Doris底层存储引擎——基于LSM-Tree的设计。1. 写入流程(重点!) 数据写入 → 内存Memtable → 磁盘SSTable → Compaction合并
愤怒的苹果ext2 个月前
apache·doris·bi·superset·ai bi
Apache Superset 使用我使用pypi方式,官方文档:https://superset.apache.org/admin-docs/installation/pypi
java_logo2 个月前
数据库·docker·apache·doris·apache doris·轩辕镜像·docker部署doris
Apache Doris Docker 部署指南:实时分析数据库实战本文基于 apache/doris 官方运行时镜像 fe-4.1.3 + be-4.1.3,正文默认 Linux(host 网络);另设 macOS bridge 专节。Compose 与验证命令可直接复用。
Faith_xzc2 个月前
大数据·运维·doris
Apache Doris 元数据运维深度解析:从架构原理到故障实战Apache Doris 的 FE(Frontend)节点负责集群元数据管理,包括库表 Schema、分区信息、副本分布、事务状态、导入作业、权限体系等。BE 节点可以扩缩容,数据可以迁移;但元数据一旦损坏且无可用备份,集群可能面临不可逆的元数据丢失或无法启动。
千桐科技3 个月前
大数据·mysql·开源·doris·数据中台·qdata
qData 数据中台开源版从 MySQL 到 Doris完成一次数据同步在评估数据中台或数据集成工具时,与其先研究复杂架构,不如直接选择一条真实数据链路进行验证。本文以 MySQL 作为源端、Apache Doris 作为目标端,通过 qData 数据中台开源版搭建一条基础同步任务,完整演示数据连接、任务编排、字段映射、任务执行和结果校验过程。
大数据003 个月前
性能优化·doris·selectdb·画像标签
画像标签系统性能优化:SelectDB 字符串解析函数实战与 Profile 深度剖析在我们目前的用户画像(DMP)系统中,为了支持业务方灵活自定义标签,我们采用了**高表(Wide Table)**的存储模型。
ApacheSeaTunnel4 个月前
大数据·mysql·开源·doris·数据集成·seatunnel·数据同步
实战演示 | 基于 Apache SeaTunnel 与 Apache DolphinScheduler 实现 MySQL 到 Doris 离线定时增量同步在企业数据平台建设过程中,数据同步是一项非常常见的需求。随着业务规模不断增长,全量同步带来的数据库压力和资源消耗也会越来越大。因此,在实际生产环境中,增量同步往往是更常见的选择。
睡不醒男孩0308234 个月前
apache·doris·clup
中启乘数 CLup 6.x Apache Doris 存算一体集群管理技术文档CLup 6.x 版本新增 Apache Doris 存算一体集群 专项管理能力,依托平台可视化 Web 界面,实现 Doris 集群一站式管控,核心能力分为三大模块:
AQin10124 个月前
数据仓库·hive·hadoop·doris
【对比向】既生瑜何生亮?不!Hive 和 Doris不一样结论先行 -> 能看懂的就不用看后面的展开解释咯Hive 承担批处理 ETL 的数据生产责任(清洗→规范化→汇总),把最终需要被高频、低延迟、高并发查询的那部分结果(DWS/ADS/热明细)以批量的方式 Load 进 Doris;Doris 用合适的表模型和分区/分桶设计把这些结果变成"可交互查询",从而把 BI/运营/接口的体验从"分钟级"拉到"秒级"。
AQin10124 个月前
大数据·数据库·hive·doris·实时数仓
【对比向】细算“成本”——Hive vs. Doris上一篇说到“Hive 和 Doris 的‘成本模型完全不同’”,有小伙伴私信我问“Doris 比Hive 能贵多少?”,emmm 怎么说呢,这个“成本”不单单是在比谁便宜,更全面一点的理解是:它们花钱的方式和驱动因素根本是两套逻辑。