doris

喵了几个咪3 天前
ai·doris·量化交易
Apache Doris 4.x 在量化交易中的完整应用实践在量化交易场景中,实时行情接入、多维度 K 线聚合、技术指标计算、策略回测与绩效监控是核心能力诉求。Apache Doris 4.x 凭借高性能 OLAP 引擎、实时物化视图、标准 SQL 兼容、Kafka 实时接入等特性,成为量化投研与实盘交易的理想存储计算引擎。
piepis4 天前
doris
Doris 快速写入原理Apache Doris 快速写入的核心原理在于分布式并行处理、LSM-Tree 存储结构、内存攒批(MemTable)以及高效的向量化执行引擎。通过将大规模写入任务分片到多个节点(BE)并行执行,利用内存缓冲区进行攒批写入减少磁盘 I/O 次数,并结合顺序写盘的列式存储,实现高吞吐量与实时入库。
AllData公司负责人13 天前
apache·doris·iotdb
高效同步!离线开发平台(DolphinScheduler) 实现Apache IotDB物联网数据同步到 Doris【AllData数据中台】集成开源项目 DolphinScheduler,构建了可视化、高可靠的离线开发平台。
jasnet_u20 天前
doris·mpp
Doris的集群搭建(3FE+3BE)找到官网 ,目前最新的稳定版本是3.1.4,下载到本地文件 apache-doris-3.1.4-bin-x64.tar.gz 下载链接: https://doris.incubator.apache.org/zh-CN/download
家有娇妻张兔兔22 天前
apache·doris·时序库
Apache Doris 副本故障排查与修复实战指南在使用 Apache Doris 作为时序数据存储时,生产环境偶发以下报错:本文系统梳理该报错的根因分析、排查流程与修复方案。
秦拿希2 个月前
doris
【doris】doris部署以下是doris部署的命令全过程,为简略版,没有贴相关图表数据,后面再编辑补充部署foundationdb======================= 下载foundationdb wget https://github.com/apple/foundationdb/releases/download/7.1.53/foundationdb-server-7.1.53-1.el7.x86_64.rpm wget https://github.com/apple/foundationdb/releases
linweidong2 个月前
jmeter·clickhouse·性能优化·sentinel·doris·物化视图·离线数仓
别让老板等:千人并发下的实时大屏极致性能优化实录你一定遇到过这种场景:老板坐在宽大的办公桌后,指着墙上那块 100 寸的显示屏,眉头紧锁。“为什么我看个实时销售额要转圈转五秒?这就是你们搞了一个月的成果?”
北方的银狐-Zero2 个月前
sql·database·doris
记录第一次部署银河麒麟环境Apache Doris单机部署Doris 对运行环境有一定要求,如果我们不提前配置好,后续启动过程会不断报错。下面是所有你必须提前完成的配置。
千桐科技2 个月前
开源软件·数据治理·doris·数据集成·大数据平台·数据中台·qdata
qData 数据中台开源版 1.1.2 版本更新公告:新增 Apache Doris 数据源全面支持,稽查规则与转换组件持续完善在数据中台的实际使用过程中,我们持续关注社区用户的真实反馈与使用场景。 本次 qData 数据中台开源版 1.1.2 更新,围绕 数据源扩展、数据质量能力增强、数据集成易用性提升 三个方向进行了集中优化,并修复了社区中反馈的若干问题。
leoZ2313 个月前
doris
# Apache Doris FE Docker 启动问题排错与解决总结> 适用场景:> - Windows + Docker Desktop> - 单机学习 / 测试 Apache Doris
li.wz3 个月前
java·后端·doris
溯源数据清洗:一次由“可控”到“失控”的复盘凌晨两点,我盯着监控大盘,那个代表数据延迟的红色曲线像心电图一样剧烈跳动。我们的溯源系统要求数据在10分钟内可查,但现在延迟已经超过两小时。上游是七个不同的业务系统,通过Kafka推送原始数据,格式混乱:同一个字段,有的用product_id,有的用productId;日期格式从yyyy-MM-dd到时间戳都有;甚至还有JSON里套XML的奇葩结构。
大数据追光猿3 个月前
大数据·经验分享·笔记·性能优化·doris
【大数据Doris】生产环境,Doris主键模型全表7000万数据更新写入为什么那么慢?公司在 Apache Doris 的生产实践中,发现在做数据需求时候,遇到这样一个“致命”问题:今天这篇文章用来记录下这个问题,且做详细剖析,并给出一套可落地、高性价比的优化方案。 首先,我从Doris官网了解到,这并非Doris的缺陷,而是主键模型(Unique Key / Primary Key)的写入机制与全量导入场景天然不匹配。以下是进行问题分析和问题解决。
二进制_博客3 个月前
doris·mpp数据库·doris2.x
Doris2.x连载文章(4)物化视图是既包含计算逻辑也包含数据的实体。它不同于视图,因为视图仅包含计算逻辑,本身不存储数据。视图:创建一个视图,类似于临时表。mysql,oracle 都有这样的功能。
二进制_博客3 个月前
数据库·doris·mpp数据库
Doris2.x连载文章(2)https://doris.apache.org/zh-CN/docs/table-design/data-model/overview
二进制_博客3 个月前
doris·mpp数据库
Doris2.x博客连载(1)官网:https://doris.apache.org/zh-CN/docs/gettingStarted/what-is-apache-doris
KG大数据3 个月前
物联网·doris·olap
Apache Doris 在 IOT 场景的实践与落地方案在协助众多传统制造业公司进行了一系列的 IOT 方案升级改造和落地实施后,还是总结了不少这方面的经验,今天我们一起来看看, Apache Doris 在 IOT 场景从技术实现角度和业务场景提效方面应该如何正确的设计架构方案及开发实现。
鹿衔`4 个月前
apache·doris·paimon
Apache Doris 2.1.10 集群部署与 Paimon 数据湖集成实战文档目录1. 环境概述1.1 硬件与系统信息1.2 节点规划1.3 依赖组件 (CDH)2. 基础环境准备 (所有节点)
鹿衔`4 个月前
flink·apache·doris·paimon
Apache Doris 4.0.1 集群部署与 Paimon 数据湖集成实战文档目录1. 架构规划1.1 硬件与系统信息1.2节点分配1.3 依赖组件 (CDH)2. 操作系统基础配置 (所有节点)
想ai抽4 个月前
starrocks·doris·数据湖
StarRocks PB 级日增量数据模型优化:注意点、调优策略与风险防控StarRocks 处理每日 PB 级日增量时,核心矛盾是「高吞吐导入」与「低延迟查询」的平衡,需从 数据模型设计、导入链路、存储查询、资源调度、稳定性保障 五维度系统性优化,同时规避增量场景下的典型风险。以下是具体细节:
孟意昶4 个月前
大数据·数据库·分布式·sql·mysql·doris
Doris专题27-mysql兼容性与join连接Apache Doris高度兼容MySQL协议和语法,但存在一些重要差异。理解这些差异对于从MySQL迁移到Doris或进行混合部署至关重要。