技术栈
doris
向阳1218
5 小时前
数据库
·
阿里云
·
云计算
·
doris
doris:阿里云 OSS 导入数据
Doris 提供两种方式从阿里云 OSS 导入文件:使用 S3 Load 导入对象存储上的文件,详细步骤可以参考 Broker Load 手册
向阳1218
3 天前
doris
doris: Flink导入数据
使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 Doris 中。
向阳1218
4 天前
doris
doris:Kafka 导入数据
Doris 提供以下方式从 Kafka 导入数据:Doris 通过 Routine Load 持续消费 Kafka Topic 中的数据。提交 Routine Load 作业后,Doris 会实时生成导入任务,消费 Kafka 集群中指定 Topic 的消息。Routine Load 支持 CSV 和 JSON 格式,具备 Exactly-Once 语义,确保数据不丢失且不重复。更多文档请参考 Routine Load。
向阳1218
7 天前
java
·
服务器
·
windows
·
doris
doris:手动分区
分区列通常为时间列,以方便的管理新旧数据。Range 分区支持的列类型 DATE, DATETIME, TINYINT, SMALLINT, INT, BIGINT, LARGEINT。
Faith_xzc
8 天前
大数据
·
数据库
·
开源
·
apache
·
数据库开发
·
doris
【Apache Doris】周FAQ集锦:第 29 期
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
向阳1218
10 天前
数据库
·
sql
·
oracle
·
doris
doris:模型注意事项
Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找效率远高于字符串。
Jason不在家
11 天前
大数据
·
flink
·
json
·
doris
·
csv
Flink 写入 Doris 常见报错和问题
task 一启动就会有明确的报错,直接调整即可可以通过链接访问拿到报错日志,里面有错误信息长度之类的问题,自己调整字段长度,或者过滤
Faith_xzc
11 天前
大数据
·
数据仓库
·
开源
·
数据库开发
·
doris
Routine Load 导入问题处理指南
在使用 Apache Doris 的 Routine Load 时,你是否曾经被各种奇奇怪怪的问题卡住?今天就来分享一些最常见的 Routine Load 问题,并提供相应的解决方案,让你快速应对,高效解决!
苍老流年
11 天前
分布式
·
doris
1. Doris分布式环境搭建
本次测试集群采用3台机器hadoop1、hadoop2、hadoop3, Frontend和Backend部署在同一台机器上,Frontend部署3台组成高可用,Backend部署3个节点,组成3副本存储。
沐霜枫叶
16 天前
xml
·
sqlserver
·
flink
·
doris
·
cdc
Flink CDC 自定义函数处理 SQLServer XML类型数据 映射 doris json字段方案
因业务使用SQLServer数据库,CDC同步到doris 数仓。对于SQLServer xml类型,doris没有相应的字段对应,
Faith_xzc
17 天前
大数据
·
数据仓库
·
开源
·
apache
·
数据库开发
·
doris
如何排查 Apache Doris 中 “Failed to commit txn“ 导入失败问题?
今天来聊聊 Doris 数据导入那些事儿。你是不是在数据导入的时候遇到各种状况,让人头疼不已?别担心,这篇文章给你答案!
向阳1218
18 天前
后端
·
doris
doris:倒排索引
倒排索引,是信息检索领域常用的索引技术,将文本分成一个个词,构建 词 -> 文档编号 的索引,可以快速查找一个词在哪些文档出现。
PersistJiao
18 天前
clickhouse
·
架构
·
doris
·
couchbase
Couchbase、ClickHouse 和 Apache Doris在架构、功能、应用场景等方面的详细对比
Couchbase、ClickHouse 和 Apache Doris 是三种功能和设计目标不同的数据库系统。以下是它们在架构、功能、应用场景等方面的详细对比:
SelectDB技术团队
18 天前
大数据
·
数据库
·
数据仓库
·
数据分析
·
doris
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台
导读:灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
向阳1218
20 天前
doris
doris:基于 Arrow Flight SQL 的高速数据传输链路
Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。
SelectDB技术团队
1 个月前
大数据
·
数据库
·
数据仓库
·
数据分析
·
doris
Apache Doris 创始人:何为“现代化”的数据仓库?
在 12 月 14 日的 Doris Summit Asia 2024 上,Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图。
core512
1 个月前
大数据
·
mysql
·
flink
·
doris
·
存储
·
sink
·
过程正常
flink sink doris
接上文:一文说清flink从编码到部署上线 网上关于flink sink drois的例子较多,大部分不太全面,故本文详细说明,且提供完整代码。
Faith_xzc
1 个月前
大数据
·
数据仓库
·
开源
·
doris
【Apache Doris】周FAQ集锦:第 26 期
不需要,指定了也会忽略;存算分离模式下,数据副本由远端存储去管控。doris的错误码通常都是EXXXX,不是SXXXX。该异常可能是dbeaver客户端的异常导致。
nangonghen
1 个月前
kubernetes
·
华为云
·
doris
·
operator
在华为云通过operator部署Doris v2.1集群
Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,以高效、简单、统一的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Apache Doris最早是诞生于百度的Palo项目,2017年正式对外开源,2018年捐赠给 Apache 基金会进行孵化,如今在中国乃至全球范围内都拥有着广泛的用户群体,截止目前,Apache Doris 已经在全球超过4000家中大型企业的生产环境中得到应用。
Sigtuna
1 个月前
数据库
·
sql
·
doris
Doris SQL 特技
VARCHAR GROUP_CONCAT([DISTINCT] VARCHAR str[, VARCHAR sep] [ORDER BY { col_name | expr} [ASC | DESC]) 该函数是类似于 sum() 的聚合函数,group_concat 将结果集中的多行结果连接成一个字符串。第二个参数 sep 为字符串之间的连接符号,该参数可以省略。该函数通常需要和 group by 语句一起使用。