doris

向阳12185 小时前
数据库·阿里云·云计算·doris
doris:阿里云 OSS 导入数据Doris 提供两种方式从阿里云 OSS 导入文件:使用 S3 Load 导入对象存储上的文件,详细步骤可以参考 Broker Load 手册
向阳12183 天前
doris
doris: Flink导入数据使用 Flink Doris Connector 可以实时的将 Flink 产生的数据(如:Flink 读取 Kafka,MySQL 中的数据)导入到 Doris 中。
向阳12184 天前
doris
doris:Kafka 导入数据Doris 提供以下方式从 Kafka 导入数据:Doris 通过 Routine Load 持续消费 Kafka Topic 中的数据。提交 Routine Load 作业后,Doris 会实时生成导入任务,消费 Kafka 集群中指定 Topic 的消息。Routine Load 支持 CSV 和 JSON 格式,具备 Exactly-Once 语义,确保数据不丢失且不重复。更多文档请参考 Routine Load。
向阳12187 天前
java·服务器·windows·doris
doris:手动分区分区列通常为时间列,以方便的管理新旧数据。Range 分区支持的列类型 DATE, DATETIME, TINYINT, SMALLINT, INT, BIGINT, LARGEINT。
Faith_xzc8 天前
大数据·数据库·开源·apache·数据库开发·doris
【Apache Doris】周FAQ集锦:第 29 期欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
向阳121810 天前
数据库·sql·oracle·doris
doris:模型注意事项Key 列必须在所有 Value 列之前。尽量选择整型类型。因为整型类型的计算和查找效率远高于字符串。
Jason不在家11 天前
大数据·flink·json·doris·csv
Flink 写入 Doris 常见报错和问题task 一启动就会有明确的报错,直接调整即可可以通过链接访问拿到报错日志,里面有错误信息长度之类的问题,自己调整字段长度,或者过滤
Faith_xzc11 天前
大数据·数据仓库·开源·数据库开发·doris
Routine Load 导入问题处理指南在使用 Apache Doris 的 Routine Load 时,你是否曾经被各种奇奇怪怪的问题卡住?今天就来分享一些最常见的 Routine Load 问题,并提供相应的解决方案,让你快速应对,高效解决!
苍老流年11 天前
分布式·doris
1. Doris分布式环境搭建本次测试集群采用3台机器hadoop1、hadoop2、hadoop3, Frontend和Backend部署在同一台机器上,Frontend部署3台组成高可用,Backend部署3个节点,组成3副本存储。
沐霜枫叶16 天前
xml·sqlserver·flink·doris·cdc
Flink CDC 自定义函数处理 SQLServer XML类型数据 映射 doris json字段方案因业务使用SQLServer数据库,CDC同步到doris 数仓。对于SQLServer xml类型,doris没有相应的字段对应,
Faith_xzc17 天前
大数据·数据仓库·开源·apache·数据库开发·doris
如何排查 Apache Doris 中 “Failed to commit txn“ 导入失败问题?今天来聊聊 Doris 数据导入那些事儿。你是不是在数据导入的时候遇到各种状况,让人头疼不已?别担心,这篇文章给你答案!
向阳121818 天前
后端·doris
doris:倒排索引倒排索引,是信息检索领域常用的索引技术,将文本分成一个个词,构建 词 -> 文档编号 的索引,可以快速查找一个词在哪些文档出现。
PersistJiao18 天前
clickhouse·架构·doris·couchbase
Couchbase、ClickHouse 和 Apache Doris在架构、功能、应用场景等方面的详细对比Couchbase、ClickHouse 和 Apache Doris 是三种功能和设计目标不同的数据库系统。以下是它们在架构、功能、应用场景等方面的详细对比:
SelectDB技术团队18 天前
大数据·数据库·数据仓库·数据分析·doris
计算效率提升 10 倍,存储成本降低 60%,灵犀科技基于 Apache Doris 建设统一数据服务平台导读:灵犀科技早期基于 Hadoop 构建大数据平台,在战略调整和需求的持续扩增下,数据处理效率、查询性能、资源成本问题随之出现。为此,引入 Apache Doris 替换了复杂技术栈,升级为集存储、加工、服务为一体的统一架构,实现存储成本下降 60%,计算效率提升超 10 倍的显著成效。
向阳121820 天前
doris
doris:基于 Arrow Flight SQL 的高速数据传输链路Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。
SelectDB技术团队1 个月前
大数据·数据库·数据仓库·数据分析·doris
Apache Doris 创始人:何为“现代化”的数据仓库?在 12 月 14 日的 Doris Summit Asia 2024 上,Apache Doris 创始人 & PMC 成员马如悦在开场演讲中,围绕“现代化数据仓库”这一主题,指出 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展蓝图。
core5121 个月前
大数据·mysql·flink·doris·存储·sink·过程正常
flink sink doris接上文:一文说清flink从编码到部署上线 网上关于flink sink drois的例子较多,大部分不太全面,故本文详细说明,且提供完整代码。
Faith_xzc1 个月前
大数据·数据仓库·开源·doris
【Apache Doris】周FAQ集锦:第 26 期不需要,指定了也会忽略;存算分离模式下,数据副本由远端存储去管控。doris的错误码通常都是EXXXX,不是SXXXX。该异常可能是dbeaver客户端的异常导致。
nangonghen1 个月前
kubernetes·华为云·doris·operator
在华为云通过operator部署Doris v2.1集群Apache Doris 是一款基于 MPP 架构的高性能、实时的分析型数据库,以高效、简单、统一的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Apache Doris最早是诞生于百度的Palo项目,2017年正式对外开源,2018年捐赠给 Apache 基金会进行孵化,如今在中国乃至全球范围内都拥有着广泛的用户群体,截止目前,Apache Doris 已经在全球超过4000家中大型企业的生产环境中得到应用。
Sigtuna1 个月前
数据库·sql·doris
Doris SQL 特技VARCHAR GROUP_CONCAT([DISTINCT] VARCHAR str[, VARCHAR sep] [ORDER BY { col_name | expr} [ASC | DESC]) 该函数是类似于 sum() 的聚合函数,group_concat 将结果集中的多行结果连接成一个字符串。第二个参数 sep 为字符串之间的连接符号,该参数可以省略。该函数通常需要和 group by 语句一起使用。