【Apache Doris】周FAQ集锦:第 15 期

【Apache Doris】周FAQ集锦:第 15 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris中为什么子查询里已经排序了,外面再包一层时查询排序就会失效?

💡A1 该结果是正常的。在数据库标准里,subquery里的order by 实际是没意义的:
https://mariadb.com/kb/en/why-is-order-by-in-a-from-subquery-ignored

数据操作问题

❓Q2 doris中的表设置storage policy如何解除这个绑定关系?

💡A2 当前无法解除。主要是因为数据可能已经下沉到对象存储中了, 所以当前暂未支持解除关联。

storage policy内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/table-design/cold-hot-separation

❓Q3 stream load时报:

Reason: Unable to display. src line [Unable to display]

💡A3 通常是导入中存在非utf8编码的数据导致。若是存在中文需要保证文件内容是utf8 编码的,因为doris目前只支持utf8编码。

❓Q4 创建分区表时报:

detailMessage = Too many dynamic partitions: 730. Limit: 500

💡A4 动态分区start-end默认最大创建是500

-- 可以设置fe.conf的max_dynamic_partition_num
admin set frontend config ("max_dynamic_partition_num" = "800") 

FE配置项内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/fe-config/

❓Q5 2.1的异步物化是否支持嵌套?

💡A5 >= 2.1.3的版本支持了异步物化视图嵌套,可以升级至2.1最新的三位数稳定版本。

2.1.3 release内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/releasenotes/release-2.1.3

运维常见问题

❓Q6 doris fe各节点时钟不同步有什么影响?

💡A6 非master fe和 master fe 是slave master关系,非master fe 会拿时间来判断自己到底落后master 多少时间,当前如果超过默认的5秒,可能就认为自己太落后了,即会停止服务,以便满足元数据最差落后5秒的SLA。

FE配置项内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/fe-config/

❓Q7 doris 中be cpu过高如何排查?

💡A7 收集并留存top -H的结果,并且记录当下pstack {DORIS_PID} > 1.ps 的结果,联系社区同学进行排查定位。

❓Q8 doris manager为何看不了日志?显示获取日志连接发生错误,可以看到文件名,但无法看内容

💡A8 通常是开了代理、VPN导致,或者是浏览器有adblock之类的广告拦截插件导致。

❓Q9 doris 导入时报错的errorURL日志存放在哪?

💡A9 在doris be存放数据的error_log目录底下。另外需要注意,errorURL内容:string 类型会被截断,只展示了前面的12个字符。

其它问题

❓Q10 doris 2024城市行什么时候启动?

💡A10 Apache Doris「城市行」正式回归,首站登陆上海,现已开启报名~

在数字化浪潮的推动下,各大企业都在经历数据量爆发式增长带来的实时数据处理及分析的挑战,如何在数据洪流中探索更为经济高效的解决方案,成为大数据从业者与管理者首要关注的目标。

为帮助社区伙伴更快找到答案,飞轮科技与天翼云联合发起本次上海城市行 Meetup 2024/7/20(周六)13:30 - 17:30 ,来自飞轮科技、天翼云、翼支付、Cisco、哪吒科技、众安国际等多位社区技术大咖,带来 Apache Doris 在不同行业的应用实践,分享其在湖仓一体、日志存储分析等前沿领域的技术落地。此外,飞轮科技也将借此机会向参会者分享 Apache Doris 3.0 版本核心功能------存算分离,为企业降本提效提供新思路。名额有限,抢先占位!


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
PersistJiao1 小时前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_811274311 小时前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz98761 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交1 小时前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
武子康1 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康1 小时前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差9531 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋1 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发
二进制_博客1 小时前
Flink学习连载文章4-flink中的各种转换操作
大数据·学习·flink
大数据编程之光1 小时前
Flink入门介绍
大数据·flink