【Apache Doris】周FAQ集锦:第 19 期
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。
SQL问题
❓Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:
Connection is not available, request timed out
💡A1 如下:
- 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
- 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
- 综上来讲,大概率是超时,把超时时间调大再观察下
https://doris.apache.org/zh-CN/docs/lakehouse/database/jdbc/#连接池问题排查
数据操作问题
❓Q2 mongodb如何导入至doris
💡A2 如下:
- 批量导入时,可以基于DataX同步
- 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris
❓Q3 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:
type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO
💡A3 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。
具体可以查阅Doris论坛帖子:
❓Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?
💡A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。
arrow flight内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/db-connect/arrow-flight-sql-connect
运维常见问题
❓Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?
💡A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。
❓Q6 doris选择网卡是通过priority_networks选择的?
💡A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQDN 的环境中,可以忽略该选项。
❓Q7 doris单表多少数据量会达到性能瓶颈?
💡A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。
❓Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?
💡A8 推荐选择4块5T的盘:
- 坏盘时风险降低
- IOPS能力相对会扩展
- 默认情况下,compaction效率和磁盘数也有一定的正比
❓Q9 doris be扩容后数据不均衡如何处理?
💡A9 如下:
- show backends 查看各be间TabletNum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMIN CLEAN TRASH
- 参考下 [数据副本问题排查指南] 进行处理:https://mp.weixin.qq.com/s/KzK0Gx1m8Z-1qZbyY1ZtlQ
其它问题
❓Q10 doris 2024北京行什么时候启动?
💡A10 8月31日,由 Apache Doris 社区联合字节跳动开源共同发起的 Apache Doris 城市行 Meetup 第四站来到北京!
本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家,将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践,以及在制造企业、国产化环境中的应用及探索。现场参会名额有限,感兴趣的同学抓紧报名占位!
本次活动报名席位有限,我们将基于提交的报名信息进行筛选以确定参会人员。为了确保您的顺利参与,请务必完整、准确填写报名信息,并凭报名成功通知短信入场。
活动时间:2024 年 8 月 31 日(周六)13:30 - 17:00
活动地点:北京市海淀区辉煌国际广场上地国际人才会客厅(西二旗地铁站 A 口步行 50 米)
关于社区
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:
💡官方文档
💡社区论坛
💡dev邮件组:dev@doris.apache.org
非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。
相信,您的参与将帮助Apache Doris变得更加完善。