【Apache Doris】周FAQ集锦:第 19 期

【Apache Doris】周FAQ集锦:第 19 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:

Connection is not available, request timed out

💡A1 如下:

  1. 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
  2. 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
  3. 综上来讲,大概率是超时,把超时时间调大再观察下
    https://doris.apache.org/zh-CN/docs/lakehouse/database/jdbc/#连接池问题排查

数据操作问题

❓Q2 mongodb如何导入至doris

💡A2 如下:

  1. 批量导入时,可以基于DataX同步
  2. 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris

❓Q3 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:

type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO

💡A3 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。

具体可以查阅Doris论坛帖子:

https://ask.selectdb.com/questions/D1fM/jie-jue-fang-an-tong-guo-spark-doris-connector-huo-zhe-flink-doris-connector-du-qu-doris-2-1-x-ban-ben-chu-xian-type-is-datetimev2-but-arrow-type-is-t/E1gM

❓Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?

💡A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。

arrow flight内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/db-connect/arrow-flight-sql-connect

运维常见问题

❓Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?

💡A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。

❓Q6 doris选择网卡是通过priority_networks选择的?

💡A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQDN 的环境中,可以忽略该选项。

❓Q7 doris单表多少数据量会达到性能瓶颈?

💡A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。

❓Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?

💡A8 推荐选择4块5T的盘:

  1. 坏盘时风险降低
  2. IOPS能力相对会扩展
  3. 默认情况下,compaction效率和磁盘数也有一定的正比

❓Q9 doris be扩容后数据不均衡如何处理?

💡A9 如下:

  1. show backends 查看各be间TabletNum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMIN CLEAN TRASH
  2. 参考下 [数据副本问题排查指南] 进行处理:https://mp.weixin.qq.com/s/KzK0Gx1m8Z-1qZbyY1ZtlQ

其它问题

❓Q10 doris 2024北京行什么时候启动?

💡A10 8月31日,由 Apache Doris 社区联合字节跳动开源共同发起的 Apache Doris 城市行 Meetup 第四站来到北京!

本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家,将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践,以及在制造企业、国产化环境中的应用及探索。现场参会名额有限,感兴趣的同学抓紧报名占位!

本次活动报名席位有限,我们将基于提交的报名信息进行筛选以确定参会人员。为了确保您的顺利参与,请务必完整、准确填写报名信息,并凭报名成功通知短信入场。

活动时间:2024 年 8 月 31 日(周六)13:30 - 17:00

活动地点:北京市海淀区辉煌国际广场上地国际人才会客厅(西二旗地铁站 A 口步行 50 米)

活动入口:https://hdxu.cn/AfjED


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
宅小海23 分钟前
scala String
大数据·开发语言·scala
小白的白是白痴的白25 分钟前
11.17 Scala练习:梦想清单管理
大数据
java1234_小锋40 分钟前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
Java 第一深情5 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
MXsoft6185 小时前
华为服务器(iBMC)硬件监控指标解读
大数据·运维·数据库
lsjweiyi5 小时前
极简AI工具箱网站开源啦!
opencv·开源·微信支付·支付宝支付·百度ai·极简ai工具箱·ai图像处理
PersistJiao6 小时前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
九河云6 小时前
如何对AWS进行节省
大数据·云计算·aws
开源社6 小时前
一场开源视角的AI会议即将在南京举办
人工智能·开源
FreeIPCC6 小时前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源