【Apache Doris】周FAQ集锦:第 19 期

【Apache Doris】周FAQ集锦:第 19 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:

复制代码
Connection is not available, request timed out

💡A1 如下:

  1. 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
  2. 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
  3. 综上来讲,大概率是超时,把超时时间调大再观察下
    https://doris.apache.org/zh-CN/docs/lakehouse/database/jdbc/#连接池问题排查

数据操作问题

❓Q2 mongodb如何导入至doris

💡A2 如下:

  1. 批量导入时,可以基于DataX同步
  2. 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris

❓Q3 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:

type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO

💡A3 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。

具体可以查阅Doris论坛帖子:

https://ask.selectdb.com/questions/D1fM/jie-jue-fang-an-tong-guo-spark-doris-connector-huo-zhe-flink-doris-connector-du-qu-doris-2-1-x-ban-ben-chu-xian-type-is-datetimev2-but-arrow-type-is-t/E1gM

❓Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?

💡A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。

arrow flight内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/db-connect/arrow-flight-sql-connect

运维常见问题

❓Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?

💡A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。

❓Q6 doris选择网卡是通过priority_networks选择的?

💡A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQDN 的环境中,可以忽略该选项。

❓Q7 doris单表多少数据量会达到性能瓶颈?

💡A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。

❓Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?

💡A8 推荐选择4块5T的盘:

  1. 坏盘时风险降低
  2. IOPS能力相对会扩展
  3. 默认情况下,compaction效率和磁盘数也有一定的正比

❓Q9 doris be扩容后数据不均衡如何处理?

💡A9 如下:

  1. show backends 查看各be间TabletNum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMIN CLEAN TRASH
  2. 参考下 [数据副本问题排查指南] 进行处理:https://mp.weixin.qq.com/s/KzK0Gx1m8Z-1qZbyY1ZtlQ

其它问题

❓Q10 doris 2024北京行什么时候启动?

💡A10 8月31日,由 Apache Doris 社区联合字节跳动开源共同发起的 Apache Doris 城市行 Meetup 第四站来到北京!

本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家,将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践,以及在制造企业、国产化环境中的应用及探索。现场参会名额有限,感兴趣的同学抓紧报名占位!

本次活动报名席位有限,我们将基于提交的报名信息进行筛选以确定参会人员。为了确保您的顺利参与,请务必完整、准确填写报名信息,并凭报名成功通知短信入场。

活动时间:2024 年 8 月 31 日(周六)13:30 - 17:00

活动地点:北京市海淀区辉煌国际广场上地国际人才会客厅(西二旗地铁站 A 口步行 50 米)

活动入口:https://hdxu.cn/AfjED


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
JZC_xiaozhong7 分钟前
主数据同步失效引发的业务风险与集成架构治理
大数据·架构·数据一致性·mdm·主数据管理·数据孤岛解决方案·数据集成与应用集成
T062051417 分钟前
【数据集】全国各地区教育139个相关指标数据集(2000-2024年)
大数据
CoderJia程序员甲18 分钟前
GitHub 热榜项目 - 日榜(2026-1-9)
开源·大模型·llm·github·ai教程
Kagol24 分钟前
深入浅出 TinyEditor 富文本编辑器系列之一:TinyEditor 是什么
前端·typescript·开源
故乡de云32 分钟前
Vertex AI 企业账号体系,Google Cloud 才能完整支撑
大数据·人工智能
汽车仪器仪表相关领域36 分钟前
AI赋能智能检测,引领灯光检测新高度——NHD-6109智能全自动远近光检测仪项目实战分享
大数据·人工智能·功能测试·机器学习·汽车·可用性测试·安全性测试
木头程序员1 小时前
大模型边缘部署突破:动态推理技术与精度-延迟-能耗帕累托优化
大数据·人工智能·计算机视觉·自然语言处理·智能手机·数据挖掘
DX_水位流量监测1 小时前
无人机测流之雷达流速仪监测技术分析
大数据·网络·人工智能·数据分析·自动化·无人机
鹿衔`1 小时前
Hadoop HDFS 核心机制与设计理念浅析文档
大数据·hadoop·hdfs
萤丰信息1 小时前
开启园区“生命体”时代——智慧园区系统,定义未来的办公与生活
java·大数据·运维·数据库·人工智能·生活·智慧园区