【Apache Doris】周FAQ集锦:第 19 期

【Apache Doris】周FAQ集锦:第 19 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris已经把connection_pool_max_size调大到1000,运行一段时间后执行查询报:

复制代码
Connection is not available, request timed out

💡A1 如下:

  1. 检查下 MySQL 那边是不是真的有 1000 个连接,排除下是否连接泄露
  2. 因为改任何一个连接池参数都会新建连接池,所以大概率可能和连接个数没啥关系
  3. 综上来讲,大概率是超时,把超时时间调大再观察下
    https://doris.apache.org/zh-CN/docs/lakehouse/database/jdbc/#连接池问题排查

数据操作问题

❓Q2 mongodb如何导入至doris

💡A2 如下:

  1. 批量导入时,可以基于DataX同步
  2. 增量导入时,可以结合CDC的方式;目前Flink-Connector-Doris 1.6.2 已经支持整库同步增量+全量 Mongodb数据到Doris

❓Q3 通过spark-doris-connector或者flink-doris-connector读取doris 2.1.x 版本报:

type is DATETIMEV2, BUT arrow type is TIMESTAMPMICRO

💡A3 在doris2.1+版本后,变更了arrow的返回类型导致,主要涉及date/datetime ,可以使用最新版本的connector解决。

具体可以查阅Doris论坛帖子:

https://ask.selectdb.com/questions/D1fM/jie-jue-fang-an-tong-guo-spark-doris-connector-huo-zhe-flink-doris-connector-du-qu-doris-2-1-x-ban-ben-chu-xian-type-is-datetimev2-but-arrow-type-is-t/E1gM

❓Q4 doris 2.1版本的arrow flight协议是否支持支持读视图?

💡A4 支持。Doris 基于 Arrow Flight SQL 协议实现了高速数据链路,支持多种语言使用 SQL 从 Doris 高速读取大批量数据。

arrow flight内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/db-connect/arrow-flight-sql-connect

运维常见问题

❓Q5 doris部署时,fe机器是no avx2,be机器是支持avx2的,这种模式部署是否可行?

💡A5 可行;fe主要是java编写,通过jvm允许,对指令集无要求。

❓Q6 doris选择网卡是通过priority_networks选择的?

💡A6 是的;都是通过priority_networks的CIDR匹配模式选择的。该配置会指定 FE 使用的 IP,在配置 FQDN 的环境中,可以忽略该选项。

❓Q7 doris单表多少数据量会达到性能瓶颈?

💡A7 理论上资源充足且合理分区分桶,是无上限的。目前有许多用户的生产单表至少几十TB的。

❓Q8 doris的be数据盘,推荐用容量大点的,还是相对小点的好。比如:一块20T的盘和4块5T的盘,哪种配盘方式对读写性能会更好?

💡A8 推荐选择4块5T的盘:

  1. 坏盘时风险降低
  2. IOPS能力相对会扩展
  3. 默认情况下,compaction效率和磁盘数也有一定的正比

❓Q9 doris be扩容后数据不均衡如何处理?

💡A9 如下:

  1. show backends 查看各be间TabletNum、DataUsedCapacity和TrashUsedCapacity的值是否相对均匀;如果回收站数据Size差异较大,且无用则可以进行清理下:ADMIN CLEAN TRASH
  2. 参考下 数据副本问题排查指南 进行处理:https://mp.weixin.qq.com/s/KzK0Gx1m8Z-1qZbyY1ZtlQ

其它问题

❓Q10 doris 2024北京行什么时候启动?

💡A10 8月31日,由 Apache Doris 社区联合字节跳动开源共同发起的 Apache Doris 城市行 Meetup 第四站来到北京!

本次活动邀请了来自抖音集团、飞轮科技、爱玛科技、中国电信、天翼云等多位行业技术专家,将为参会者带来多行业、跨领域的技术分享及落地实践。比如 Apache Doris 在电商场景、PB 级规模数据场景下的最佳实践,以及在制造企业、国产化环境中的应用及探索。现场参会名额有限,感兴趣的同学抓紧报名占位!

本次活动报名席位有限,我们将基于提交的报名信息进行筛选以确定参会人员。为了确保您的顺利参与,请务必完整、准确填写报名信息,并凭报名成功通知短信入场。

活动时间:2024 年 8 月 31 日(周六)13:30 - 17:00

活动地点:北京市海淀区辉煌国际广场上地国际人才会客厅(西二旗地铁站 A 口步行 50 米)

活动入口:https://hdxu.cn/AfjED


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
修己xj16 小时前
GoTab:打造属于你自己的个性化浏览器新标签页
开源
大大大大晴天20 小时前
Hudi技术内幕:Key Generation原理与实践
大数据
蝎子莱莱爱打怪21 小时前
XZLL-IM干货系列 03|消息 ID 设计:一个 UUID 搞不定的事,我用两个 ID 解决了
后端·面试·开源
冬奇Lab1 天前
每日一个开源项目(第137篇):Penpot - 真正开源的设计协作工具,SVG 原生格式消灭设计-开发鸿沟
前端·开源·设计
冬奇Lab3 天前
每日一个开源项目(第135篇):codebase-memory-mcp - 给 AI Agent 一张代码库的知识图谱
人工智能·开源·llm
uniquejing3 天前
《每次 API 调用前扔掉 43% Token,我开源了一个 AI 提示词瘦身工具》
开源
文心快码BaiduComate4 天前
Comate 搭载GLM-5.2:百万上下文,稳定支撑长程任务
前端·程序员·开源
得物技术4 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子4 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
冬奇Lab5 天前
每日一个开源项目(第133篇):EchoBird - 把 AI 工具的安装和部署做成傻瓜操作
人工智能·开源·资讯