【Apache Doris】周FAQ集锦:第 18 期

【Apache Doris】周FAQ集锦:第 18 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris如何查看变量设置是否有变更

💡A1 如下:

复制代码
-- show结果有个changed列:如果修改就是1,default是0
show variables;

数据操作问题

❓Q2 doris做倒排时内存里是否会放trie树

💡A2 不会。词典放不进内存,只有词典的索引加载内存,而且是 LRU Cache策略。

倒排索引内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index

❓Q3 flink-doris-connector目前支持的schema change包含哪些

💡A3 加减列和rename操作。

flink-doris-connector内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector

❓Q4 doris3.0假如有读和写两个集群compaction流程如何设计的

💡A4 如下:

  1. 写集群的compaction还是在be计算节点进行,做完compaction更新到外部存储或cache
  2. compaction的规则和存算一体模式类似,需要做compaction的时候,会从外部存储或cache拉回到be做完compaction再更新

❓Q5 elasticsearch的数据如何迁移至doris

💡A5 如下:

  1. 基于datax进行同步迁移
  2. 基于doris提供的Elasticsearch Catalog进行同步, 除了支持自动映射 ES 元数据外,也可以利用 Doris 的分布式查询规划能力和ES(Elasticsearch) 的全文检索能力相结合,提供更完善的 OLAP 分析场景解决方案:
    a. ES 中的多 index 分布式 Join 查询。
    b. Doris 和 ES 中的表联合查询,更复杂的全文检索过滤。

es catalog内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/lakehouse/database/es

运维常见问题

❓Q6 doris执行 ADMIN REBALANCE 是否会影响实时读写任务

💡A6 会对集群的性能产生一定影响,因为Tablet的迁移会占用网络和磁盘I/O资源。如果集群的负载本身就很高,那么在执行ADMIN REBALANCE命令时,可能会观察到查询和写入的性能下降。

❓Q7 doris集群中各个be节点之间的内存/CPU/IO是否可以不同

💡A7 doris集群中各个be节点之间的内存/CPU/IO可以不一样,但是强烈不建议异构。为了保证集群的性能和稳定性,建议尽可能保持各个节点的硬件配置一致。如果节点之间的配置差异过大,可能会导致集群的性能不稳定,部分任务可能会在资源较低的节点上产生瓶颈,出现短板效应。

❓Q8 doris如何查看某个fe节点的连接数

💡A8 如下:

1.通过processlist查看

复制代码
show processlist;
  1. 连接数通常是由如下两个参数控制,fe 最大连接数:https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/fe-config?_highlight=fe#qe_max_connection
    用户最大连接数:
    https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/user-property?_highlight=user\&_highlight=connection#max_user_connections

❓Q9 doris中/metrics监控指标的接口能否鉴权或直接停掉

💡A9 如下:

复制代码
# 参考如下
sudo iptables -A INPUT -p tcp --dport 8040 -m string --algo bm --string "/metrics" -j DROP

其它问题

❓Q10 doris 2024深圳行什么时候启动?

💡A10 随着各企业版图的不断扩张与业务创新的加速,实时数据的浪潮正在重塑每一个行业。如何高效处理和分析日益增长的海量实时数据,并灵活应对多样化的数据分析需求,已成为企业实现数字化转型与升级的核心关键。

腾讯云作为 Apache Doris 社区的重要贡献者之一,一直深度参与社区建设,不仅在湖仓一体、全新查询优化器等关键场景和特性上与社区联合共建,还基于 Apache Doris 推出了企业级一站式数据仓库服务 TCHouse-D,为企业用户提供简单易用、轻松运维的云上全托管服务。

Apache Doris Meetup 深圳站由飞轮科技与腾讯云联合发起,来自腾讯云、飞轮科技、趣丸科技、招联金融、汇量科技、丰巢科技、东信时代等多位资深技术大咖,将带来金融、文娱、广告、物流、数字营销等多个行业的第一手实战经验,分享如何基于 Apache Doris 应对实时数据挑战、实现数据架构的全面升级与创新!

2024 年 8 月 3 日(周六)13:30 - 18:30,让我们齐聚腾讯滨海大厦,300 人超大会议厅 + 无敌海景,期待与所有用户面对面交流!欢迎拉上小伙伴一起扫码报名,抢"人从众"专属奖励(限量周边)!


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:[email protected]

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
SelectDB1 小时前
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
大数据·数据库·数据分析
合合技术团队2 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
lilye663 小时前
程序化广告行业(39/89):广告投放的数据分析与优化秘籍
大数据·人工智能·数据分析
中科岩创5 小时前
某地老旧房屋自动化监测项目
大数据·物联网·自动化
viperrrrrrrrrr76 小时前
大数据学习(95)-谓词下推
大数据·sql·学习
汤姆yu7 小时前
基于python大数据的旅游可视化及推荐系统
大数据·旅游·可视化·算法推荐
zhangjin12227 小时前
kettle从入门到精通 第九十四课 ETL之kettle MySQL Bulk Loader大批量高性能数据写入
大数据·数据仓库·mysql·etl·kettle实战·kettlel批量插入·kettle mysql
哈哈真棒8 小时前
hadoop 集群的常用命令
大数据
阿里云大数据AI技术8 小时前
百观科技基于阿里云 EMR 的数据湖实践分享
大数据·数据库
故事与他6458 小时前
TBKDVR硬盘录像机device.rsp命令执行漏洞
服务器·网络·数据库·安全·网络安全·apache