【Apache Doris】周FAQ集锦:第 18 期
欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!
在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。
通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。
SQL问题
❓Q1 doris如何查看变量设置是否有变更
💡A1 如下:
-- show结果有个changed列:如果修改就是1,default是0
show variables;
数据操作问题
❓Q2 doris做倒排时内存里是否会放trie树
💡A2 不会。词典放不进内存,只有词典的索引加载内存,而且是 LRU Cache策略。
倒排索引内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index
❓Q3 flink-doris-connector目前支持的schema change包含哪些
💡A3 加减列和rename操作。
flink-doris-connector内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector
❓Q4 doris3.0假如有读和写两个集群compaction流程如何设计的
💡A4 如下:
- 写集群的compaction还是在be计算节点进行,做完compaction更新到外部存储或cache
- compaction的规则和存算一体模式类似,需要做compaction的时候,会从外部存储或cache拉回到be做完compaction再更新
❓Q5 elasticsearch的数据如何迁移至doris
💡A5 如下:
- 基于datax进行同步迁移
- 基于doris提供的Elasticsearch Catalog进行同步, 除了支持自动映射 ES 元数据外,也可以利用 Doris 的分布式查询规划能力和ES(Elasticsearch) 的全文检索能力相结合,提供更完善的 OLAP 分析场景解决方案:
a. ES 中的多 index 分布式 Join 查询。
b. Doris 和 ES 中的表联合查询,更复杂的全文检索过滤。
es catalog内容可查阅:
https://doris.apache.org/zh-CN/docs/dev/lakehouse/database/es
运维常见问题
❓Q6 doris执行 ADMIN REBALANCE 是否会影响实时读写任务
💡A6 会对集群的性能产生一定影响,因为Tablet的迁移会占用网络和磁盘I/O资源。如果集群的负载本身就很高,那么在执行ADMIN REBALANCE
命令时,可能会观察到查询和写入的性能下降。
❓Q7 doris集群中各个be节点之间的内存/CPU/IO是否可以不同
💡A7 doris集群中各个be节点之间的内存/CPU/IO可以不一样,但是强烈不建议异构。为了保证集群的性能和稳定性,建议尽可能保持各个节点的硬件配置一致。如果节点之间的配置差异过大,可能会导致集群的性能不稳定,部分任务可能会在资源较低的节点上产生瓶颈,出现短板效应。
❓Q8 doris如何查看某个fe节点的连接数
💡A8 如下:
1.通过processlist查看
show processlist;
- 连接数通常是由如下两个参数控制,fe 最大连接数:https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/fe-config?_highlight=fe#qe_max_connection
用户最大连接数:
https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/user-property?_highlight=user\&_highlight=connection#max_user_connections
❓Q9 doris中/metrics监控指标的接口能否鉴权或直接停掉
💡A9 如下:
# 参考如下
sudo iptables -A INPUT -p tcp --dport 8040 -m string --algo bm --string "/metrics" -j DROP
其它问题
❓Q10 doris 2024深圳行什么时候启动?
💡A10 随着各企业版图的不断扩张与业务创新的加速,实时数据的浪潮正在重塑每一个行业。如何高效处理和分析日益增长的海量实时数据,并灵活应对多样化的数据分析需求,已成为企业实现数字化转型与升级的核心关键。
腾讯云作为 Apache Doris 社区的重要贡献者之一,一直深度参与社区建设,不仅在湖仓一体、全新查询优化器等关键场景和特性上与社区联合共建,还基于 Apache Doris 推出了企业级一站式数据仓库服务 TCHouse-D,为企业用户提供简单易用、轻松运维的云上全托管服务。
Apache Doris Meetup 深圳站由飞轮科技与腾讯云联合发起,来自腾讯云、飞轮科技、趣丸科技、招联金融、汇量科技、丰巢科技、东信时代等多位资深技术大咖,将带来金融、文娱、广告、物流、数字营销等多个行业的第一手实战经验,分享如何基于 Apache Doris 应对实时数据挑战、实现数据架构的全面升级与创新!
2024 年 8 月 3 日(周六)13:30 - 18:30,让我们齐聚腾讯滨海大厦,300 人超大会议厅 + 无敌海景,期待与所有用户面对面交流!欢迎拉上小伙伴一起扫码报名,抢"人从众"专属奖励(限量周边)!
关于社区
Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。
如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:
💡官方文档
💡社区论坛
💡dev邮件组:dev@doris.apache.org
非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。
相信,您的参与将帮助Apache Doris变得更加完善。