【Apache Doris】周FAQ集锦:第 18 期

【Apache Doris】周FAQ集锦:第 18 期

欢迎查阅本周的 Apache Doris 社区 FAQ 栏目!

在这个栏目中,每周将筛选社区反馈的热门问题和话题,重点回答并进行深入探讨。旨在为广大用户和开发者分享有关 Apache Doris 的常见问题。

通过这个每周 FAQ 栏目,希望帮助社区小伙伴更好地了解和应用 Apache Doris,促进经验交流和技术共享。

SQL问题

❓Q1 doris如何查看变量设置是否有变更

💡A1 如下:

-- show结果有个changed列:如果修改就是1,default是0
show variables;

数据操作问题

❓Q2 doris做倒排时内存里是否会放trie树

💡A2 不会。词典放不进内存,只有词典的索引加载内存,而且是 LRU Cache策略。

倒排索引内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/table-design/index/inverted-index

❓Q3 flink-doris-connector目前支持的schema change包含哪些

💡A3 加减列和rename操作。

flink-doris-connector内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/ecosystem/flink-doris-connector

❓Q4 doris3.0假如有读和写两个集群compaction流程如何设计的

💡A4 如下:

  1. 写集群的compaction还是在be计算节点进行,做完compaction更新到外部存储或cache
  2. compaction的规则和存算一体模式类似,需要做compaction的时候,会从外部存储或cache拉回到be做完compaction再更新

❓Q5 elasticsearch的数据如何迁移至doris

💡A5 如下:

  1. 基于datax进行同步迁移
  2. 基于doris提供的Elasticsearch Catalog进行同步, 除了支持自动映射 ES 元数据外,也可以利用 Doris 的分布式查询规划能力和ES(Elasticsearch) 的全文检索能力相结合,提供更完善的 OLAP 分析场景解决方案:
    a. ES 中的多 index 分布式 Join 查询。
    b. Doris 和 ES 中的表联合查询,更复杂的全文检索过滤。

es catalog内容可查阅:

https://doris.apache.org/zh-CN/docs/dev/lakehouse/database/es

运维常见问题

❓Q6 doris执行 ADMIN REBALANCE 是否会影响实时读写任务

💡A6 会对集群的性能产生一定影响,因为Tablet的迁移会占用网络和磁盘I/O资源。如果集群的负载本身就很高,那么在执行ADMIN REBALANCE命令时,可能会观察到查询和写入的性能下降。

❓Q7 doris集群中各个be节点之间的内存/CPU/IO是否可以不同

💡A7 doris集群中各个be节点之间的内存/CPU/IO可以不一样,但是强烈不建议异构。为了保证集群的性能和稳定性,建议尽可能保持各个节点的硬件配置一致。如果节点之间的配置差异过大,可能会导致集群的性能不稳定,部分任务可能会在资源较低的节点上产生瓶颈,出现短板效应。

❓Q8 doris如何查看某个fe节点的连接数

💡A8 如下:

1.通过processlist查看

show processlist;
  1. 连接数通常是由如下两个参数控制,fe 最大连接数:https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/fe-config?_highlight=fe#qe_max_connection
    用户最大连接数:
    https://doris.apache.org/zh-CN/docs/dev/admin-manual/config/user-property?_highlight=user\&_highlight=connection#max_user_connections

❓Q9 doris中/metrics监控指标的接口能否鉴权或直接停掉

💡A9 如下:

# 参考如下
sudo iptables -A INPUT -p tcp --dport 8040 -m string --algo bm --string "/metrics" -j DROP

其它问题

❓Q10 doris 2024深圳行什么时候启动?

💡A10 随着各企业版图的不断扩张与业务创新的加速,实时数据的浪潮正在重塑每一个行业。如何高效处理和分析日益增长的海量实时数据,并灵活应对多样化的数据分析需求,已成为企业实现数字化转型与升级的核心关键。

腾讯云作为 Apache Doris 社区的重要贡献者之一,一直深度参与社区建设,不仅在湖仓一体、全新查询优化器等关键场景和特性上与社区联合共建,还基于 Apache Doris 推出了企业级一站式数据仓库服务 TCHouse-D,为企业用户提供简单易用、轻松运维的云上全托管服务。

Apache Doris Meetup 深圳站由飞轮科技与腾讯云联合发起,来自腾讯云、飞轮科技、趣丸科技、招联金融、汇量科技、丰巢科技、东信时代等多位资深技术大咖,将带来金融、文娱、广告、物流、数字营销等多个行业的第一手实战经验,分享如何基于 Apache Doris 应对实时数据挑战、实现数据架构的全面升级与创新!

2024 年 8 月 3 日(周六)13:30 - 18:30,让我们齐聚腾讯滨海大厦,300 人超大会议厅 + 无敌海景,期待与所有用户面对面交流!欢迎拉上小伙伴一起扫码报名,抢"人从众"专属奖励(限量周边)!


一臻数据

关于社区

Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。

如果您对 Apache Doris 感兴趣,可以通过以下入口访问官方网站、社区论坛、GitHub和dev邮件组:

💡官方文档

💡社区论坛

💡GitHub

💡dev邮件组:dev@doris.apache.org

非常欢迎您在社区论坛中与其他用户分享您的使用经验和技巧,或者向dev邮件组提交反馈和意见。

相信,您的参与将帮助Apache Doris变得更加完善。

相关推荐
宅小海43 分钟前
scala String
大数据·开发语言·scala
小白的白是白痴的白44 分钟前
11.17 Scala练习:梦想清单管理
大数据
java1234_小锋1 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎
木古古184 小时前
使用chrome 访问虚拟机Apache2 的默认页面,出现了ERR_ADDRESS_UNREACHABLE这个鸟问题
前端·chrome·apache
Java 第一深情5 小时前
零基础入门Flink,掌握基本使用方法
大数据·flink·实时计算
MXsoft6185 小时前
华为服务器(iBMC)硬件监控指标解读
大数据·运维·数据库
PersistJiao6 小时前
Spark 分布式计算中网络传输和序列化的关系(二)
大数据·网络·spark·序列化·分布式计算
九河云6 小时前
如何对AWS进行节省
大数据·云计算·aws
FreeIPCC7 小时前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源
梦幻通灵7 小时前
ES分词环境实战
大数据·elasticsearch·搜索引擎