解决Apache Doris占用CPU和内存过高

一、导入问题

对于 Doris 来说,一个 INSERT 命令就是一个完整的导入事务。因此不论是导入一条数据,还是多条数据,我们都不建议在生产环境使用这种方式进行数据导入。高频次的 INSERT 操作会导致在存储层产生大量的小文件,会严重影响系统性能。

解决方案:在mysql链接后面增加rewriteBatchedStatements=true,开启doris批量提交。

二、查询问题

1、fe配置

JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx4096m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:DORIS_HOME/log/fe.gc.log.CUR_DATE"

cache_enable_sql_mode = false

2、be配置

mem_limit=50%

max_cumu_compaction_threads=1

disable_mem_pools=true

disable_storage_page_cache=true

相关推荐
天翼云开发者社区2 小时前
Doris-HDFS LOAD常见问题汇总(二)
大数据·doris
Faith_xzc1 个月前
Apache Doris FE 问题排查与故障分析全景指南
大数据·数据仓库·apache·doris
寂夜了无痕1 个月前
doris manager 安装部署 、管理已有doris集群、使用studio进行SQL查询
doris·doris manager·doris studio
江畔独步1 个月前
Doris与DS结合实现MySQL侧的Upsert功能
数据仓库·mysql·doris·upsert
涤生大数据1 个月前
Apache Doris 在数据仓库中的作用与应用实践
数据仓库·apache·doris
IT成长日记1 个月前
【Doris基础】Doris中的Replica详解:Replica原理、架构
apache·doris·replica
IT成长日记1 个月前
【Doris基础】Apache Doris中的Coordinator节点作用详解
apache·doris·coordinator
IT成长日记1 个月前
【Doris基础】Apache Doris vs 传统数据仓库:架构与性能的全面对比
数据仓库·架构·doris·doris vs 传统数据仓库
IT成长日记1 个月前
【Doris基础】Doris中的Tablet详解:核心存储单元的设计与实现
apache·doris·tablet
IT成长日记1 个月前
【Doris基础】Apache Doris中FE和BE的职责详解
apache·doris·be·fe·职责