解决Apache Doris占用CPU和内存过高

ronshi2024-06-12 19:02

一、导入问题

对于 Doris 来说，一个 INSERT 命令就是一个完整的导入事务。因此不论是导入一条数据，还是多条数据，我们都不建议在生产环境使用这种方式进行数据导入。高频次的 INSERT 操作会导致在存储层产生大量的小文件，会严重影响系统性能。

解决方案：在mysql链接后面增加rewriteBatchedStatements=true，开启doris批量提交。

二、查询问题

1、fe配置

JAVA_OPTS="-Djavax.security.auth.useSubjectCredsOnly=false -Xss4m -Xmx4096m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc: $DORIS_HOME/log/fe.gc.log.$ CUR_DATE"

cache_enable_sql_mode = false

2、be配置

mem_limit=50%

max_cumu_compaction_threads=1

disable_mem_pools=true

disable_storage_page_cache=true