GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
丶伯爵式2 分钟前
Ubuntu 新装后常用设置
linux·运维·ubuntu
哼?~4 分钟前
Socket编程准备
linux·网络
羌俊恩10 分钟前
Vim modeline 命令执行漏洞(CVE-2026-34714)修复指导
linux·编辑器·vim·漏洞·cve-2026-34714
wang090724 分钟前
Linux性能优化之中断
linux·运维·性能优化
bukeyiwanshui25 分钟前
20260410 系统启动原理
linux
huanmieyaoseng100325 分钟前
Linux 安装配置 Tomcat超详细2026新(附安装包)
linux·运维·tomcat
charlie1145141911 小时前
嵌入式Linux模块学习——insmod 底层全流程解剖:从用户命令到内核内存
linux·c·嵌入式linux
Bert.Cai1 小时前
Linux cat命令详解
linux·运维
零二年的冬1 小时前
epoll详解
java·linux·开发语言·c++·链表
问简1 小时前
ubuntu 输入法优化
linux·运维·ubuntu