Error:
GATK BaseRecalibratorSpark 过程中因Too many open files终止
执行命令:
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R
../../alignment/hg38/hg38.fa -I ../../alignment/bam/P368T.sorted.markdup.bam
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table
> ../../alignment/log/P368T_BQSR.log 2>&1 &
日志信息:
错误分析:
GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096
可以通过命令 ulimit -n
查看当前用户能打开的最多文件数量。
解决方法:
我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。