GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
运维之美@22 分钟前
Linux dig命令常见用法
linux·运维·服务器
阳光九叶草LXGZXJ28 分钟前
南大通用数据库-Gbase-8a-学习-44-DDLEVENT恢复
linux·数据库·sql·学习
Xua305531 分钟前
初始redis:在Ubuntu上安装redis
linux·数据库·redis
YCyjs2 小时前
云计算【第一阶段(27)】DHCP原理与配置以及FTP的介绍
linux·运维·服务器·云计算
新手小新2 小时前
关于新装Centos7无法使用yum下载的解决办法
linux·运维·centos
CodeWithMe2 小时前
【计算机】同步/异步
linux
Peterpan000002 小时前
玄机——第五章 linux实战-黑链 wp
linux·运维·服务器·网络安全·安全威胁分析
xuyanqiangCode3 小时前
八、Linux二进制安装Kafka集群
linux·运维·kafka
临桥3 小时前
firewalld 高级配置
linux·服务器·网络
a未来永远是个未知数3 小时前
构建机部署之git安装(Linux)
linux·git·elasticsearch