GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
DjangoJason38 分钟前
计算机网络 : Socket编程
linux·服务器·开发语言·笔记·计算机网络
眠りたいです40 分钟前
从数据包到可靠性:UDP/TCP协议的工作原理分析
linux·网络·网络协议·tcp/ip·udp·传输层
花嫁代二娃1 小时前
Linux:计算机的层状结构
linux·操作系统
路飞雪吖~1 小时前
【Linux】共享内存
java·linux·服务器
maomi_95262 小时前
操作系统之EXT文件系统
linux·服务器
伤不起bb5 小时前
MySQL 高可用
linux·运维·数据库·mysql·安全·高可用
tmacfrank8 小时前
网络编程中的直接内存与零拷贝
java·linux·网络
QQ27402875610 小时前
Soundness Gitpod 部署教程
linux·运维·服务器·前端·chrome·web3
qwfys20010 小时前
How to configure Linux mint desktop
linux·desktop·configure·mint
南方以南_10 小时前
Ubuntu操作合集
linux·运维·ubuntu