GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
微露清风9 小时前
系统性学习Linux-第二讲-基础开发工具
linux·运维·学习
不会代码的小猴9 小时前
Linux环境编程第六天笔记--system-V IPC
linux·笔记
阳光九叶草LXGZXJ9 小时前
达梦数据库-学习-48-DmDrs控制台命令(同步之Manager、CPT模块)
linux·运维·数据库·sql·学习
诸神缄默不语9 小时前
Linux命令行教程
linux
i建模11 小时前
如何在Arch Linux中重设忘记的root密码
linux·运维·服务器
kida_yuan12 小时前
【Linux】运维实战笔记 — 我常用的方法与命令
linux·运维·笔记
@syh.13 小时前
【linux】进程控制
linux
何中应14 小时前
vmware的linux虚拟机如何设置以命令行方式启动
linux·运维·服务器
江畔何人初15 小时前
kubernet与docker的关系
linux·运维·云原生
百炼成神 LV@菜哥15 小时前
Kylin Linux V10 aarch64 安装启动 TigerVNC-Server
linux·服务器·kylin