GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
weixin_454372111 天前
0.机顶盒晶晨s905l3b芯片--刷入第三方系统+安卓9 root教程+armbian写入EMMC教程
linux·学习方法
溜追1 天前
OEC-Turbo刷群晖&Armbian流程记录
linux·经验分享·嵌入式硬件
郝学胜-神的一滴1 天前
Linux中的`fork`函数详解:深入解析
linux·服务器·开发语言·c++·算法
问道飞鱼1 天前
【Linux知识】Linux文本操作相关命令行
linux·运维·服务器·文本处理·1024程序员节
Madison-No71 天前
【Linux】自动化构建工具--make/Makefile
linux·运维·服务器
陌路201 天前
Linux16-进程间的通信--共享内存
linux
运维帮手大橙子1 天前
Docker监控系统中添加NodeExporter
linux·运维
Lzc7741 天前
Linux网络的应用层协议HTTP
linux·1024程序员节·应用层协议http
susu10830189111 天前
FAT32/VFAT 文件系统不支持 Linux 文件权限,cp文件总是异常
linux·运维·服务器
絔离1 天前
Linux下查看系统启动时间、运行时间
linux·运维·服务器