GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
HIT_Weston6 小时前
27、【Ubuntu】【远程开发】内网穿透:CA 签名
linux·运维·ubuntu
阿巴~阿巴~7 小时前
基于UDP协议的英汉翻译服务系统:从网络通信到字典查询的完整机制
linux·服务器·网络·网络协议·udp协议·套接字绑定·英汉翻译服务系统
阿巴~阿巴~7 小时前
简易回声服务器实现与网络测试指南
linux·服务器·网络·udp协议·网络测试·udp套接字编程
凡间客9 小时前
Ansible安装与入门
linux·运维·ansible
君以思为故9 小时前
认识Linux -- 进程概念
linux·服务器
_OP_CHEN10 小时前
Linux网络编程:(八)GCC/G++ 编译器完全指南:从编译原理到实战优化,手把手教你玩转 C/C++ 编译
linux·运维·c++·编译和链接·gcc/g++·编译优化·静态链接与动态链接
阿乐艾官10 小时前
【十一、Linux管理网络安全】
linux·运维·web安全
Code Warrior11 小时前
【Linux】Socket 编程预备知识
linux·网络·c++
摘星|12 小时前
架设一台NFS服务器,并按照以下要求配置
linux·运维·服务器
做运维的阿瑞12 小时前
Linux环境变量持久化完全指南
linux·运维·服务器