GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
Jason_chen21 分钟前
Linux 6.2 音频机制深度解析:AI驱动的低延迟音频与零信任音频安全架构
linux
下午写HelloWorld25 分钟前
Linux系统及Ubuntu常用指令
linux·ubuntu·操作系统
weixin_523185322 小时前
Collections.unmodifiableMap详解:真的不可修改吗?
java·linux·前端
凡人叶枫3 小时前
Effective C++ 条款04:确定对象被使用前已先被初始化
java·linux·开发语言·c++·嵌入式开发
云栖梦泽3 小时前
玩转RK3506SDK
linux·嵌入式硬件
Java面试题总结3 小时前
Linux-Ubantu-贴士-apt的地盘
linux·运维·服务器
kong@react4 小时前
Rocky Linux 10.2 全面解析:企业级 CentOS 替代方案及保姆级docker安装
java·linux·运维·docker
凡人叶枫4 小时前
Effective C++ 条款07:为多态基类声明 virtual 析构函数
linux·c语言·开发语言·c++
凡人叶枫5 小时前
Effective C++ 条款10:令 operator= 返回一个 reference to *this
java·linux·服务器·开发语言·c++·effective c++
|_⊙5 小时前
Linux 中断
linux