GATK BaseRecalibratorSpark 过程中因Too many open files终止

Error:

GATK BaseRecalibratorSpark 过程中因Too many open files终止

执行命令:

复制代码
nohup time ./gatk --java-options "-Xmx16G" BaseRecalibratorSpark -R 
../../alignment/hg38/hg38.fa  -I ../../alignment/bam/P368T.sorted.markdup.bam 
--known-sites ./bundle/1000G_phase1.snps.high_confidence.hg38.vcf.gz 
--known-sites ./bundle/Mills_and_1000G_gold_standard.indels.hg38.vcf.gz 
--known-sites ./bundle/dbsnp_138.hg38.vcf.gz 
-O ../../alignment/bam/P368T.sorted.markdup.recal_data.table 
> ../../alignment/log/P368T_BQSR.log 2>&1 &

日志信息:

错误分析:

GATK 集成的Spark运行过程中会打开多个文件,而我使用的服务器版RStudio的Terminal限制了打开的文件数量最多为4096

可以通过命令 ulimit -n 查看当前用户能打开的最多文件数量。

解决方法:

我使用的服务器给每个用户分配的最多打开文件数量是409600,会出现too many open files是因为RStudio的Terminal限制,所以直接使用ssh连接服务器执行命令既可以解决问题。

相关推荐
大鹏的NLP博客1 小时前
通用 Linux 嵌入式板端 C/C++ ABI 与 Glibc 依赖治理规范
linux·c++·交叉编译
tedcloud1231 小时前
book-to-skill 怎么部署?把技术书和项目文档变成 AI Agent 可复用知识
linux·运维·服务器·人工智能·开源
瀚高PG实验室2 小时前
SQL优化案例:使用分区表优化SQL查询性能
linux·服务器·数据库·sql·microsoft·postgresql
青禾8372 小时前
Linux 系统信息、权限管理与 Python 并发编程(协程与线程)完全指南
linux·python
2301_800954992 小时前
Linux 常用系统信息与进程管理命令速查
linux·运维·服务器
T型码农要学习3 小时前
eMMC_命令整理
linux·驱动开发·emmc
刚入门的大一新生4 小时前
Linux-进程4
linux·运维·服务器
-今昭-5 小时前
MooseFS分布式文件系统
linux·服务器·网络
byte轻骑兵5 小时前
【BlueZ 】蓝牙 HCI 协议基础:与 BlueZ 源码的层面对应关系
linux·hci·电脑蓝牙·嵌入式蓝牙·buez
Brilliantwxx5 小时前
【Linux】 进程(1) 从冯诺依曼体系到进程核心概念
linux·运维·服务器