使用Aspera高速上传文件到ncbi

有同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,给开到最大10个线程,上行有30Mbps/s。看了下防火墙日志一小时能上传10GB左右,170GB十七小时左右可以传完。

但是有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。

复制代码
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
 
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .

The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892

打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd

展开"Upload via Aspera command line or FTP"

看到这个keyfile点击下载,还有下页会自动生成一个专用目录

下面是我测试上传的命令

复制代码
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码

3163MB的文件9分钟多上传完。

相关推荐
IvorySQL8 小时前
PostgreSQL 分区表的 ALTER TABLE 语句执行机制解析
数据库·postgresql·开源
·云扬·9 小时前
MySQL 8.0 Redo Log 归档与禁用实战指南
android·数据库·mysql
IT邦德9 小时前
Oracle 26ai DataGuard 搭建(RAC到单机)
数据库·oracle
惊讶的猫9 小时前
redis分片集群
数据库·redis·缓存·分片集群·海量数据存储·高并发写
不爱缺氧i9 小时前
完全卸载MariaDB
数据库·mariadb
纤纡.9 小时前
Linux中SQL 从基础到进阶:五大分类详解与表结构操作(ALTER/DROP)全攻略
linux·数据库·sql
jiunian_cn10 小时前
【Redis】渐进式遍历
数据库·redis·缓存
橙露10 小时前
Spring Boot 核心原理:自动配置机制与自定义 Starter 开发
java·数据库·spring boot
冰暮流星10 小时前
sql语言之分组语句group by
java·数据库·sql
符哥200810 小时前
Ubuntu 常用指令集大全(附实操实例)
数据库·ubuntu·postgresql