使用Aspera高速上传文件到ncbi

有同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,给开到最大10个线程,上行有30Mbps/s。看了下防火墙日志一小时能上传10GB左右,170GB十七小时左右可以传完。

但是有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。

复制代码
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
 
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .

The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892

打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd

展开"Upload via Aspera command line or FTP"

看到这个keyfile点击下载,还有下页会自动生成一个专用目录

下面是我测试上传的命令

复制代码
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码

3163MB的文件9分钟多上传完。

相关推荐
Quincy_Freak1 分钟前
银河麒麟 SQLite 实操:Excel 导入与 SQL 语法编辑功能详解摘要
数据库·arm·数据库管理·大数据分析·银河麒麟·aarch64·sqlitego
Dovis(誓平步青云)15 分钟前
《C/C+++ Boost 轻量级搜索引擎实战:架构流程、技术栈与工程落地指南——HTML文件的清洗(上篇)》
开发语言·数据库·c++·搜索引擎·开源
蚁库2 小时前
Oracle 12c + ASM + UDEV 实战教程:从磁盘规划到日常管理,10节视频完整通关
数据库·oracle
云和恩墨11 小时前
数据库一体机简史:从ODA到zData X,命名之中的玄机
数据库·vr
数据库小学妹12 小时前
KES是什么?国产数据库技术架构、核心能力与选型实战解析
数据库·经验分享·架构·国产数据库·数据库选型·信创数据库
Database_Cool_13 小时前
向量检索加速首选:阿里云 Tair 内置向量能力毫秒级召回
数据库·阿里云
强健的石头13 小时前
django文件对象是什么?
数据库·django·sqlite
ClouGence14 小时前
保障公共安全,一线治安机构实时数据应用与实践
数据库·mysql·postgresql
烟漠河洛14 小时前
线上事故复盘:Redis幂等性设计边界没覆盖跨状态请求,订单状态机直接崩了
数据库·redis·缓存
Minxinbb15 小时前
TDSQL for MySQL 服务器重启操作
数据库·mysql·dba