使用Aspera高速上传文件到ncbi

有同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,给开到最大10个线程,上行有30Mbps/s。看了下防火墙日志一小时能上传10GB左右,170GB十七小时左右可以传完。

但是有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。

复制代码
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
 
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .

The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892

打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd

展开"Upload via Aspera command line or FTP"

看到这个keyfile点击下载,还有下页会自动生成一个专用目录

下面是我测试上传的命令

复制代码
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码

3163MB的文件9分钟多上传完。

相关推荐
q***816410 小时前
MySQL:数据查询-limit
数据库·mysql
p***924810 小时前
DBeaver连接本地MySQL、创建数据库表的基础操作
数据库·mysql
JIngJaneIL12 小时前
社区互助|社区交易|基于springboot+vue的社区互助交易系统(源码+数据库+文档)
java·数据库·vue.js·spring boot·论文·毕设·社区互助
晚风吹人醒.12 小时前
缓存中间件Redis安装及功能演示、企业案例
linux·数据库·redis·ubuntu·缓存·中间件
Y***985112 小时前
DVWA靶场通关——SQL Injection篇
数据库·sql
Yawesh_best12 小时前
告别系统壁垒!WSL+cpolar 让跨平台开发效率翻倍
运维·服务器·数据库·笔记·web安全
蒋士峰DBA修行之路12 小时前
实验二十八 SQL PATCH调优
数据库·sql·gaussdb
I***t71613 小时前
一条sql 在MySQL中是如何执行的
数据库·sql·mysql
一 乐13 小时前
应急知识学习|基于springboot+vue的应急知识学习系统(源码+数据库+文档)
数据库·vue.js·spring boot
微学AI14 小时前
内网穿透的应用-突破局域网束缚,MongoDB 远程访问使用cpolar原来可以这么简单
数据库·mongodb