使用Aspera高速上传文件到ncbi

有同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,给开到最大10个线程,上行有30Mbps/s。看了下防火墙日志一小时能上传10GB左右,170GB十七小时左右可以传完。

但是有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。

复制代码
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
 
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .

The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892

打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd

展开"Upload via Aspera command line or FTP"

看到这个keyfile点击下载,还有下页会自动生成一个专用目录

下面是我测试上传的命令

复制代码
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码

3163MB的文件9分钟多上传完。

相关推荐
不羁。。3 小时前
【撸靶笔记】第七关:GET - Dump into outfile - String
数据库·笔记·oracle
yangchanghua1115 小时前
pgsql 如何查询今天范围内的数据(当天0点0分0秒 - 当天23点59分59秒....)
数据库·pgsql
larance5 小时前
SQLAlchemy 的异步操作来批量保存对象列表
数据库·python
python_chai5 小时前
从数据汇总到高级分析,SQL 查询进阶实战(下篇)—— 分组、子查询与窗口函数全攻略
数据库·sql·mysql
在努力的前端小白5 小时前
Spring Boot 敏感词过滤组件实现:基于DFA算法的高效敏感词检测与替换
java·数据库·spring boot·文本处理·敏感词过滤·dfa算法·组件开发
未来之窗软件服务5 小时前
自建知识库,向量数据库 (九)之 量化前奏分词服务——仙盟创梦IDE
数据库·仙盟创梦ide·东方仙盟·自建ai·ai分词
冒泡的肥皂9 小时前
MVCC初学demo(一
数据库·后端·mysql
.Shu.10 小时前
Redis Reactor 模型详解【基本架构、事件循环机制、结合源码详细追踪读写请求从客户端连接到命令执行的完整流程】
数据库·redis·架构
薛晓刚12 小时前
当MySQL的int不够用了
数据库
SelectDB技术团队13 小时前
Apache Doris 在菜鸟的大规模湖仓业务场景落地实践
数据库·数据仓库·数据分析·apache doris·菜鸟技术