使用Aspera高速上传文件到ncbi

有同事反馈ftp上传ncbi非常慢,远程测试下2个进程上行共在600KB-1MB/S,给开到最大10个线程,上行有30Mbps/s。看了下防火墙日志一小时能上传10GB左右,170GB十七小时左右可以传完。

但是有更快的上传方式就是使用Aspera工具,于是注册了个帐号,建个sra上传任务,测试了下发现需要下载ssh key。一时找不到在哪下载,给sra@ncbi.nlm.nih.gov发了份邮件咨询怎么下载。下面是回复内容。

复制代码
The ssh key is now available for download from submission portal. Click the "key file" link on this page:
https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd
 
There are more upload instructions here: http://www.ncbi.nlm.nih.gov/sra/docs/submitfiles .

The SRA Team
National Center for Biotechnology Information | National Library of Medicine
National Institutes of Health, Bethesda, Maryland 20892

打开链接https://submit.ncbi.nlm.nih.gov/subs/sra/#files_upload_aspera_cmd

展开"Upload via Aspera command line or FTP"

看到这个keyfile点击下载,还有下页会自动生成一个专用目录

下面是我测试上传的命令

复制代码
"C:\Program Files (x86)\Aspera\Aspera Connect\bin\ascp.exe" -i "d:\aspera.openssh" -QT -l400m -k1 -d "d:\bioproject.xml" subasp@upload.ncbi.nlm.nih.gov:uploads/邮箱前缀_邮箱域名_生成的随机码

3163MB的文件9分钟多上传完。

相关推荐
唐老板12 分钟前
uuidv7 来了:为什么别再拿 uuidv4 当主键了
数据库
SelectDB13 小时前
让变更流出 Doris:Apache Doris 5.0 基于增量计算的 CDC 技术解析
数据库
这个DBA有点耶13 小时前
MCP隔离层+行级语义审计+输出校验:AI访问数据库的安全边界拆解
数据库·人工智能·ai编程
这个DBA有点耶14 小时前
从反向扫描O(n)到正向扫描O(1):降序索引的物理机制与混合排序匹配规则
数据库
2501_9339232516 小时前
解读Redis:单线程模型
数据库·redis·缓存
Tapdata17 小时前
被忽略的第三类上下文:Agent 进入真实业务后,还缺什么?
数据库·人工智能·架构
小科先生18 小时前
Java springboot调用数据库的基本流程
java·数据库·spring boot
星恒随风18 小时前
MySQL 从零入门(四):表的增删改查与基础查询详解
linux·服务器·数据库·笔记·mysql
Pniubi20 小时前
MySQL靠什么实现事务的?事务隔离级别有哪些?
java·数据库·mysql
数据库小学妹20 小时前
pgbouncer 事务池:prepared statement、临时表与会话状态
数据库·后端·postgresql