计算生物学学习笔记:NHGRI基因组数据科学分析、可视化和信息学实验室空间(AnVIL)

这是一个关于NHGRI基因组数据科学分析、可视化和信息学实验室空间(AnVIL)的视角文章,详细介绍了AnVIL平台的架构、功能、数据共享模式、社区应用及未来展望。AnVIL是一个联邦云平台,旨在通过"倒置"传统数据共享模型,让研究人员无需移动数据即可远程访问和分析大规模基因组数据,从而促进协作、提升安全性和可扩展性。

核心创新:倒置数据共享模型

  • 传统模型:项目数据被复制到多个机构的数据中心,每个机构需自建计算集群并维护分析工具,导致基础设施冗余、管理效率低下,且协作分析时数据拷贝成本高昂(例如,1000 Genomes Project的73TB数据拷贝需数天,TopMed的2PB数据拷贝需数周至数月)。
  • 倒置模型:研究人员通过云平台(如AnVIL)远程访问和分析数据,无需拷贝数据。数据仅需维护单一副本,所有用户均可访问,从而降低存储冗余和成本,提升计算资源的弹性(可动态扩展或缩减),并简化软件管理(仅需在单一位置安装或更新)。此外,集中式服务可提供更详细的安全监控(如入侵检测和审计)。

AnVIL系统架构与核心组件

  • 平台基础:AnVIL构建于Google Cloud Platform (GCP)之上,是FedRamp认证的计算环境,符合NIST-800-53安全标准,支持对受控访问数据集的存储和分析。未来计划扩展至其他云平台。
  • 核心分析组件 :平台提供三大类分析组件,通过通用文件系统和API相互关联:
    • 数据管理查询:Gen3,一个开源云数据平台,支持数据管理、分析、协调和共享,提供Windmill服务用于交互式数据探索、搜索和基于表型变量的队列构建。
    • 批处理计算:Terra,云原生平台,用户可在工作区中访问数据、运行分析工具和协作。工作流使用Workflow Description Language (WDL)定义,并通过Cromwell计算引擎执行。Dockstore,工具和工作流注册中心,支持WDL、CWL、Nextflow和Galaxy工作流,目前包含745个WDL工作流,可一键在Terra中启动。
    • 交互式计算:Jupyter Notebooks,支持Python、R、Julia等语言,用于数据清洗、统计建模、可视化等。RStudio,R语言的集成开发环境,支持统计计算和可视化。Bioconductor,基于R的开源软件项目,包含超过1,900个软件包,用于基因组数据分析。Galaxy,基于Web的计算工作台,提供超过8,000个分析工具,支持可访问、可重复、透明的基因组科学。
  • 数据与用户规模:截至2021年12月,AnVIL托管了来自超过240个队列的超过280,000个人类基因组数据,总大小约3,971.91 TB。已有超过15,000名用户使用AnVIL,超过1,950名用户运行了超过775个工作流并启动了超过240个工作区。

数据访问与负责任的数据管理

  • 数据访问工作组 (DAWG):负责定义安全控制和管理受控访问数据集的方法,并制定了《AnVIL数据访问联盟指南》。
  • 数据使用监督系统 (DUOS):由DAWG领导试点,旨在通过自动化决策支持算法加速数据访问。该算法利用GA4GH数据使用本体(DUO)对数据集的使用条款和研究者的研究提案进行编码,并自动评估研究是否在数据使用条款范围内,为数据访问委员会(DAC)提供推荐决策。
  • 图书馆卡概念:允许机构预先授权可信研究人员提交受控数据访问请求,利用GA4GH Passport Visa规范,减少研究人员提交请求的步骤。

社区与互操作性

  • 用户社区:AnVIL支持多种用户群体,包括联盟和数据生成者(数据摄取、质量控制、共享)、研究团队和研究者(数据访问、交互式和批处理计算)、计算工具开发者(可重复测试、集成和共享工具)以及资源不足的基因组数据科学社区(通过Genomic Data Science Community Network提供高性能计算访问)。
  • 跨平台互操作性:AnVIL通过采用GA4GH标准(如数据存储库服务DRS、工具注册服务TRS、任务执行服务TES、工作流执行服务WES)和NIH研究授权服务(RAS),实现了与其他NIH云平台(如BioData Catalyst、Kids First、Cancer Research Data Commons)的互操作性,支持数据、分析、认证和搜索的无缝切换。此外,还通过Fast Healthcare Interoperability Resource (FHIR)标准探索语义互操作性,以解决不同项目间元数据不一致的问题。

未来展望与挑战

  • 未来方向:重点增强临床基因组学能力(如整合多基因风险评分和药物基因组学分析工具),集成Telomere-to-Telomere和人类参考泛基因组项目的数据,提供更全面和多样化的参考基因组,并支持多云部署和更复杂的应用(如通过Kubernetes)。
  • 成本挑战:云计算的成本(包括计算和存储)是主要考虑因素。AnVIL通过提供成本教育、技术保障(如配额和"保险杠")、优化工具和工作流(如利用并行计算、压缩格式、近似技术)以及提供免费数据出口(如GTEx数据)来应对。同时,AnVIL云积分(AC2)计划为研究人员和教育工作者提供云计算资金,以降低使用门槛。

资料来源:Inverting the model of genomics data sharing with the NHGRI Genomic Data Science Analysis, Visualization, and Informatics Lab-space. Cell Genomics Vol. 2 Issue 1 100085 Published in issue: January 12, 2022

相关推荐
骑士雄师3 小时前
结构化思维》第一、二章 → prompt review skill 优化启发清单
笔记
David猪大卫3 小时前
【C++修炼】STL容器—模板进阶:非类型模板参数、模板特化、模板分离编译
c语言·开发语言·c++·经验分享·笔记·学习·面试
qq_284274053 小时前
液压泵工作原理与性能参数笔记:能量转换与吸压油三必要条件、压力分级、排量流量与三种效率特性曲线、径向轴向柱塞泵变量原理及配流配油盘(含考点)
笔记·学习·自动化·制造
ljt27249606613 小时前
Python笔记(四)--模式匹配与正则
笔记·python
冰暮流星3 小时前
mysql索引失效的情形
数据库·笔记·sql·mysql
白杨尚青4 小时前
C++入门篇(十八):模板进阶——非类型参数、特化全家桶与分离编译(收官篇)
开发语言·c++·笔记·模板·偏特化·分离编译
qq_284274054 小时前
液压泵类型结构与液压马达笔记:柱塞泵奇数柱塞减震槽通轴斜轴、单双作用叶片泵八段曲线限压变量、齿轮泵排量困油径向力端面补偿、内啮合螺杆泵与高低速马达(含考点)
笔记·学习·自动化·制造
ACP广源盛139246256734 小时前
项目评估记录:Type‑C DP Alt Mode 转 HDMI 桥接方案调研,GSV1201D @ACP参数与工程问题记录
笔记·硬件架构·视频·hdmi·国产芯片
云半S一5 小时前
Agent学习总结二
经验分享·笔记·学习·agent