计算生物学学习笔记:NHGRI基因组数据科学分析、可视化和信息学实验室空间(AnVIL)

这是一个关于NHGRI基因组数据科学分析、可视化和信息学实验室空间(AnVIL)的视角文章,详细介绍了AnVIL平台的架构、功能、数据共享模式、社区应用及未来展望。AnVIL是一个联邦云平台,旨在通过"倒置"传统数据共享模型,让研究人员无需移动数据即可远程访问和分析大规模基因组数据,从而促进协作、提升安全性和可扩展性。

核心创新:倒置数据共享模型

  • 传统模型:项目数据被复制到多个机构的数据中心,每个机构需自建计算集群并维护分析工具,导致基础设施冗余、管理效率低下,且协作分析时数据拷贝成本高昂(例如,1000 Genomes Project的73TB数据拷贝需数天,TopMed的2PB数据拷贝需数周至数月)。
  • 倒置模型:研究人员通过云平台(如AnVIL)远程访问和分析数据,无需拷贝数据。数据仅需维护单一副本,所有用户均可访问,从而降低存储冗余和成本,提升计算资源的弹性(可动态扩展或缩减),并简化软件管理(仅需在单一位置安装或更新)。此外,集中式服务可提供更详细的安全监控(如入侵检测和审计)。

AnVIL系统架构与核心组件

  • 平台基础:AnVIL构建于Google Cloud Platform (GCP)之上,是FedRamp认证的计算环境,符合NIST-800-53安全标准,支持对受控访问数据集的存储和分析。未来计划扩展至其他云平台。
  • 核心分析组件 :平台提供三大类分析组件,通过通用文件系统和API相互关联:
    • 数据管理查询:Gen3,一个开源云数据平台,支持数据管理、分析、协调和共享,提供Windmill服务用于交互式数据探索、搜索和基于表型变量的队列构建。
    • 批处理计算:Terra,云原生平台,用户可在工作区中访问数据、运行分析工具和协作。工作流使用Workflow Description Language (WDL)定义,并通过Cromwell计算引擎执行。Dockstore,工具和工作流注册中心,支持WDL、CWL、Nextflow和Galaxy工作流,目前包含745个WDL工作流,可一键在Terra中启动。
    • 交互式计算:Jupyter Notebooks,支持Python、R、Julia等语言,用于数据清洗、统计建模、可视化等。RStudio,R语言的集成开发环境,支持统计计算和可视化。Bioconductor,基于R的开源软件项目,包含超过1,900个软件包,用于基因组数据分析。Galaxy,基于Web的计算工作台,提供超过8,000个分析工具,支持可访问、可重复、透明的基因组科学。
  • 数据与用户规模:截至2021年12月,AnVIL托管了来自超过240个队列的超过280,000个人类基因组数据,总大小约3,971.91 TB。已有超过15,000名用户使用AnVIL,超过1,950名用户运行了超过775个工作流并启动了超过240个工作区。

数据访问与负责任的数据管理

  • 数据访问工作组 (DAWG):负责定义安全控制和管理受控访问数据集的方法,并制定了《AnVIL数据访问联盟指南》。
  • 数据使用监督系统 (DUOS):由DAWG领导试点,旨在通过自动化决策支持算法加速数据访问。该算法利用GA4GH数据使用本体(DUO)对数据集的使用条款和研究者的研究提案进行编码,并自动评估研究是否在数据使用条款范围内,为数据访问委员会(DAC)提供推荐决策。
  • 图书馆卡概念:允许机构预先授权可信研究人员提交受控数据访问请求,利用GA4GH Passport Visa规范,减少研究人员提交请求的步骤。

社区与互操作性

  • 用户社区:AnVIL支持多种用户群体,包括联盟和数据生成者(数据摄取、质量控制、共享)、研究团队和研究者(数据访问、交互式和批处理计算)、计算工具开发者(可重复测试、集成和共享工具)以及资源不足的基因组数据科学社区(通过Genomic Data Science Community Network提供高性能计算访问)。
  • 跨平台互操作性:AnVIL通过采用GA4GH标准(如数据存储库服务DRS、工具注册服务TRS、任务执行服务TES、工作流执行服务WES)和NIH研究授权服务(RAS),实现了与其他NIH云平台(如BioData Catalyst、Kids First、Cancer Research Data Commons)的互操作性,支持数据、分析、认证和搜索的无缝切换。此外,还通过Fast Healthcare Interoperability Resource (FHIR)标准探索语义互操作性,以解决不同项目间元数据不一致的问题。

未来展望与挑战

  • 未来方向:重点增强临床基因组学能力(如整合多基因风险评分和药物基因组学分析工具),集成Telomere-to-Telomere和人类参考泛基因组项目的数据,提供更全面和多样化的参考基因组,并支持多云部署和更复杂的应用(如通过Kubernetes)。
  • 成本挑战:云计算的成本(包括计算和存储)是主要考虑因素。AnVIL通过提供成本教育、技术保障(如配额和"保险杠")、优化工具和工作流(如利用并行计算、压缩格式、近似技术)以及提供免费数据出口(如GTEx数据)来应对。同时,AnVIL云积分(AC2)计划为研究人员和教育工作者提供云计算资金,以降低使用门槛。

资料来源:Inverting the model of genomics data sharing with the NHGRI Genomic Data Science Analysis, Visualization, and Informatics Lab-space. Cell Genomics Vol. 2 Issue 1 100085 Published in issue: January 12, 2022

相关推荐
Z21-X8 小时前
云原生运维学习笔记:容器技术的演进、底层原理与 Docker 全生命周期管理
运维·笔记·学习·云原生
Rabitebla16 小时前
【Linux 底层原理】进程(十):进程等待详解---从僵尸进程到 wait、waitpid 与 status
linux·c++·笔记·学习·visual studio
小lu飞17 小时前
2026小红书小工具怎么制作:纯前端 ZIP 打包、沙箱限制与笔记挂载流程
前端·笔记·ai·ai编程
无心水21 小时前
24、系统架构师论文写作专题 核心考点与学习笔记
笔记·学习·系统架构·架构师·安全架构·软考架构师·软考系统架构设计师
蒸蒸yyyyzwd21 小时前
邓明 Agent 系统面试-意图识别学习笔记
笔记·学习
Zhao-Jichao1 天前
AI Prompting for Everyone 课程笔记 - P21 总结 Conclusion
人工智能·笔记
欢欢李1 天前
【LTE L3 笔记 05】LTE同步信号
笔记·无线通信·物理层·lte·空口协议
La Pulga1 天前
【FreeRTOS源码学习笔记】空闲任务与阻塞延时
笔记·mcu·学习·嵌入式·freertos·实时操作系统
蒸蒸yyyyzwd1 天前
秋招学习笔记 day106
笔记·学习
小李不想当小白1 天前
WDG看门狗(STM32标准库学习笔记)
笔记·stm32·单片机·嵌入式硬件·学习·嵌入式