【Gene Expression Prediction】Part3 Deep Learning in Gene Expression Analysis

文章目录

  • [6 第二个讲座:Deep Learning in Gene Expression Analysis](#6 第二个讲座:Deep Learning in Gene Expression Analysis)
    • [6.1 Introduction](#6.1 Introduction)
    • [6.2 D-GEX](#6.2 D-GEX)
      • [6.2.1 Connectivity map project](#6.2.1 Connectivity map project)
      • [6.2.2 Predicting gene expression from landmark genes](#6.2.2 Predicting gene expression from landmark genes)
    • [6.3 Deep generative models for genomics](#6.3 Deep generative models for genomics)
      • [6.3.1 Manifold hypothesis](#6.3.1 Manifold hypothesis)
      • [6.3.2 Autoencoders](#6.3.2 Autoencoders)
      • [6.3.3 Generative models and variational autoencoders](#6.3.3 Generative models and variational autoencoders)
    • [6.4 SAILER](#6.4 SAILER)
      • [6.4.1 scATAC-seq](#6.4.1 scATAC-seq)
      • [6.4.2 SAILER](#6.4.2 SAILER)
      • [6.4.3 Conditional VAE](#6.4.3 Conditional VAE)
    • [6.5 Multimodal DL for Single Cell Multimodal Omics](#6.5 Multimodal DL for Single Cell Multimodal Omics)

来自Manolis Kellis教授(MIT计算生物学主任)的课

YouTube:(Gene Expression Prediction - Lecture 09 - Deep Learning in Life Sciences (Spring 2021)

Slides: slides

本节课分为四个部分,本篇笔记是第三部分。

主要是Xie Lab的一个讲座,讨论其组里的一些工作。在基因表达分析中应用深度学习。从介绍D-GEX开始,用于从关键基因预测基因表达的模型。接下来,将深度生成模型在基因组学中的应用,包括流形假设、自编码器,以及变分自编码器。此外,还介绍SAILER,这是一种基于单细胞ATAC-seq数据的模型,以及VAE。最后探索了多模态深度学习在单细胞多组学中的应用。

6 第二个讲座:Deep Learning in Gene Expression Analysis

6.1 Introduction

高通量测序技术的发展,越来越多的生物数据

  • 基因组学/表观基因组学:WGS、WES、ChIP-seq、DNase-seq、ATAC-seq
    • 主要分析DNA序列和调控的
  • 转录组
    • RNA-seq、smRNAseq、IncRNA-seq
    • 研究RNA表达与功能
  • 代谢组
  • 蛋白质组

数据来自不同的生物学方面,进行整合和处理输入到模型中

  • 需求与挑战
    • 需求:需要能够可视化、整合和解释数据的方法,以推动生物学发现。
    • 挑战:
      • 维度的诅咒(Curse of dimension):数据特征数量远多于样本数量,可能导致分析模型过拟合。
      • 噪声(Noise):数据收集过程中的随机误差或变异。
      • 稀疏/缺失值(Sparse/missing values) :不完整的数据可以导致分析困难。
        • single cell genomics容易出现
      • 偏见,实验工件(Bias, experimental artifacts):数据可能包含非生物学信号的偏差,如实验操作不当产生的工件。

开发基于多模态的,整合多个技术,来进行潜在生物学分析的方法论非常关键

  • 多模态单细胞组学
    • 基因表达:scRNA-seq(单细胞RNA测序)
    • 染色质可及性:通过测序技术如ATAC-seq来测量。
    • DNA甲基化:通过单细胞甲基化测序(scM&T-seq)来测量。
    • 染色体构象:通过Hi-C技术来测量。
    • 核小体占据:通过单细胞ChIP测序等技术来测量。

这些技术在单细胞水平上为我们提供了一个全面的生物学图景,使我们能够理解在单个细胞内基因是如何被调控的

  • 多模态深度生成模型(四种)
    • 潜在因子分解
    • 联合生成
    • 交叉生成
    • 协同
  • 简单介绍了一下他们实验室的模型
    • DANQ:identify非编码区的DNA序列功能
    • D-GEX:预测基因表达
    • FactorNet:预测转录因子在全基因组中的结合
      • 通过大量ChIP-seq analysis的数据,训练,来预测特定细胞类型方式中的转录因子集合类型
    • scFAN
      • 单细胞上的转录因子结合
      • 感兴趣的是单个细胞上单个转录因子的结合方式
    • uFold
      • RNA二级结构预测
    • SAILER
      • 生成模型,ATAC-seq数据,表达和染色质数据都是高维数据,包含成千上万个基因/基因组位置的测量值。
      • 这里使用生成模型来学习数据的压缩表示,来揭示基因表达模式背后的隐藏因素(在染色质分析中,它可能有助于理解基因调控元件之间的关系,如增强子和沉默子如何影响基因的表达。)
  1. 先介绍一下D-GEX
  2. 概述一下VAE如何应用在基因组学的研究
  3. 使用生成模型对ATAC-seq分析进行扩展,思考如何从数据集中消除试验性的混杂因素,学习反应生物表征,而不是实验制品。涉及一些新方法
  4. 多模态

6.2 D-GEX

6.2.1 Connectivity map project

时间不够了,很快的进行展示

2006年就发起的项目,C-Map,包含了不同小分子药物对培养的人类细胞处理后的基因表达数据

疾病、基因、药物之间的关系。研究人员可以查询某种药物引起的特定基因表达模式 ,看它是否与某种疾病状态的基因表达模式相匹配,进而发现可能的药物再利用(drug repurposing)机会或新的药物靶点。

后来人们想要将这种方法扩展到大型化学库、不同的基因型、多个细胞系。但是面临基因表达分析十分昂贵的问题

于是提出了**"The 1000-Gene Solution"**,只测量1000个基因(有代表性的)的表达,这可以以高通量和低成本进行,而不是整个基因组中的20000个基因都测。剩余基因的表达模式是推断出来的。

主要思想是,很多基因表达高度相关,所以可以通过小部分,来推测出全基因组的表达模式。

我们通过PCA进行降维,发现少量的主成分,可以解释绝大部分的方差。这样子的方式激发了他们去进行**"The 1000-Gene Solution"**方法的开发

6.2.2 Predicting gene expression from landmark genes

基于cmap

后续他们就开发了深度学习方法,通过已经测量的978个基因,来预测剩余的21000个基因的表达水平

6.3 Deep generative models for genomics

6.3.1 Manifold hypothesis

处理高维数据的技术------流形假设

  • 虽然数据(如生物数据)可能存在于多维空间中,但"真实"的可变性可以在更少的维度中捕获。

    • 发现数据的低维表示,这些表示被称为平滑流形 。这通过在更少的维度空间中表示数据 ,同时仍保留原始数据集的内在属性,来简化数据的复杂结构。
  • 流形学习------发现高维数据中低维结构的无监督学习

    • 理解大型生物医学数据集更有帮助
  • NDR(非线性降维)/流形学习的转换

    • 其中高维聚类中的数据点被投影到保留某些结构(标记为A和B的簇)的低维空间中。

6.3.2 Autoencoders

生成模型(自编码器、VAE、GAN)

6.3.3 Generative models and variational autoencoders

主要是介绍了VAE,我就不记录了,李宏毅那自己学

一些相关模型,主要功能是填补缺失值、去噪(如测序错误),学习潜在的细胞表达水平的概率分布等等

  • scRNA-seq往往是离散的数据集,不是连续的,而且有很多0值,所以人们使用**零膨胀负二项分布(ZINB)**来对其进行建模

  • 跟自编码器的区别就是不是基于高斯分布的,是基于这个ZINB的

  • 除了去噪外,还有处理dropout事件(比如基因有表达但是没测到)

    • 处理dropout:通过ZINB分布来建模数据,自编码器不仅能够捕获基因表达的平均水平和变异性,还能专门对dropout事件进行建模。

还有一项类似的工作,不详细介绍

6.4 SAILER

6.4.1 scATAC-seq

scATAC-seq(单细胞ATAC测序)是一种技术,它可以在单个细胞的水平上评估染色体DNA上区域的可及性。

该技术生成的数据是高维的,并且通常难以解释。

数据分析的第一步通常包括降维和聚类,其目标是学习a representation informative on biological variations,同时对混杂因素保持不变。

6.4.2 SAILER

  • SAILER方法旨在

    • 从多个批次的scATAC-seq数据中提取一个潜在表示(latent representation)
    • 同时处理混杂因素
      • 批次效应(Batch information):不同批次的数据展现出不一致的模式
      • 测序深度(read depth):不同细胞的测序深度
  • 混杂因素与细胞数据concat,并一同输入到decoder中。

  • 目标是学习一个在混杂因素变化时保持不变的潜在表示 ,并在训练过程中尽量减少潜在变量和混杂因素之间的互信息

6.4.3 Conditional VAE

这块CVAE具体的数学原理我自己还需要学习,还有如何贴合SAILER这个模型解决的问题(去噪)

VAE的潜在空间的某个维度与已知生物标志物的关联,我们可以验证与特定通路之间的关系。

  • 条件变分自编码器(CVAE)

通过学习输入数据的潜在表示来重构输入数据,同时能够编码与混杂因素(如实验批次或测序深度)无关的信息

  • 该编码器被训练为忽略与混杂因素相关的信息,只编码与生物学变异有关的信息
  • condition那个部分,一般是指某个特定的实验条件
  • 目标函数:在保留与混杂因素无关的数据表示的同时,最大化条件对数似然(即数据的概率,给定潜在表示和混杂因素)。这通常涉及最小化潜在变量和混杂因素之间的互信息。

变分损失(Variational loss):

  • 描述了CVAE的训练过程中需要最小化的损失函数,包括重构误差和潜在空间的正则化项(例如KL散度)。这有助于模型学习如何生成数据的潜在因素,同时忽略不相关的噪声或混杂因素。
  1. 展示了SAILER方法如何用于学习在各种混杂因素存在时的稳健的潜在细胞表征。

    • 细胞类型的数量和批次效应。
    • 使用降维方法,展示了不同方法(LSI, SCALE, SAILER)对潜在空间的可视化,尝试展示在控制混杂因素如批次效应和测序深度的同时,如何聚集相同类型的细胞。
    • 一个表格展示了不同方法之间潜在表征和混杂因素之间的互信息(Mutual Information),互信息越低表示方法越能有效地分离生物变异和混杂因素。
  2. 进一步讨论了SAILER如何处理真实的鼠标图谱数据以及如何合并两个不同的鼠脑数据集。

    • 在这里,SAILER的性能与其他方法(例如SCALE和SnapATAC)进行了比较。
    • 还有可视化图表,显示了在不同数据处理方法下细胞如何分布,以及如何用SAILER来减轻混杂因素的影响。

6.5 Multimodal DL for Single Cell Multimodal Omics

相关推荐
热爱跑步的恒川43 分钟前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
阡之尘埃3 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
孙同学要努力5 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20215 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
其实吧36 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
丕羽6 小时前
【Pytorch】基本语法
人工智能·pytorch·python
ctrey_6 小时前
2024-11-1 学习人工智能的Day20 openCV(2)
人工智能·opencv·学习
SongYuLong的博客6 小时前
Air780E基于LuatOS编程开发
人工智能
Jina AI6 小时前
RAG 系统的分块难题:小型语言模型如何找到最佳断点?
人工智能·语言模型·自然语言处理
-派神-6 小时前
大语言模型(LLM)量化基础知识(一)
人工智能·语言模型·自然语言处理