简单方法胜过大语言模型?!单细胞扰动敲除方法的实验

生信碱移

线性模型大于深度学习?

人们对基础模型及其学习生物学的能力感到非常兴奋,但目前已有的模型可能被过分高估了!

先进的深度学习方法,如基于 transformer 的基础模型,被认为能够学习单细胞中的基因表征,这些表征可以用于预测未见实验的结果,例如预测基因扰动敲除对其它基因转录表达的影响。

▲ 一、基因扰动建模任务的概述: ① 背景 :我们有一个细胞的基因表达数据(绿色部分),它代表在正常情况下每个基因的活跃程度。如果对细胞进行一个或多个基因敲除扰动(红色部分,比如通过实验干预特定基因的活性),会导致一些基因表达水平发生变化(紫色部分),这种变化可能是增强、减弱或保持不变。② 目标:预测在某种基因扰动(红色)下,其它基因表达水平的变化(紫色)。

比较热门的scGPT和scFoundation,两个基于 transformer 架构的单细胞基础模型分别在超过3300万和5000万个单细胞上完成了训练,它们被设计用于细胞类型注释、基因网络推断及扰动预测等多种任务。在基因敲除扰动任务中,经典模型比如基于图神经网络的GEARS也被大部分人熟知。

二、 GEARS原理示意: 通过图神经网络(GNN) 预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用,并结合基因本体(GO)中的先验知识 构建图神经网络获得基因级别的嵌入,对基因扰动之间的相似性进行建模(图b)。随后,GEARS采用组合操作处理多基因扰动,使用跨基因解码器实现全转录组水平的预测。此外,其自动聚焦方向感知损失函数能够更关注显著差异表达的基因,并强化预测方向性的准确性。通过贝叶斯神经网络框架,GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。

▲ 三**、** **scGPT原理示意:**scGPT是一种基于Transformer架构的单细胞转录组预训练模型,其核心流程分为生成式预训练与下游任务微调两阶段。模型通过3300万正常人类单细胞数据(涵盖9大器官)进行预训练,利用分层注意力机制(交替使用全局与局部基因交互建模)学习细胞与基因的通用表征。其输入采用三层嵌入融合策略,整合基因标记、表达值和实验条件信息,并通过分层标准化与残差连接优化训练稳定性。DOI: 10.1038/s41592-024-02201-0。

为了评估这些深度学习模型的性能,来自海德堡大学的研究人员开发了两种极具对比性的基线预测模型,"无变化模型no-change" 与"加性模型-Additive":

简单来讲,"无变化模型"是一种最保守的预测,它假设任何基因扰动都不会改变细胞状态,即始终预测与未处理细胞全相同的基因表达。与之相对, "加性模型" 则采用传统的线性思维,认为组合扰动敲除两个基因的效果,就是单独扰动每个基因效果的简单相加随后减去基线(

他们的研究结果表明,目前的扰动预测工具表现不如简单的"加性"线性模型。

▲ 四**、比较结果** :在简单的基因敲除扰动预测中,最常规的线性模型的误差是最小的。DOI: 10.1101/2024.09.16.613342。

想当年SVM暴杀神经网络

目前模 型至还是有机会提升的

未来可期?

欢迎点评关注

相关推荐
Microvision维视智造18 分钟前
解析大尺寸液晶屏视觉检测,装配错位如何避免?
人工智能·计算机视觉·视觉检测
461K.25 分钟前
spark与hadoop的区别
大数据·运维·hadoop·分布式·spark·intellij-idea
Zfox_29 分钟前
Git 进阶之路:高效协作之分支管理
大数据·linux·运维·c++·git·elasticsearch
lilye6635 分钟前
精益数据分析(11/126):辨别虚荣指标,挖掘数据真价值
大数据·人工智能·数据分析
微学AI35 分钟前
详细介绍:MCP(大模型上下文协议)的架构与组件,以及MCP的开发实践
前端·人工智能·深度学习·架构·llm·mcp
wuqingshun31415941 分钟前
蓝桥杯 10.拉马车
数据结构·c++·算法·职场和发展·蓝桥杯·深度优先
豆包MarsCode1 小时前
玩转MCP | 一文看懂如何在 Trae IDE 中解锁 MCP
人工智能·mcp·trae
白鲸开源1 小时前
万字长文 | Apache SeaTunnel 分离集群模式部署 K8s 集群实践
大数据
我不是小upper1 小时前
详解机器学习各算法的优缺点!!
人工智能·算法·机器学习
小君1 小时前
New 版本Trea 对比 Cursor 选择你的下一代 AI 编程伙伴
前端·人工智能·trae