简单方法胜过大语言模型?!单细胞扰动敲除方法的实验

生信碱移

线性模型大于深度学习?

人们对基础模型及其学习生物学的能力感到非常兴奋,但目前已有的模型可能被过分高估了!

先进的深度学习方法,如基于 transformer 的基础模型,被认为能够学习单细胞中的基因表征,这些表征可以用于预测未见实验的结果,例如预测基因扰动敲除对其它基因转录表达的影响。

▲ 一、基因扰动建模任务的概述: ① 背景 :我们有一个细胞的基因表达数据(绿色部分),它代表在正常情况下每个基因的活跃程度。如果对细胞进行一个或多个基因敲除扰动(红色部分,比如通过实验干预特定基因的活性),会导致一些基因表达水平发生变化(紫色部分),这种变化可能是增强、减弱或保持不变。② 目标:预测在某种基因扰动(红色)下,其它基因表达水平的变化(紫色)。

比较热门的scGPT和scFoundation,两个基于 transformer 架构的单细胞基础模型分别在超过3300万和5000万个单细胞上完成了训练,它们被设计用于细胞类型注释、基因网络推断及扰动预测等多种任务。在基因敲除扰动任务中,经典模型比如基于图神经网络的GEARS也被大部分人熟知。

二、 GEARS原理示意: 通过图神经网络(GNN) 预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用,并结合基因本体(GO)中的先验知识 构建图神经网络获得基因级别的嵌入,对基因扰动之间的相似性进行建模(图b)。随后,GEARS采用组合操作处理多基因扰动,使用跨基因解码器实现全转录组水平的预测。此外,其自动聚焦方向感知损失函数能够更关注显著差异表达的基因,并强化预测方向性的准确性。通过贝叶斯神经网络框架,GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。

▲ 三**、** **scGPT原理示意:**scGPT是一种基于Transformer架构的单细胞转录组预训练模型,其核心流程分为生成式预训练与下游任务微调两阶段。模型通过3300万正常人类单细胞数据(涵盖9大器官)进行预训练,利用分层注意力机制(交替使用全局与局部基因交互建模)学习细胞与基因的通用表征。其输入采用三层嵌入融合策略,整合基因标记、表达值和实验条件信息,并通过分层标准化与残差连接优化训练稳定性。DOI: 10.1038/s41592-024-02201-0。

为了评估这些深度学习模型的性能,来自海德堡大学的研究人员开发了两种极具对比性的基线预测模型,"无变化模型no-change" 与"加性模型-Additive":

简单来讲,"无变化模型"是一种最保守的预测,它假设任何基因扰动都不会改变细胞状态,即始终预测与未处理细胞全相同的基因表达。与之相对, "加性模型" 则采用传统的线性思维,认为组合扰动敲除两个基因的效果,就是单独扰动每个基因效果的简单相加随后减去基线(

他们的研究结果表明,目前的扰动预测工具表现不如简单的"加性"线性模型。

▲ 四**、比较结果** :在简单的基因敲除扰动预测中,最常规的线性模型的误差是最小的。DOI: 10.1101/2024.09.16.613342。

想当年SVM暴杀神经网络

目前模 型至还是有机会提升的

未来可期?

欢迎点评关注

相关推荐
烁3474 分钟前
每日一题(小白)动态规划篇2
算法·动态规划
SelectDB8 分钟前
拉卡拉 x Apache Doris:统一金融场景 OLAP 引擎,查询提速 15 倍,资源直降 52%
大数据·数据库·数据分析
南玖yy34 分钟前
数据结构C语言练习(栈)
c语言·数据结构·算法
神马行空42 分钟前
一文解读DeepSeek大模型在政府工作中具体的场景应用
人工智能·大模型·数字化转型·deepseek·政务应用
合合技术团队1 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
冷月半明1 小时前
《Pandas 性能优化:向量化操作 vs. Swifter 加速,谁才是大数据处理的救星?》
python·数据分析·pandas
阿镇吃橙子1 小时前
一些手写及业务场景处理问题汇总
前端·算法·面试
酱酱哥玩AI1 小时前
Trae编译器:实现多目标班翠鸟优化算法(IPKO)无人机路径规划仿真(Python版),完整代码
算法
蒹葭苍苍8731 小时前
LoRA、QLoRA微调与Lama Factory
人工智能·笔记
alicia23221 小时前
一文揭秘AI如何像庖丁解牛一样拆解复杂查询
数据分析