使用大语言模型的生物嵌入,后续应该会有很多类似文章出来!

生信碱移

语言模型嵌入

小编先前分享了使用ChatGPT基因嵌入做平替的顶刊文章GenePT,只需要在原本的领域工作上插入这类的GPT嵌入,就能够实现降维打击。

对于GenePT或者嵌入感兴趣的铁子,可以点击查看上面这篇推文。

今天冲浪的时候又看到一篇文章提出的工具Scouter ,做的是基因扰动建模 ,这个月才上架预印本。在顶刊架构GEARS 的基础上做了一些调整,任务损失仍然是自聚焦损失和方向感知损失,只不过使用ChatGPT生成的基因嵌入 替换了 GO注释的先验生物图模型架构。实现层面更加简单,但是概念更加领先,与GenePT的思路是类似的!

▲ 一、基因扰动建模任务的概述: ① 背景 :我们有一个细胞的基因表达数据(绿色部分),它代表在正常情况下每个基因的活跃程度。如果对细胞进行某种基因扰动(红色部分,比如通过实验干预特定基因的活性),会导致一些基因表达水平发生变化(紫色部分),这种变化可能是增强、减弱或保持不变。② 目标:预测在某种基因扰动(红色)下,其它基因表达水平的变化(紫色)。

二、 GEARS原理示意: 通过图神经网络(GNN) 预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用,并结合基因本体(GO)中的先验知识 构建图神经网络获得基因级别的嵌入,对基因扰动之间的相似性进行建模(图b)。随后,GEARS采用组合操作处理多基因扰动,使用跨基因解码器实现全转录组水平的预测。此外,其自动聚焦方向感知损失函数能够更关注显著差异表达的基因,并强化预测方向性的准确性。通过贝叶斯神经网络框架,GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。

三、 Scouter原理示意 :其采用更简单的架构来预测基因扰动的转录反应。通过预训练大语言模型生成的基因文本嵌入 ,Scouter能够捕捉基因之间的语义关系,从而实现对未见基因扰动的有效外推。其模型包括一个编码器用于编码对照细胞状态,以及一个生成器预测转录反应,通过多次输出取平均值增强预测的鲁棒性。相比GEARS,Scouter架构简单,训练速度更快且实现更为便捷。此外,Scouter通过LLM生成的嵌入具备更好的可扩展性和泛化能力,在处理未知基因时表现优于依赖预定义图和扰动特定嵌入的GEARS。

还是那几句话

对于普通的研究者

抓好热点

好好利用LLM的嵌入功能

想想不同层面的嵌入

今天就分享到这里了

欢迎各位佬哥点击关注

相关推荐
burg_xun1 分钟前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能
Wo3Shi4七3 分钟前
哈希冲突
数据结构·算法·go
呆呆的小鳄鱼18 分钟前
cin,cin.get()等异同点[面试题系列]
java·算法·面试
酌沧31 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
Touper.32 分钟前
JavaSE -- 泛型详细介绍
java·开发语言·算法
sun00770035 分钟前
std::forward作用
开发语言·c++·算法
狂师36 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵38 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043140 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元44 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai