使用大语言模型的生物嵌入,后续应该会有很多类似文章出来!

生信碱移

语言模型嵌入

小编先前分享了使用ChatGPT基因嵌入做平替的顶刊文章GenePT,只需要在原本的领域工作上插入这类的GPT嵌入,就能够实现降维打击。

对于GenePT或者嵌入感兴趣的铁子,可以点击查看上面这篇推文。

今天冲浪的时候又看到一篇文章提出的工具Scouter ,做的是基因扰动建模 ,这个月才上架预印本。在顶刊架构GEARS 的基础上做了一些调整,任务损失仍然是自聚焦损失和方向感知损失,只不过使用ChatGPT生成的基因嵌入 替换了 GO注释的先验生物图模型架构。实现层面更加简单,但是概念更加领先,与GenePT的思路是类似的!

▲ 一、基因扰动建模任务的概述: ① 背景 :我们有一个细胞的基因表达数据(绿色部分),它代表在正常情况下每个基因的活跃程度。如果对细胞进行某种基因扰动(红色部分,比如通过实验干预特定基因的活性),会导致一些基因表达水平发生变化(紫色部分),这种变化可能是增强、减弱或保持不变。② 目标:预测在某种基因扰动(红色)下,其它基因表达水平的变化(紫色)。

二、 GEARS原理示意: 通过图神经网络(GNN) 预测基因扰动后的基因表达变化。其核心方法包括利用基因共表达图捕获基因间相互作用,并结合基因本体(GO)中的先验知识 构建图神经网络获得基因级别的嵌入,对基因扰动之间的相似性进行建模(图b)。随后,GEARS采用组合操作处理多基因扰动,使用跨基因解码器实现全转录组水平的预测。此外,其自动聚焦方向感知损失函数能够更关注显著差异表达的基因,并强化预测方向性的准确性。通过贝叶斯神经网络框架,GEARS还提供预测不确定性的估计。DOI: 10.1038/s41587-023-01905-6。

三、 Scouter原理示意 :其采用更简单的架构来预测基因扰动的转录反应。通过预训练大语言模型生成的基因文本嵌入 ,Scouter能够捕捉基因之间的语义关系,从而实现对未见基因扰动的有效外推。其模型包括一个编码器用于编码对照细胞状态,以及一个生成器预测转录反应,通过多次输出取平均值增强预测的鲁棒性。相比GEARS,Scouter架构简单,训练速度更快且实现更为便捷。此外,Scouter通过LLM生成的嵌入具备更好的可扩展性和泛化能力,在处理未知基因时表现优于依赖预定义图和扰动特定嵌入的GEARS。

还是那几句话

对于普通的研究者

抓好热点

好好利用LLM的嵌入功能

想想不同层面的嵌入

今天就分享到这里了

欢迎各位佬哥点击关注

相关推荐
加油吧zkf11 分钟前
水下目标检测:突破与创新
人工智能·计算机视觉·目标跟踪
加油吧zkf11 分钟前
AI大模型如何重塑软件开发流程?——结合目标检测的深度实践与代码示例
开发语言·图像处理·人工智能·python·yolo
峙峙峙24 分钟前
线性代数--AI数学基础复习
人工智能·线性代数
weiwuxian29 分钟前
揭开智能体的神秘面纱:原来你不是"超级AI"!
人工智能
Codebee30 分钟前
“自举开发“范式:OneCode如何用低代码重构自身工具链
java·人工智能·架构
说私域41 分钟前
基于开源AI智能名片链动2+1模式的S2B2C商城小程序:门店私域流量与视频号直播融合的生态创新研究
人工智能·小程序·开源
Ronin-Lotus44 分钟前
深度学习篇---Yolov系列
人工智能·深度学习
weixin_446122461 小时前
LinkedList剖析
算法
静心问道1 小时前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
aneasystone本尊1 小时前
学习 Claude Code 的工具使用(三)
人工智能