小分子的语言模型MolT5的使用

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

这是MolT5的安装和embedding获取(gpu版)。

零、安装

c 复制代码
conda activate base
conda install -c conda-forge mamba -y

conda create -n molt5 python=3.9 -y
conda activate molt5

mamba install pytorch pytorch-cuda=11.8 -c pytorch -c nvidia -y
pip install sentencepiece accelerate
mamba install -c conda-forge rdkit -y
pip install "transformers==4.38.2"

# 需要离线的,去下载https://huggingface.co/laituan245/molt5-base,作为./molt5-base

一、使用步骤

1.引入库

c 复制代码
import torch
from transformers import T5Tokenizer, T5EncoderModel

2.获取embedding

c 复制代码
device = "cuda" if torch.cuda.is_available() else "cpu"

tokenizer = T5Tokenizer.from_pretrained("./molt5-base")
model = T5EncoderModel.from_pretrained("./molt5-base").to(device)
model.eval()

def get_molt5_embedding(
    smiles: str,
    pooling: str = "mean"   # "mean" | "cls"
):
    """
    Returns a 1D torch tensor embedding for a SMILES string.
    """
    inputs = tokenizer(
        smiles,
        return_tensors="pt",
        padding=False,
        truncation=True,
        max_length=512
    ).to(device)

    with torch.no_grad():
        outputs = model(**inputs)  # last_hidden_state: [1, L, D]

    hidden = outputs.last_hidden_state.squeeze(0)  # [L, D]

    if pooling == "mean":
        emb = hidden.mean(dim=0)   # [D]
    elif pooling == "cls":
        emb = hidden[0]            # T5 没有真 CLS,只是第一个 token
    else:
        raise ValueError("pooling must be 'mean' or 'cls'")

    return emb.cpu()

smiles = "CCOC(=O)C1=CC=CC=C1"  # unmapped canonical SMILES
emb = get_molt5_embedding(smiles)

print(emb.shape)

输出:torch.Size(768)


总结

MolT5是小分子预训练好的语言模型,它能获得小分子768维的embedding,进行后续建模和操作。

相关推荐
吴佳浩5 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_099 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区10 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔10 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区10 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12311 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI11 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健11 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV11 小时前
Google 重返第一梯队
人工智能·google·aigc