技术栈
train
若石之上
2 年前
人工智能
·
llm
·
transformer
·
train
·
tokenizer
大模型：如何利用旧的tokenizer训练出一个新的来？
背景：我们在用chatGPT或者SD的时候，发现如果使用英语写提示词得到的结果比我们使用中文得到的结果要好很多，为什么呢？这其中就有一个叫做tokenizer的东西在作怪。
若石之上
2 年前
人工智能
·
pytorch
·
自然语言处理
·
transformer
·
train
在PyTorch里面利用transformers的Trainer微调预训练大模型
transformers提供了非常便捷的api来进行大模型的微调，下面就讲一讲利用Trainer来微调大模型的步骤
SpikeKing
2 年前
openfold
·
蛋白质结构预测
·
multimer
·
train
PSP - 蛋白质结构预测 OpenFold Multimer 重构训练模型的数据加载
欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/132602155