基于MindFormers实现GPT2模型的推理

前言

针对MindFormers的安装，可参考本专栏里的另一篇博客

安装MindFormers（昇腾910）-CSDN博客

pipeline方式

from mindformers import pipeline
from mindformers import GPT2LMHeadModel, GPT2Config, GPT2Tokenizer
tok = GPT2Tokenizer.from_pretrained("gpt2")
gpt_model = GPT2LMHeadModel.from_pretrained("gpt2")
prompt="I love Shanghai"
text_generation = pipeline(task='text_generation', model=gpt_model, tokenizer=tok, max_length=50)
outputs=text_generation(prompt, top_k=3)
print(outputs)

持续更新中...