gpt-2模型训练后应用

一、生成的文件集:

根据上篇文章训练后的数据进行训练后,使用训练好的数据集:

二、代码样例实现:

复制代码
from transformers import GPT2Tokenizer, GPT2LMHeadModel


tokenizer = GPT2Tokenizer.from_pretrained('./gpt2-model')
model = GPT2LMHeadModel.from_pretrained('./gpt2-model')

tokenizer.save_pretrained('./results/tokenizer')
model.save_pretrained('./results/model')

# 加载训练好的模型和tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('./results/tokenizer')
model = GPT2LMHeadModel.from_pretrained('./results/model')

# 生成回答示例
question = "什么是高血压的最佳治疗方法?"
input_text = f"提问: {question}\n回答:"
input_ids = tokenizer.encode(input_text, return_tensors='pt')

output = model.generate(input_ids, max_length=100, top_k=50, top_p=0.95, temperature=0.7, do_sample=True)
answer = tokenizer.decode(output[0], skip_special_tokens=True).split("回答:")[1].strip()

print("问题:", question)
print("回答:", answer)
相关推荐
用户25191624271111 分钟前
Python之语言特点
python
刘立军33 分钟前
使用pyHugeGraph查询HugeGraph图数据
python·graphql
数据智能老司机4 小时前
精通 Python 设计模式——创建型设计模式
python·设计模式·架构
数据智能老司机5 小时前
精通 Python 设计模式——SOLID 原则
python·设计模式·架构
c8i6 小时前
django中的FBV 和 CBV
python·django
c8i6 小时前
python中的闭包和装饰器
python
这里有鱼汤10 小时前
小白必看:QMT里的miniQMT入门教程
后端·python
TF男孩20 小时前
ARQ:一款低成本的消息队列,实现每秒万级吞吐
后端·python·消息队列
该用户已不存在1 天前
Mojo vs Python vs Rust: 2025年搞AI,该学哪个?
后端·python·rust
量子位1 天前
GPT-5编程专用版发布!独立连续编程7小时,简单任务提速10倍,VS Code就能用
gpt·chatgpt