gpt-2模型训练后应用

一、生成的文件集:

根据上篇文章训练后的数据进行训练后,使用训练好的数据集:

二、代码样例实现:

复制代码
from transformers import GPT2Tokenizer, GPT2LMHeadModel


tokenizer = GPT2Tokenizer.from_pretrained('./gpt2-model')
model = GPT2LMHeadModel.from_pretrained('./gpt2-model')

tokenizer.save_pretrained('./results/tokenizer')
model.save_pretrained('./results/model')

# 加载训练好的模型和tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('./results/tokenizer')
model = GPT2LMHeadModel.from_pretrained('./results/model')

# 生成回答示例
question = "什么是高血压的最佳治疗方法?"
input_text = f"提问: {question}\n回答:"
input_ids = tokenizer.encode(input_text, return_tensors='pt')

output = model.generate(input_ids, max_length=100, top_k=50, top_p=0.95, temperature=0.7, do_sample=True)
answer = tokenizer.decode(output[0], skip_special_tokens=True).split("回答:")[1].strip()

print("问题:", question)
print("回答:", answer)
相关推荐
2301_767113981 小时前
GPT-6.2 Astra 和 Sol 发布:真正变化的是长任务成本与交付方式
gpt
岁月宁静3 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者3 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
starzy19906 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
wuyk5556 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
zdr尽职尽责10 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
kyle~12 小时前
FastAPI --- 将业务能力以 API 的形式提供给外部系统
python·fastapi·前后端
aiotto资源分享13 小时前
Python 写 JSON 文件,程序中途退出会留下什么?
java·python·json·jsondecodeerror
梯度下降者14 小时前
Python信号量,条件变量,事件学习
python·条件变量·事件·信号量·线程通信
MSTcheng.14 小时前
【AI应用实战】用 FastAPI + SSE 做一个自己的 AI 聊天网页:流式输出、多轮对话与完整源码
人工智能·python·大模型·fastapi·sse·ai聊天助手