gpt-2模型训练后应用

一、生成的文件集:

根据上篇文章训练后的数据进行训练后,使用训练好的数据集:

二、代码样例实现:

复制代码
from transformers import GPT2Tokenizer, GPT2LMHeadModel


tokenizer = GPT2Tokenizer.from_pretrained('./gpt2-model')
model = GPT2LMHeadModel.from_pretrained('./gpt2-model')

tokenizer.save_pretrained('./results/tokenizer')
model.save_pretrained('./results/model')

# 加载训练好的模型和tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('./results/tokenizer')
model = GPT2LMHeadModel.from_pretrained('./results/model')

# 生成回答示例
question = "什么是高血压的最佳治疗方法?"
input_text = f"提问: {question}\n回答:"
input_ids = tokenizer.encode(input_text, return_tensors='pt')

output = model.generate(input_ids, max_length=100, top_k=50, top_p=0.95, temperature=0.7, do_sample=True)
answer = tokenizer.decode(output[0], skip_special_tokens=True).split("回答:")[1].strip()

print("问题:", question)
print("回答:", answer)
相关推荐
Thanks_ks8 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真8 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook9 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
承渊政道11 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
大胖爱学习_MJ11 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python
tryCbest12 小时前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python
无小道12 小时前
Python语句的特色
python·语句
2601_9679801113 小时前
python pytest如何编写测试
python·测试用例·pytest·函数·assert
2601_9679801114 小时前
Python中heapq模块的各种用法实例
数据结构·python·算法·应用实例·heapq模块
大胖爱学习_MJ14 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python