gpt-2模型训练后应用

一、生成的文件集:

根据上篇文章训练后的数据进行训练后,使用训练好的数据集:

二、代码样例实现:

复制代码
from transformers import GPT2Tokenizer, GPT2LMHeadModel


tokenizer = GPT2Tokenizer.from_pretrained('./gpt2-model')
model = GPT2LMHeadModel.from_pretrained('./gpt2-model')

tokenizer.save_pretrained('./results/tokenizer')
model.save_pretrained('./results/model')

# 加载训练好的模型和tokenizer
tokenizer = GPT2Tokenizer.from_pretrained('./results/tokenizer')
model = GPT2LMHeadModel.from_pretrained('./results/model')

# 生成回答示例
question = "什么是高血压的最佳治疗方法?"
input_text = f"提问: {question}\n回答:"
input_ids = tokenizer.encode(input_text, return_tensors='pt')

output = model.generate(input_ids, max_length=100, top_k=50, top_p=0.95, temperature=0.7, do_sample=True)
answer = tokenizer.decode(output[0], skip_special_tokens=True).split("回答:")[1].strip()

print("问题:", question)
print("回答:", answer)
相关推荐
ahead~38 分钟前
【大模型入门】访问GPT_API实战案例
人工智能·python·gpt·大语言模型llm
大模型真好玩1 小时前
准确率飙升!GraphRAG如何利用知识图谱提升RAG答案质量(额外篇)——大规模文本数据下GraphRAG实战
人工智能·python·mcp
19891 小时前
【零基础学AI】第30讲:生成对抗网络(GAN)实战 - 手写数字生成
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·近邻算法
applebomb2 小时前
没合适的组合wheel包,就自行编译flash_attn吧
python·ubuntu·attention·flash
Chasing__Dreams2 小时前
python--杂识--18.1--pandas数据插入sqlite并进行查询
python·sqlite·pandas
彭泽布衣3 小时前
python2.7/lib-dynload/_ssl.so: undefined symbol: sk_pop_free
python·sk_pop_free
喜欢吃豆3 小时前
从零构建MCP服务器:FastMCP实战指南
运维·服务器·人工智能·python·大模型·mcp
一个处女座的测试4 小时前
Python语言+pytest框架+allure报告+log日志+yaml文件+mysql断言实现接口自动化框架
python·mysql·pytest
nananaij4 小时前
【Python基础入门 re模块实现正则表达式操作】
开发语言·python·正则表达式
蛋仔聊测试4 小时前
Playwright 网络流量监控与修改指南
python