根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
程序员老廖12 小时前
B站最强的GPT 5.5与Opus 4.7对比测试,重点评估GPT-5.5与Opus 4.7在性能、价格和响应速度等方面的差异
openai
山间小僧12 小时前
「AI学习笔记」万恶之源《Attention is all you need》
后端·openai·ai编程
cosinmz12 小时前
图片太多太乱怎么整理?分享一个我最近常用的图片转 PDF方法
经验分享·小程序·pdf
其实秋天的枫1 天前
2026年新高考英语大纲词汇表3500个电子版PDF(含正序版、乱序版和默写版)
经验分享·pdf
lijfrank1 天前
MacOS 下 VS Code + LaTeX + Skim 双向同步配置
vscode·macos·pdf·latex·mactex
程序员的记录1 天前
AI 实战 - 文档处理(pdf/work/md/txt...)
pdf
巴糖1 天前
AI大模型:语言模型训练范式-04近端策略优化(PPO)
openai
Muyuan19981 天前
22.让 RAG Agent 更像真实产品:聊天页面优化、PDF 上传、知识库重建与检索片段展示
python·django·pdf·fastapi
Luca_kill1 天前
GPT Image 2 深度评测:当 AI 图像生成跨越“图灵测试”,它如何重塑开发者工作流?
人工智能·深度学习·openai·ai图像生成·gpt image 2
打小就很皮...1 天前
html2canvas + jsPDF 生成 PDF 的踩坑与解决方案总结
前端·pdf