根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
CodeCraft Studio3 小时前
国产化Excel处理控件Spire.XLS教程:使用Java将CSV转换为PDF(含格式设置)
java·pdf·excel·spire.xls·文档格式转换·csv转pdf
雾江流3 小时前
WPS国际版18.22 | 集Word,PDF,Sheet,PowerPoint于一体的多功能免费办公套件
pdf·word·软件工程·wps
Jay_Franklin3 小时前
Python中使用sqlite3模块和panel完成SQLite数据库中PDF的写入和读取
数据库·笔记·python·pycharm·sqlite·pdf·py
机器之心5 小时前
全球第二、国内第一!最强文本的文心5.0 Preview一手实测来了
人工智能·openai
有蝉6 小时前
vue-office——支持多种文件(docx、excel、pdf)预览的vue组件库,支持vue2/3。也支持非Vue框架的预览。
vue.js·pdf·excel
机器之心6 小时前
突破LLM遗忘瓶颈,谷歌「嵌套学习」让AI像人脑一样持续进化
人工智能·openai
2501_920955571 天前
PDF文件损坏打不开怎么修复?2025年最新修复工具测评与对比
pdf
季春二九1 天前
PDF-XChange Editor丨加拿大PDF编辑转换工具
pdf
开开心心就好1 天前
微软官方出品:免费数据恢复工具推荐
网络·笔记·microsoft·pdf·word·音视频·symfony
Dontla1 天前
如何在PDF文档中打钩?(福昕阅读器)打√
pdf·福昕阅读器