根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
安思派Anspire5 小时前
测试18种RAG技术,找出最优方案(四)
aigc·openai·agent
代码AI弗森7 小时前
PDF OCR + 大模型:让文档理解不止停留在识字
pdf·ocr
小周同学:1 天前
在 Vue2 中使用 pdf.js + pdf-lib 实现 PDF 预览、手写签名、文字批注与高保真导出
开发语言·前端·javascript·vue.js·pdf
Kyln.Wu1 天前
【python实用小脚本-187】Python一键批量改PDF文字:拖进来秒出新文件——再也不用Acrobat来回导
python·pdf·c#
机器之心2 天前
一句话搞定多任务出行,高德用空间智能重新定义地图
人工智能·openai
NocoBase2 天前
GitHub 上 Star 数量前 18 的开源 AI Agent 项目
人工智能·开源·openai
机器之心2 天前
扎克伯格看OpenAI直播挖人,北大校友孙之清加入Meta
人工智能·openai
安思派Anspire2 天前
测试18种RAG技术,找出最优方案(三)
aigc·openai·agent
迪尔~3 天前
Apache POI中通过WorkBook写入图片后出现导出PDF文件时在不同页重复写入该图片问题,如何在通过sheet获取绘图对象清除该图片
java·pdf·excel
忆~遂愿3 天前
Python实战教程:PDF文档自动化编辑与图表绘制全攻略
python·pdf·自动化