根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
jayson.h3 小时前
python——pdf编辑
前端·python·pdf
MaiTube&Maipdf3 小时前
MaiPDF 在线分享
pdf
Metaphor6924 小时前
使用 Python 快速拆分 PDF 文件
python·pdf
老纪的技术唠嗑局5 小时前
深度“解剖”AI Agent 可观测性
openai
全栈弄潮儿6 小时前
真实案例:用 AI 快速定位一次代码问题
aigc·openai·ai编程
9i编程6 小时前
6. 对SKILL进行一次全新尝试,改为框架+细节方式的实践及验证:admin-web联调与bug修复
人工智能·openai·ai编程
Lambert2816 小时前
同一个 Agent,用 Spring AI 2.0 和 AgentScope Java 各实现一遍:差的不止代码量
openai·ai编程
杨杨杨大侠6 小时前
现在的大模型怎么分类:别把 MoE、推理模型和多模态混在一起
aigc·openai·ai编程
MaiTube&Maipdf9 小时前
.maipdf 文件 + 系统级拒绝截屏 + 交付后仍可吊销
安全·pdf
web打印社区17 小时前
网页静默打印热敏小票:从 HTML 到出纸的完整指南
前端·javascript·vue.js·electron·pdf·html