根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
东小西9 小时前
第3篇:《AI的JSON强迫症:我让大模型只回答能解析的格式》
openai·ai编程
东小西11 小时前
第2篇:《Prompt不是玄学:我把提示词放到了配置文件里》
openai·ai编程
东小西13 小时前
第1篇:《Java老鸟的第一行AI代码:我让Spring AI帮我写了首诗》
openai·ai编程
Ai拆代码的曹操17 小时前
源码拆解:opencode 如何封装 Git 实现自动 diff 和 review
openai·ai编程
Ai拆代码的曹操17 小时前
opencode 源码:工作单元的生命周期管理
openai·ai编程
小四的小六17 小时前
WebView 在 AI 时代的三个被低估的价值——从自己的 AI 产品里找到的答案
前端·openai·ai编程
卡卡罗特AI18 小时前
OpenAI模型,自主入侵顶级AI公司系统!后背发凉!
aigc·openai
李剑一18 小时前
瑞幸也AI上了?我用AI命令行帮我点了一杯咖啡,但是我花了不止一杯咖啡钱
aigc·openai·ai编程
asdzx6719 小时前
Python PDF 拆分实战指南:单页拆分与按需页码范围拆分
开发语言·python·pdf
wangruofeng1 天前
opencodex 解锁 Codex 任意模型,一个本地代理打通 Claude/Kimi/GLM/DeepSeek
llm·github·openai