根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
VIP_CQCRE16 小时前
Coze 接入自定义模型更简单:用 Ace Data Cloud 打通 OpenAI Responses API
openai·api·ai agent·coze·acedatacloud
全栈弄潮儿19 小时前
周复盘:把 AI 当实习生,还是当工程搭档?
aigc·openai·ai编程
huaweichenai20 小时前
spring boot操作PDF
java·spring boot·pdf
开开心心就好1 天前
批量提取PDF中的图片,直接导出原图
前端·javascript·支持向量机·智能手机·pdf·html·启发式算法
全栈弄潮儿1 天前
我的代码审查 Prompt:从“能跑”到“可维护”
aigc·openai·ai编程
VIP_CQCRE2 天前
在 Visual Studio 里接入 Ace Data Cloud:让 AI 编程助手直接用上 OpenAI 兼容接口
openai·ai编程·开发工具·visual studio·acedatacloud
Ztiddler2 天前
Codex重新连接解决方法
chatgpt·openai·codex
VIP_CQCRE2 天前
在 Visual Studio 里接入 AI 编程助手:用 Ace Data Cloud 打通 OpenAI 兼容接口与 LMLocal
openai·ai编程·visual studio·acedatacloud·lmlocal
flash俊杰2 天前
一套代码接入所有大模型:OpenAI 兼容适配器设计
node.js·openai
泡海椒2 天前
PDF 表格样式优化:jquick-pdf 边框、圆角、背景色
java·开发语言·pdf