根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
javaTodo5 小时前
OpenCode 完全指南:从 0 到 100K Star 的开源 AI 编码 Agent
openai·claude·cursor
树獭叔叔6 小时前
10-让模型更小更聪明,学而不忘:知识蒸馏与持续学习
后端·aigc·openai
狼爷8 小时前
AI时代顶级思维:你的提问方式,早已暴露你的认知层级
aigc·openai
cg338 小时前
cc-connect,十分钟帮你把 claude code 连接到微信,飞书,钉钉等等平台
后端·openai
树獭叔叔13 小时前
08-大模型后训练的指令微调SFT:LoRA让大模型微调成本降低99%
后端·aigc·openai
王小酱1 天前
Claude Code 创始人 Boris 揭秘:团队 10 倍效率技巧
openai·ai编程·aiops
王小酱1 天前
结合OpenSpec 与 Everything-Claude-Code (ECC) 的构建团队工作流程
openai·ai编程·aiops
王小酱1 天前
AI 编程实战指南:核心概念梳理与 Claude Code 高效技巧
aigc·openai·ai编程
Mr_凌宇1 天前
个人向:本机MAC部署OpenClaw过程记录
openai·ai编程
吴佳浩2 天前
OpenClaw Windows 完整安装与本地模型配置教程(实战版)
llm·openai