根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
吴佳浩14 小时前
炸裂!!!给 codeX 装上本地大脑:cc-switch_Ollama 接入全记录
人工智能·rust·openai
【这个世界会好的】17 小时前
单层PDF转双层PDF工具
pdf
AINative软件工程20 小时前
AI Agent 跑 24 小时后,我补上的 6 个运维护栏
openai
武子康1 天前
调查研究-169 开源 TTS 模型横向对比:从“能发声“到“可部署的语音智能基础设施“(2026 版)
人工智能·openai
2501_907136821 天前
批量改发票pdf名称为金额+发票号码+销售方,方便金额核对
pdf
li星野1 天前
从 PDF 到 FAISS 向量索引:构建本地 RAG 数据预处理流水线
pdf·faiss
selfboot01 天前
已知 PDF 密码,如何免费去掉密码保护并保存无密码副本
pdf
Pearson1 天前
特大pdf文件在线预览技术方案
javascript·nginx·pdf
zyplayer-doc1 天前
知识库官方CLI工具已发布并开源,以及重写思维导图编辑器,提供更完整的编辑能力,zyplayer-doc 2.6.6 发布啦!
人工智能·安全·pdf·编辑器·创业创新
庖丁AI1 天前
PDF转Markdown工具怎么选?AI知识库和RAG场景要注意什么
人工智能·pdf·格式转换