根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
新智元9 分钟前
MIT 惊人神作:AI 独立提出哈密顿物理!0 先验知识,一天破译人类百年理论
人工智能·openai
新智元34 分钟前
支付宝被 AI 调用,一句话运营小红书!国内最大 MCP 社区来了,开发者狂欢
人工智能·openai
Q186000000004 小时前
如何把pdf的内容转化成结构化数据进行存储到mysql数据库
数据库·python·mysql·pdf
小奏技术5 小时前
Cursor AI写码一月20美刀太贵?试试这套免费替代方案
aigc·openai·trae
LucianaiB5 小时前
强大的AI网站推荐(第五集)—— Suno
后端·openai
天天扭码6 小时前
不需要编写代码——借助Cursor零基础爬取微博热榜(含Cursor伪免费使用教程)
前端·openai·cursor
CodeCraft Studio7 小时前
PDF处理控件Aspose.PDF指南:使用 C# 从 PDF 文档中删除页面
前端·pdf·c#
全栈小58 小时前
【C#】Html转Pdf,Spire和iTextSharp结合,.net framework 4.8
pdf·c#·html
西贝爱学习17 小时前
考研408参考用书:计算机组成原理(唐朔飞)介绍,附pdf
考研·pdf