根据pdf文档生成问答并进行评估

目标是根据pdf文档生成问答,并进行评估。

首先,安装依赖

pip install PyPDF2 pandas tqdm openai -q

具体过程如下:

1、将pdf放在opeai_blog_pdfs目录下,引用依赖

2、上传pdf文件,创建向量库

3、单个提问的向量检索

4、单个提问的检索结果

5、生成问题列表,这里需要注意chunk的大小及重合。

6、单个文档生成问题的过程

7、把所有文档的问题存在字典中

8、把所有问题存储在rows列表中

9、问答评估实现

10、单个评估验证

11、迭代评估问答

相关推荐
得帆云低代码3 小时前
什么是AI网关?AI网关如何为企业私有化部署筑防
openai
Georgewu4 小时前
【AI大模型入门指南】机器学习入门详解
aigc·openai
俞乾6 小时前
Context Engineering(上下文工程)是 AI Agent 成功的关键吗?
openai·ai编程
哪吒编程10 小时前
写作、编程最强模型Claude Opus 4,碾压o3、Gemini 2.5 Pro,国内直接使用
openai·claude
新智元11 小时前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元11 小时前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
杰尼橙子11 小时前
深度解读Karpathy说的Software 3.0时代,感觉是个人的机会很大的时代呀
人工智能·openai
FogLetter11 小时前
智能前端之拍照识别单词(下):AI集成与交互优化
前端·aigc·openai
wh393313 小时前
使用Python将PDF转换成word、PPT
python·pdf·word
堆栈future1 天前
在Mac上10分钟玩转LoRA微调模型
llm·openai·agent