rag-给一篇几百页的pdf,如何从中找到关键信息并汇总出关系图

小思考

  1. 对pdf肯定要做模糊chunk,能用模型切分就用模型切分,不能用模型就用规则,规则要尽可能保存连续文本,特殊数据格式(图、表格)必须完整保存,必须能被捕捉到。这些独立的表格or图数据,也要单独做embedding,以其中的title和行列title信息作embedding材料。也不能忘了传统搜索方法,基于搜索的、基于传统词频的、基于关键字的。。。
  2. 假设已经找到了信息所在的目标,如果它是个表格,怎么提取信息呢?首先,不能武断地直接让模型总结出最终关系图,缺少推理的LLM性能很差,所以需要先提取出目标信息中存在的所有与问题相关的单条信息,实现表格+文字->文字的转换,然后总结该文字,做成可解析的图表达,例如以三元组方式重写文字。最后,获得一个粗糙的关系图。
  3. 关系图并非完全可用,其中可能涉及实体消歧和同义路径合并的任务,所以还要作后处理。
相关推荐
coding随想8 分钟前
欢迎来到未来:探索 Dify 开源大语言模型应用开发平台
人工智能·语言模型·自然语言处理
豆芽81928 分钟前
深度学习核心算法
人工智能·python·深度学习·神经网络·机器学习·计算机视觉·卷积神经网络
玩电脑的辣条哥1 小时前
简单描述一下,大型语言模型简史
人工智能·语言模型·自然语言处理
遇健李的幸运2 小时前
智能Agent如何改造传统工作流:从搜索到全能助手
人工智能
pzx_0012 小时前
【深度学习】训练集、测试集、验证集、过拟合、欠拟合详解
人工智能·深度学习·神经网络
果冻人工智能2 小时前
为什么欧洲的 AI 未来不在汽车,而在芯片上
人工智能
啥都鼓捣的小yao2 小时前
实战3. 利用Pytorch预写好ResNet-18预测电视剧《辛普森一家》中的人物——图像分类
人工智能·pytorch·python·深度学习·分类
Chaos_Wang_2 小时前
NLP高频面试题(八)——GPT三个版本的区别
人工智能·gpt·自然语言处理
张琪杭2 小时前
机器学习-基于KNN算法手动实现kd树
人工智能·算法·机器学习