对于将2M大小的PDF文档上传到LangChain-ChatGLM知识图谱中,大致需要的时间如下:
-
PDF到文本的提取转换:若PDF内容主要为文本,此步骤约需要1-2分钟。
-
提取的文本经过预处理与分析:此步骤需要对文本进行分词、命名实体识别等处理,约需要2-5分钟。
-
抽取文本中的结构化知识(实体、关系等)保存在图数据库中:对于2M文字,此步骤约需要5-10分钟。
-
知识图与模型串联,使模型能利用新知识进行响应:这一步通常无需手动操作,模型在后台学习新知识,大约需要10-30分钟。
所以对一个普通2M PDF文档来说,整个上传并使LangChain-ChatGLM模型学习 吸收新知识的过程,大致需要10-30分钟。
需要注意的时:
- 文本复杂程度影响预处理时间
- 服务器性能会影响各个步骤的执行时间
- 更大文档需要相对更长时间完成解析和学习
- 模型学习新知识是异步进行的,只是大致时间
总体而言,对一个2M PDF来说,LangChain-ChatGLM可以在半小时内完成知识吸收,这与实际应用需求相匹配。更大文件相应需要更长时间。