LangChain框架下DirectoryLoader使用报错zipfile.BadZipFile

环境:

conda create -n rag_new python=3.10 -y

conda activate rag_new

pip install langchain

pip install langchain-community

pip install langchain-core

pip install unstructured

pip install "unstructuredmd"

pip install "unstructuredimage"

pip install "unstructuredppt"

pip install pytesseract # ocr识别文字

pip install python-magic-bin #识别文件的类型

pip install chardet # 字符集编码

运行代码:

from langchain_community.document_loaders import DirectoryLoader, TextLoader

loader = DirectoryLoader("./数据",

silent_errors=True,

loader_kwargs={'autodetect_encoding': True})

docs = loader.load()

print(len(docs))

报错

解决方案:

1.执行下面代码,查找nltk路径

|--------------------------------------------------|
| import nltk # 查看路径 print(nltk.data.find('')) |

输出结果:

C:\Users\17662\AppData\Roaming\nltk_data

  1. 将D:\人工智能2024\大模型应用开发 RAG实战课\所需软件\ nltk_data.zip的内容解压到上述C:\Users\17662\AppData\Roaming\nltk_data里
  2. 将D:\人工智能2024\大模型应用开发 RAG实战课\所需软件\punkt.zip和punkt_tab.zip两个复制到C:\Users\17662\AppData\Roaming\nltk_data\tokenizers目录里,并解压

如下所示

相关推荐
云浪2 分钟前
Milvus + RAG 实战:《红楼梦》问答助手
前端·人工智能·后端
空堂与归3 分钟前
机器学习如何入门?AI/ML/DL概念与建模流程全景
人工智能·机器学习
花花鱼6 分钟前
TinyML Agent:MCU 上的微型智能体,AI 智能体下沉的底层实现
人工智能·单片机·嵌入式硬件
tech讯息9 分钟前
商业化内容生产适用企业级视频生成模型云平台推荐|从模型生成至审核分发全链路 AWS 选型方案
人工智能·音视频·aws
独码侠11 分钟前
FunASR 语音识别本地部署实录(下):34 分钟录音实测,踩过的坑、上线前要补的事
人工智能·语音识别
没落之王14 分钟前
易学使者郑氏正脉郑冰推演马航事件
大数据·人工智能·算法·机器学习·可用性测试
wy_hhxx15 分钟前
AI Agent & Harness Engineering 笔记
人工智能·笔记
yuhulkjv33515 分钟前
Grok鸿蒙版导出word格式的终极解法:AI导出鸭如何重构AI内容到文档的最后一公里
人工智能·ai·word·harmonyos·ai导出鸭
ONEYAC唯样18 分钟前
2026年中国电子元器件进出口全景分析:AI时代下的供应链重构与产业机会
人工智能
aneasystone本尊20 分钟前
学习 Headroom 的输出 token 优化
人工智能