uv管理spaCy语言模型

本文记录如何在使用uv管理python项目dependencies时,把spaCy的模型也纳入其中.

spaCy

一、spaCy简介

spaCy是一个开源的自然语言处理(NLP)库,它主要用于处理文本数据。它支持多种语言,包括英语、中文等。它是由Explosion AI公司开发的,以简单易用和高性能著称。

二、主要功能

  1. 分词(Tokenization)
    • spaCy可以将文本分割成单词、标点符号等基本单元,这是文本处理的基础步骤。例如,对于句子"I love natural language processing.",它会将其分割为["I", "love", "natural", "language", "processing", "."]等token。
  2. 词性标注(Part - of - Speech Tagging)
    • 它能够识别文本中每个单词的词性。比如在句子"He quickly ran to the store."中,"He"是代词(PRON),"quickly"是副词(ADV),"ran"是动词(VERB),"to"是介词(ADP),"the"是冠词(DET),"store"是名词(NOUN)。
  3. 依存句法分析(Dependency Parsing)
    • spaCy可以分析句子的结构,确定单词之间的依存关系。例如在句子"The cat sat on the mat."中,它能确定"cat"是主语(nsubj),"sat"是谓语(ROOT),"on"是介词(prep),"mat"是宾语(pobj)等依存关系,这对于理解句子的语义结构很有帮助。
  4. 命名实体识别(Named Entity Recognition,NER)
    • 它能够识别文本中的命名实体,如人名、地名、组织名、日期等。比如在文本"Steve Jobs was the CEO of Apple Inc. in 2000."中,它能够识别出"Steve Jobs"是人名,"Apple Inc."是组织名,"2000"是日期。
  5. 文本分类(Text Classification)
    • spaCy支持对文本进行分类任务,例如情感分析(判断文本是正面情感、负面情感还是中性情感)或者主题分类(判断文本属于哪个主题类别,如体育、科技等)。
  6. 实体链接(Entity Linking)
    • 它可以将文本中识别的实体与知识库中的实体进行链接。例如,将文本中提到的"埃菲尔铁塔"链接到维基百科中对应的"埃菲尔铁塔"条目,这样可以更好地理解实体的详细信息。

问题描述

sapCy在使用的时候,需要下载目标语言的模型,如果以英文为例就是en_core_web_sm, 中文可以是zh_core_web_lg ,可以用如下脚本下载

bash 复制代码
# download en_core_web_sm
python -m spacy download en_core_web_sm

# download zh_core_web_lg
python -m spacy download zh_core_web_lg

问题出现在用uv进行依赖管理的场景下,因为这些下载的模型没有被加入到依赖列表中,每次重新进行uv sync 操作后,就会丢失这些依赖. 虽然这些模型实际上也是一个依赖包,但是不在官方的registry中,不能直接y用uv add这种方式进行安装.

解决方案

命令行参数

因为是uv sync时造成了模型删除,那么就是uv严格对照依赖列表中的各个依赖项进行处理,把不在其中的都移除了. 根据这个思路,可以用明亮行参数来改变这个行为

bash 复制代码
uv sync --inexact

这样操作即可. 但这个方案有缺点,因为不会自动下载model,在新的环境中执行spaCy相关任务会报错.

手动声明依赖

这个方案是笔者最终采纳的方案,把模型的下载路径手动写到依赖中,这样不仅可以不被删除,而且在新环境中还会自动下载

toml 复制代码
dependencies = [
    "en-core-web-sm @ https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.8.0/en_core_web_sm-3.8.0-py3-none-any.whl",
    "zh-core-web-lg @ https://github.com/explosion/spacy-models/releases/download/zh_core_web_lg-3.8.0/zh_core_web_lg-3.8.0-py3-none-any.whl"
]

注意修改为自己所需的版本即可.

相关推荐
心中有国也有家几秒前
CANN 算子开发完全指南——从 TBE DSL 到算子上线全流程
人工智能·经验分享·笔记·分布式·算法
Upsy-Daisy几秒前
OpenClaw 源码解析(三):仓库目录结构解析
人工智能
godspeed_lucip1 分钟前
LLM和Agent——专题3: Agentic Workflow 入门(2)
网络·人工智能·python
bloxed2 分钟前
【AI大模型--NumPy-05】统计分析实战指南
人工智能·numpy
Mr数据杨5 分钟前
【CanMV K210】传感器实验 烟雾传感器 AO/DO 双路检测与蜂鸣器报警
人工智能·硬件开发·canmv k210
码云骑士8 分钟前
Codex 安装与 VS Code 联动:打造 AI 编程新体验
人工智能
葡萄星球12 分钟前
OpenClaw通过多agent创建数字分身方法
人工智能·ai
水木流年追梦12 分钟前
大模型入门-DPO 直接偏好优化
人工智能·学习·算法·机器学习·正则表达式
寻道模式14 分钟前
【时间之外】私有化部署AI的3个优点和3个缺点
大数据·人工智能·ollama·私有化·genericagent
郑寿昌17 分钟前
2026脑机接口与大模型融合架构解析
大数据·人工智能·架构