Doccano 修复 spacy.gold 的bug

引言

最初只是想把Doccano标注的数据集转换成BIO(类似conll2003数据集)的标注格式;

按照PR的修改意见实现了修改,但是本人不建议这么做;

应该随着Doccano的升级,Doccano的导出格式发生了变化,而原来的doccano-transformer还停留在2022年

建议参考这篇文章:Doccano的标注结果转换为BIO格式 若上述文章已经可解决问题,无需继续往下阅读。

摘要

可先阅读一下教程:【已解决】关于如何将Doccano标注的文本转换成NER模型可以直接处理的CoNLL 2003格式

装包:pip install doccano-transformer

报错信息

运行下述程序后,会报错

python 复制代码
from doccano_transformer.datasets import NERDataset
from doccano_transformer.utils import read_jsonl
 
dataset = read_jsonl(filepath='NER.jsonl', dataset=NERDataset, encoding='utf-8')
gen=dataset.to_conll2003(tokenizer=str.split)
 
file_name="CoNLL.txt"
 
with open(file_name, "w", encoding = "utf-8") as file:
    for item in gen:
        file.write(item["data"] + "\n")

报错信息如下:

python 复制代码
l In[18], line 1
----> 1 from doccano_transformer.datasets import NERDataset
      2 from doccano_transformer.utils import read_jsonl

File ~/anaconda3/envs/nlp/lib/python3.9/site-packages/doccano_transformer/datasets.py:5
      2 import json
      3 from typing import Any, Callable, Iterable, Iterator, List, Optional, TextIO
----> 5 from doccano_transformer.examples import Example, NERExample
      8 class Dataset:
      9     def __init__(
     10         self,
     11         filepath: str,
     12         encoding: Optional[str] = 'utf-8',
     13         transformation_func: Optional[Callable[[TextIO], Iterable[Any]]] = None
     14     ) -> None:

File ~/anaconda3/envs/nlp/lib/python3.9/site-packages/doccano_transformer/examples.py:4
      1 from collections import defaultdict
      2 from typing import Callable, Iterator, List, Optional
----> 4 from spacy.gold import biluo_tags_from_offsets
      6 from doccano_transformer import utils
      9 class Example:

ModuleNotFoundError: No module named 'spacy.gold'

修复bug

根据该GitHub doccano_transformer项目的github issuespr 给出的信息修复该bug:

要修改doccano_transformer/examples.py源码文件;

根据报错信息,确定example.py文件所在目录

python 复制代码
File ~/anaconda3/envs/nlp/lib/python3.9/site-packages/doccano_transformer/datasets.py:5

根据报错信息,知道笔者的examples.py路径如下:

(每人的所在文件夹不同,请自行修改)

python 复制代码
 ~/anaconda3/envs/nlp/lib/python3.9/site-packages/doccano_transformer/examples.py

按照图片所示内容进行修改即可:

  • 修改点 1

    原始代码:

    python 复制代码
    from spacy.gold import biluo_tags_from_offsets

    修改成:

    python 复制代码
    from spacy.training import offsets_to_biluo_tags
  • 修改点 2

    原始代码:

    python 复制代码
    tags = biluo_tags_from_offsets(tokens, label)

    修改成:

    python 复制代码
    tags = offsets_to_biluo_tags(tokens, label)

修改完上述代码,重新运行代码若继续报错,请参考【已解决】关于如何将Doccano标注的文本转换成NER模型可以直接处理的CoNLL 2003格式里面关于example.py的修改;

相关阅读

  • BIO序列提取实体(NER命名实体识别)
    该文把BIO标注的数据,转成下述格式:

    python 复制代码
    {'string': '我是李明,我爱中国,我来自呼和浩特', 'entities': [{'word': '中国', 'type': 'loc'}, {'word': '呼和浩特', 'type': 'loc'}]}

参考资料

  • 1\] github issues

相关推荐
石头wang21 小时前
onenote千年老bug,字体bug (calibri&微软雅黑) 的解决
microsoft·bug·onenote
林林要一直努力3 天前
AOSP Settings模块问题初窥
android·学习·bug·android studio
福大大架构师每日一题5 天前
redis 8.0.3版本更新详解:安全修复、新特性与关键bug修复全面解析
redis·安全·bug
杨小扩7 天前
特别放送:关于一个无法修复的系统级Bug
程序人生·bug
千帐灯无此声7 天前
Linux 测开:日志分析 + 定位 Bug
linux·c语言·c++·bug
紫璨月10 天前
rabbitMQ读取不到ThreadLocal消息的bug
rabbitmq·bug·java-rabbitmq
zzc92111 天前
Adobe Illustrator设置的颜色和显示的颜色不对应问题
adobe·bug·illustrator·错误·配色·透明度·底色
开-悟14 天前
嵌入式编程-使用AI查找BUG的启发
c语言·人工智能·嵌入式硬件·bug
一入JAVA毁终身14 天前
Data的时区格式BUG
bug
一入JAVA毁终身15 天前
处理Lombok的一个小BUG
java·开发语言·bug