HUGGINGFACE NLP- MAIN NLP TASKS

1 Token classification

1.1 分类

1.1.1 实体命名识别 (NER): 找出句子中的实体(如人物、地点或组织)。这可以通过为每个实体或"无实体"指定一个类别的标签。

1.1.2 词性标注 (POS): 将句子中的每个单词标记为对应于特定的词性(如名词、动词、形容词等)。

1.1.3 分块(chunking): 找到属于同一实体的Token。这个任务(可结合POS或NER)可以任何将一块Token作为制定一个标签(通常是B -),另一个标签(通常I -)表示Token是否是同一块,和第三个标签(通常是O)表示Token不属于任何块。也就是标出句子中的短语块,例如名词短语(NP),动词短语(VP)等。

1.2 标签

1.2.1 不同tokenizer有不同分类标签

1.2.2 常见

O 表示这个词不对应任何实体。

B-PER/I-PER意味着这个词对应于人名实体的开头/内部。

B-ORG/I-ORG 的意思是这个词对应于组织名称实体的开头/内部。

B-LOC/I-LOC 指的是是这个词对应于地名实体的开头/内部。

B-MISC/I-MISC 表示该词对应于一个杂项实体的开头/内部。

1.3 处理数据

1.3.1 可以扩展我们的标签列表以匹配token

1.4 train

1.4.1 DataCollatorForTokenClassification. Like the DataCollatorWithPadding, it takes the tokenizer used to preprocess the inputs:

1.4.2 Metrics

To have the Trainer compute a metric every epoch,

1.5 reDefining the model

1.5.1

javascript 复制代码
id2label = {i: label for i, label in enumerate(label_names)}
label2id = {v: k for k, v in id2label.items()}


model = AutoModelForTokenClassification.from_pretrained(
    model_checkpoint,
    id2label=id2label,
    label2id=label2id,
)

1.6 Fine-tuning the model

1.6.1 TrainingArguments

1.6.2 A custom training loop

Preparing everything for training

2 微调掩码语言模型

2.1 在域内数据上微调预训练语言模型的过程通常称为 领域适应

2.2 选择用于掩码语言建模的预训练模型

相关推荐
吃饭睡觉发paper1 小时前
High precision single-photon object detection via deep neural networks,OE2024
人工智能·目标检测·计算机视觉
醉方休1 小时前
TensorFlow.js高级功能
javascript·人工智能·tensorflow
云宏信息1 小时前
赛迪顾问《2025中国虚拟化市场研究报告》解读丨虚拟化市场迈向“多元算力架构”,国产化与AI驱动成关键变量
网络·人工智能·ai·容器·性能优化·架构·云计算
红苕稀饭6661 小时前
VideoChat-Flash论文阅读
人工智能·深度学习·机器学习
周杰伦_Jay1 小时前
【图文详解】强化学习核心框架、数学基础、分类、应用场景
人工智能·科技·算法·机器学习·计算机视觉·分类·数据挖掘
黄啊码2 小时前
Coze新品实测:当AI开始像产品经理思考,我和程序员吵架的次数少了
人工智能·agent·coze
jie*2 小时前
小杰机器学习(six)——概率论——1.均匀分布2.正态分布3.数学期望4.方差5.标准差6.多维随机变量及其分布
人工智能·机器学习·概率论
挽安学长2 小时前
通过 gaccode在国内使用ClaudeCode,Windows、Mac 用户配置指南!
人工智能
唐某人丶2 小时前
教你如何用 JS 实现 Agent 系统(3)—— 借鉴 Cursor 的设计模式实现深度搜索
前端·人工智能·aigc
weixin_457340212 小时前
RTX5060 Ti显卡安装cuda版本PyTorch踩坑记录
人工智能·pytorch·python