HUGGINGFACE NLP- MAIN NLP TASKS

1 Token classification

1.1 分类

1.1.1 实体命名识别 (NER): 找出句子中的实体(如人物、地点或组织)。这可以通过为每个实体或"无实体"指定一个类别的标签。

1.1.2 词性标注 (POS): 将句子中的每个单词标记为对应于特定的词性(如名词、动词、形容词等)。

1.1.3 分块(chunking): 找到属于同一实体的Token。这个任务(可结合POS或NER)可以任何将一块Token作为制定一个标签(通常是B -),另一个标签(通常I -)表示Token是否是同一块,和第三个标签(通常是O)表示Token不属于任何块。也就是标出句子中的短语块,例如名词短语(NP),动词短语(VP)等。

1.2 标签

1.2.1 不同tokenizer有不同分类标签

1.2.2 常见

O 表示这个词不对应任何实体。

B-PER/I-PER意味着这个词对应于人名实体的开头/内部。

B-ORG/I-ORG 的意思是这个词对应于组织名称实体的开头/内部。

B-LOC/I-LOC 指的是是这个词对应于地名实体的开头/内部。

B-MISC/I-MISC 表示该词对应于一个杂项实体的开头/内部。

1.3 处理数据

1.3.1 可以扩展我们的标签列表以匹配token

1.4 train

1.4.1 DataCollatorForTokenClassification. Like the DataCollatorWithPadding, it takes the tokenizer used to preprocess the inputs:

1.4.2 Metrics

To have the Trainer compute a metric every epoch,

1.5 reDefining the model

1.5.1

javascript 复制代码
id2label = {i: label for i, label in enumerate(label_names)}
label2id = {v: k for k, v in id2label.items()}


model = AutoModelForTokenClassification.from_pretrained(
    model_checkpoint,
    id2label=id2label,
    label2id=label2id,
)

1.6 Fine-tuning the model

1.6.1 TrainingArguments

1.6.2 A custom training loop

Preparing everything for training

2 微调掩码语言模型

2.1 在域内数据上微调预训练语言模型的过程通常称为 领域适应

2.2 选择用于掩码语言建模的预训练模型

相关推荐
文心快码 Baidu Comate1 分钟前
AI界的“超能力”MCP,到底是个啥?
人工智能·程序员·ai编程·文心快码·comate zulu
石氏是时试2 分钟前
拉格朗日多项式
人工智能·算法·机器学习
大模型真好玩14 分钟前
大模型工程面试经典(五)—大模型专业领域微调数据集如何构建?
人工智能·python·面试
码界奇点20 分钟前
豆包新模型矩阵与PromptPilot构建企业级AI开发的体系化解决方案
人工智能·线性代数·ai·语言模型·矩阵·硬件工程
YangYang9YangYan25 分钟前
2025年跨领域管理能力提升认证路径分析
大数据·人工智能
那雨倾城38 分钟前
PiscCode轨迹跟踪Mediapipe + OpenCV进阶:速度估算
图像处理·人工智能·python·opencv·计算机视觉
兮希yxx1 小时前
conda配置pytorch虚拟环境
人工智能·pytorch·conda
zhongtianhulian1 小时前
中天互联:AI 重塑制造,解锁智能生产新效能
人工智能·制造
renhongxia11 小时前
大模型赋能电子制造全生命周期质量管理的应用及实践
人工智能
Edward.W1 小时前
如何制造一个AI Agent:从“人工智障”到“人工智能”的奇幻漂流
人工智能·制造