自然语言处理 (Natural Language Processing)：
NLP四大基本任务
序列标注： 分词、词性标注
分类任务： 文本分类、情感分析
句子关系：问答系统、对话系统
生成任务：机器翻译、文章摘要
机器阅读理解的定义
Machine Reading Comprehension(MRC)机器阅读理解任务
QA问题的一个子集，含有contexts
通过交互从书面文字中提取与构造文章语义的过程
机器阅读理解场景
搜索引擎
机器回答&智能客服
垂直：医疗、法律、金融、教育等领域
MRC四大任务
完形填空
原文中除去若干关键词，需要模型填入正确的单词或者短语
多项选择
模型需要从给定的若干选项中给出正确答案
答案抽取
回答限定是文章中的一个子句，需要模型在文章中标注正确答案的起始和终止位置。
自由回答
不限制模型生成答案形式，允许模型自由产生数据
机器阅读理解方法
特征+传统机器学习
BERT以前：各种神奇的QA架构
BERT之后：预训练+微调+trick
机器学习总体架构
NLP相关任务的基本流程
文本预处理：构造训练语料
算法选择：输出数据-》规则
文本获取：
1、人工标注
2、用户标注
3、互联网收集后清洗
文本预处理：
1、去除冗余字符标记
2、分词（jieba/中文）
3、单词处理（英文：大写->小写，单词还原，同义词扩展）
4、去除停用词
总结：
在训练之前，要针对对应的模型：
1、确定目标大模型的训练语料格式
2、针对庞杂的文本文件进行去除标记、分词、单词处理、去除停用词。这些操作
3、得到的文件就可以用来预训练啦！