自然语言处理阅读第二弹

HuggingFace

• 镜像网站
• 模型库

NLP中的自回归模型和自编码模型

• 自回归：根据上文内容预测下一个可能的单词，或者根据下文预测上一个可能的单词。只能利用上文或者下文的信息，不能同时利用上文和下文的信息。
• 自编码：对输入的句子随机Mask其中的单词，然后预训练过程的主要任务之一是根据上下文单词来预测这些被Mask掉的单词。同时根据上下文预测单词。
• Sequence-to-Sequence：是encoder和decoder的结合。
  

安装环境

视频

BERT架构

• 输入的修改
• 预训练任务1
  
• 预测任务2
  
• 总结
  

李沐课程