transformer
李宏毅老师的课:https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=60
知乎上的文章:Transformer模型详解(图解最完整版)
主要参考tensorflow的官方文档:理解语言的 Transformer 模型
还有一篇英文文章讲得也不错:The Illustrated Transformer
google官方的blog里面有动画也不错:Transformer:一种用于语言理解的新型神经网络架构,建议翻译着看
根据tensorflow的官方文档写的代码,包含了数据集:
关于新机器测试,李沐老师也有在做:https://t.bilibili.com/695161992084717573?tab=2
bert
知乎bert简介:什么是BERT?
ensorflow的官方文档(还没有中文版):使用 BERT 对文本进行分类
bert源码实现:从零实现BERT网络模型