GPT→类似于Transformer Encoder
训练任务：Predict Next Token
使用MASK-attention，不断预测"下一个token"。
可以用GPT生成文章。
How to use GPT?
给出描述和例子
给出前半段，补上后半段
In-context Learning(no GD)
结果
目前看起来状况是,有些任务它还真的学会了 ,举例来说2这个加减法,你给它一个数字加另外一个数字,它真的可以得到,正确的两个数字加起来的结果,但是有些任务,它可能怎麼学都学不会,譬如说一些跟逻辑推理 有关的任务,它的结果就非常非常地惨。
Self-supervesed Learning Beyond Text
CV
Image - SimCLR
Image - BYOL
Speech
训练：
语音也可以做填空题,就把一段声音讯号盖起来,叫机器去猜；
语音也可以预测接下来会出现的内容
Speech GLUE - SUPERB
李宏毅------语音的基准语料库。
