大型语言模型
快速、全面了解大型语言模型。学习李宏毅课程笔记。
ChatGPT
目前由OpenAI公司发明的非常火的人工智能AI应用ChatGPT,到底是什么原理呢?
G:Generative(生成)
P:Pre-trained(预训练)
T:Transformer(一种类神经网络模型)
当然,类似的AI技术还有其他,如:Google Bard、Anthropic Claude等等
ChatGPT背后原理
ChatGPT真正做的事情:就是"文字接龙"。
ChatGPT又叫大型语言模型,那什么是语言模型呢?
能做"文字接龙"的模型,其实就是语言模型。
那语言模型,是怎么回答人类问题的呢?
当输入问题"台湾最高的山是哪座?"的时候,ChatGPT会把它看作成为一个未完成的句子,它会选择一个最合理的字输出,如"玉"字;接下来,它会把上次的输出,接到这个问题后面,共同作为下次的输入,以此类推,直到ChatGPT输出"end"结束。
我们再详细一点看ChatGPT的原理:
比如,如果输入"台湾大",后面可以接的字有很多可能,可以接"学"、"哥"、"车"等等。ChatGPT的输出其实是给每个可能输出的符号一个概率,比如在这个例子中,"学"出现的概率是50%,"车"出现的概率是25%...ChatGPT就按照这些字出现的机率掷色子,掷到"学"的概率最大。所以,ChatGPT每次输出的答案不一定相同。
![](https://i-blog.csdnimg.cn/direct/d08c60ef9db344fe8f8555bb2f5db85e.png)
我们把输出有可能选择的这些符号,就叫做Token。Token是语言模型中很重要的一个概念,甚至ChatGPT在计算价格的时候,都是用生成多少token,要花多少钱来收费。
Token
其实,每个语言模型的token还不一样,token是开发者事先设定好的,就是做文字接龙的时候你可以选择的符号,有个平台(https://platform.openai.com/tohenizer)可以查询openAI的某些语言模型的token是什么。
比如:I am unkillable,虽然是3个单词,却是6个token。
其中,unkillable就被拆成了3个token,即要做3次接龙。
那为什么不能把一个单词作为一个token呢?
因为英文单词无法穷举,因为token是一个可以被选则的符号,所以它必须是一个可以被穷举的东西,这样ChatGPT才能给每个token一个概率值,英文单词那么多,而且还不断有新的新的单词产生,所以用这种相当于字首字根的东西表示更为方便。
![](https://i-blog.csdnimg.cn/direct/81611643d531447785f350e83632ee6f.png)
那中文的token是什么样呢?
在OpenAI的GPT系列中,通常不是把一个中文方块字当作一个token,一个中文方块字是好几个token,当然如果你想开发自己的人工智能,想把一个方块字就当作一个token,也是合理的。
掷色子
我们已经知道ChatGPT是按照这些token出现的机率掷色子而得到最后结果。所以,ChatGPT每次输出具有随机性,答案不一定相同。
那为什么不能选则输出概率最大的那个Token,而要以掷色子的形式输出呢?
因为每次输出概率最大的那个,不一定能得到最好的结果。可以看19年的这篇论文《The curious case of neural text degeneration》,每次选择概率最大的Token,模型就容易跳帧,不断loop不断讲一样的话,如果是掷色子的话,就能输出很自然的回答。
为甚么ChatGPT有时候也会输出一本正经的胡说八道的答案?
现在我们了解了ChatGPT真正做的事是文字接龙的话,就不难想象说为什么ChatGPT也会回答错误答案,因为这些答案都是凭借接龙接出来的,ChatGPT根本不在意这些答案是否真实或对错。
比如下面这个例子,让ChatGPT介绍台大的玫瑰花节,但是台大根本没有这个节日,它仍然会像模像样的给你一个答案,这个网址也是它自己瞎造的。
ChatGPT既然是做"文字接龙",那它是怎么知道多轮对话的呢?即怎么知道一些历史信息的呢?
举个例子:
我不需要告诉它把什么翻译成英文,它自己就知道是要把上一个问题的答案翻译成英文,这是为什么呢?
就是在做文字接龙的时候,同一则对话里面,过去你问的问题+ChatGPT的输出+这次你的问题,都会作为新的输入。
文字接龙
语言模型是怎么学会做文字接龙的呢?
网络上的任何一句话,都可以作为语言模型的学习数据,比如"人工智慧真神奇!"这句话,模型看到后就知道,"人"后面接"工"的概率比较大,那就提高"人"后面出现"工"的概率...,"!"后面没话了,那就提高"end"的概率。
那语言模型是怎么输出这个概率分布的呢?
就是Transformer模型。详见其他博客。
ChatGPT历史
OpenAI 在2018年开始就研究有关GPT的模型了。
-
第一代GPT-1:
模型参数量只有117M,训练数据才1GB。
-
2019年诞生第二代GPT-2:
模型参数量1542M,训练数据40GB。
GPT-2也可以做问答任务,但是表现一般,正确率只有55%左右。
-
2020年诞生第三代GPT-3:
模型参数量175B,足足是GPT-2的100多倍呀!训练数据580GB,相当于阅读哈利波特全集30万遍,远超过一个正常人一辈子度过的资料量。
这一代的GPT-3已经会写代码了!
但在所有的任务上的表现也一般,准确率也是50%多左右。
GPT只从网络资料学习的缺点:
有人说OpenAI走错方向了,看起来再怎么做文字接龙,也接不出一个通用的人工智能出来。但是OpenAI并没有放弃,他们有篇论文说其实GPT-3已经很聪明了,但它表现不好的原因就是,它不知道人类社会的规则,不知道人类的需求。它就像一个山野里长大的小孩,它只见过网络上的东西,在网络上随便乱学,它并不知道要做什么事情,甚至不知道要回答问题。
论文举了如下例子:
我们问它C在下面这段代码里面的含义是什么,它的回答是4个选项,可能因为网络上有很多考题,它在网络上学到的就是看到一个问题,对应四个选项。
- ChatGPT,也就是第四代模型
这次引入了监督式学习,就是人类老师教给它,想要让它做的事情。
反过来说,如果GPT网络上爬了数据自己学习,叫作自监督学习,就是自己教自己,相当于课堂前的预习,就叫预训练。所以预训练就是今天很多人工智能成功的关键,预训练好的模型就叫作基石模型,然后经过一些微调,经过人类老师的教学,就可以有很大的提升。
监督式学习&预训练&增强学习
监督式学习
监督式学习的重要性:
其实到今天,ChatGPT背后的原理仍然是一种猜想。在InstructGPT这篇文中有张图,纵轴是模型的好坏,横轴是模型参数的大小,蓝色线是模型自监督学习的结果,也就是自己学习网络数据,红色线是监督式学习,就是啊加入了人类老师指导的结果。可以看到,加入了人类指导,即使参数量很小的模型,都比参数量最大的自监督学习模型厉害。就相当于天资再好的学生,都不如那个虽然天资不好,但老师好好教他的模型,所以说明老师(监督式学习)的重要性。
预训练
预训练的重要性:有预训练后,监督式学习不用大量资料!
预训练有多神奇呢?在多种语言上做预训练后,只要教某一个语言的某一个任务,模型就可以自动学习学会其他语言的同样任务。
举个例子,有个语言模型Bert,它自学过104种语言(预训练),现在人类教它学习英文阅能力测验(微调),但不教它中文的阅读能力测验,然后现场让它答中文的,它也答的出来!
那预训练后,需要多少数据就能微调呢?就是老师需要教多少就能让这个模型学生开窍呢。
仍然是InstructGPT这篇文中也可以看到,人类老师只提供了一万多的数据,就微调好模型了。
增强学习
除了监督式学习,ChatGPT还有增强学习(Reinforcement Learning, RL)来强化它的能力。增强学习就是人类老师只提供回馈哪个答案是更好的。
那监督式学习和增强学习之间什么区别呢?
一个需要人类做解答题,一个只要做选择题。监督式学习需要人类老师提供完整的正确答案(这个很花人力气,多数人可能不愿这么做,可能只有OpenAI的标记员有心力做这件事),但在增强学习中,老师不需要提供完整正确答案,只需要反馈哪个答案更好,因此每个人都可以做。
增强学习原理比较复杂,感兴趣的同学可以学习其他相关课程。
从人类的回馈学习,有个专门的简称:RLHF。
![](https://i-blog.csdnimg.cn/direct/37fa57a096794147acfb2041b7f21f47.png)
基本概念
当输入一个问题,模型给你两个答案,你就告诉它哪个答案更好,模型就会想办法把你觉得好的答案提高输出的概率,不好的答案降低它的概率。
一般先做预训练,再做监督式学习,最后做增强学习。为什么最后做增强学习呢?
因为模型要有一定程度的能力后,才适合进行增强学习,这样效果更好。
背后的假设就是,你的模型要偶有佳作,必须要有时候能得出不错的答案,人类反馈这个答案是好的,然后提高这个答案的概率才有意义。如果模型输出的效果整体不好,即使人类从两个差的答案里勉强选一个,模型相当于还是在提高差的答案的概率,可能这时候增强学习帮助就不大。因此,增强学习一般放在整个训练过的最后。
ChatGPT中的增强学习:
刚才讲到增强学习就是增强好的那一个答案的概率,但是这样的话,机器只学习到把某一个问题做好,怎样才能做到人类给某一个问题回馈,但是其他问题也能同时做好呢?
ChatGPT的增强学习过程分为两个步骤:
-
模仿人类老师的喜好
如:当人类反馈"玉山"答案更好的时候,ChatGPT就会另外再训一个Reward Model,就是把问题+所有可能的答案输入Reward Model,输出一个得分,让人类觉得好的答案的分数就高,不好的分数就低,这样就相当于训练出了一个人类老师的代替品。
好了,现在把人类老师解放了,让Reward Model来代替人类老师的角色。接下来就是步骤2。
-
向模拟老师学习
现在就可以把问题+答案输入给Reward Model了,让它替人类老师打分,对好的答案打高分,差的答案打低分。
打低分,降低概率
打高分,提高概率
总结:
ChatGPT的训练:预训练+监督学习+增强学习
其中,监督学习+增强学习 = 对齐,即对齐人类的需求。
![](https://i-blog.csdnimg.cn/direct/ac87507fe63f4d40bc3bf47c3cbebb5b.png)