01 文字接龙游戏
大型语言模型在训练的过程中，需要不断调整超参数以实现效果的最佳化，因为训练可能会失败，需要更换一组超参数重新训练，超参数的数量是上亿级的，需要大量的算力支持。
GPT-3 中存在 1750 亿个参数，组成了将近 28000 个矩阵，细分为八大类别，即 Embedding、Key、Query、Value、Output、Up-projection、Down-projection、Unembedding。
也存在一种情况，训练成功了，测试失败了，这也是一种过拟合现象。
无论怎样，无论我们人类是否能看懂训练出来的参数数值，机器学习的唯一目的是找到的参数有没有【符合】训练资料，而不是有没有道理。
那么，如何让机器找到比较【合理】的参数呢？
- 增加训练资料的多样性
- 设定随机初始参数
- 提供先验知识
02 第一阶段：自我学习，积累实力
需要多少文字才能够学习文字接龙呢？
模型需要知道语言知识 和世界知识 ，对于语言知识，是一些基本的拼音、字形、语法，对于世界知识，几乎所有的网络内容都可以作为世界知识拿来训练模型，该方法叫做自督导式学习。
有时，还是需要一些人为干预，比如筛选黄赌毒内容、去除项目符号、去除重复资料等等。
所有的文字资料都能拿来学文字接龙吗？
见仁见智。
为什么模型不能够好好回答问题呢？
因为你没有好好教它回答呀...
03 第二阶段：名师指点，发挥潜力
① 人类老师教导（督导式学习 、预训练）
但是，我们不能以人类的视角来揣度模型的思路，来推断参数的生成，仅仅依靠人类老师教导，无法使模型获得很强的能力。
② 第一阶段的训练参数作为第二阶段的初始参数（微调）
模型在经过大量的参数训练之后，可能获得很强的举一反三能力，有多夸张呢，你只要交给一个模型一个语言的学习，它会自动学会其他语言的学习！！
因此，Fine-tuning(微调) 技术划分为两条路线，一是打造一堆专才模型，二是打造一个通才。
那么，我们可以拥有自己的Instruction Fine-tunning吗，答案是不行，我们没有高质量资料，不过，可以对ChatGPT做逆向工程，获取相关资料。
现在，我们拥有了高质量资料，可以做Instruction Fine-tunning了吗，答案还是不行，因为我们没有第一阶段生成的初始参数。嘿嘿，Meta开源了LLaMA，我们可以用它的初始参数来打造自己的大语言模型。
一夜之间，各式各样的大模型如雨后春笋般争相出现，世界进入了人人可以Instruction Fine-tunning大语言模型的时代。
04 第三阶段：实战演练，打磨技巧
Reinforcement Learning from Human Feedback(RLHF)
增强式学习（Reinforcement Learning, RL）
在第二个阶段，人类比较辛苦，需要收集大量的资料来告诉模型什么是对的，而到了第三阶段，人类比较轻松，模型对某个问题会给出两个答案，人类只需要判断哪个答案更好一些即可。
语言模型和AlphaGo很像，二者都是人工智能，在工作的过程中会不断迭代更新调整自己的答案，从而获得一个优秀的结果。
那么，AlphaGo又是如何学习的呢？
AlphaGo的学习分为两个阶段，第一个阶段是跟着棋谱学习，第二个阶段是干中学。
对于大语言模型训练的第三阶段，一个关键问题是，如何更有效的利用人类的回馈？
参考《葬送的芙莉莲》引入回馈模型（Reward Model）来模仿人类的偏好。
但是，过度跟虚拟人类学习，训练出来的结果也是有偏差的，今天一些大语言模型的一些不尽如人意的行为，可能就是过度跟虚拟人类学习的结果。
为了解决这一问题，有很多人目前在做各种尝试，是否有效需要时间的验证... 获取在不远的未来，新的语言模型可以代替回馈模型对原来的模型进行评价，甚至是自我迭代。
增强式学习有一个难题，什么叫做"好"的答案呢？其实，在很多中情况下，人类自己也不知道哪种选择是正确的选择，希望未来，人工智能可以代替人类做出更有利于人类发展的选择。
