2023春季李宏毅机器学习笔记 01 ：正确认识 ChatGPT

资料

• 课程主页：https://speech.ee.ntu.edu.tw/\~hylee/ml/2023-spring.php
• Github：https://github.com/Fafa-DL/Lhy_Machine_Learning
• B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800

一、对Chatgpt的误解

常见误解：

1. 给出的回答不是已经准备好的（罐头回应×）
2. 不是网络上搜索得出的答案（甚至有很多幻想出来的答案）

原理 ：

二、预训练

ChatGPT：chat Generative Pre-trained Transformer

关键技术：

• Pre-train（预训练）=Self supervised Leaarning（自督导式学习）
• Foundation Model：基石模型
• Fintune：微调
  
  

三、ChatGPT带来的研究问题

1. 如何精准提出需求？
   目前使用的方法：Prompting
   创新点：有没有比人工尝试更加系统性的方法？
2. 如何更正错误？
   目前没有较好的解决方法
   创新点：新研究题目Neural Editing
3. 甄别AI生成的内容
4. 泄露秘密、隐私信息
   创新点：新的研究题目：Machine Unlearning

四、文字冒险游戏

五、ChatGPT是怎么练成的？

ChatGPT的"兄弟"：InstructGPT，论文地址:https://arxiv.org/abs/2203.02155

ChatGPT学习四阶段

1. 学习文字接龙

   不需要人工标注，在网络上收集语句，对输入句子（字）后面可以接的字进行概率统计，每次输出高概率的字（每一次输出都不同）

2. 人类老师引导文字接龙方向

   人来思考问题，并人工提供答案（不需要很多，目的只是为了让GPT知道人们希望得到的答案）

3. 模仿人类老师的喜好

   训练Teacher Model让希望输出的答案的"分数"大于其他输出

4. 用增强式学习向模拟老师学习

六、延伸学习

分类

回归