机器学习大模型问题记录

基础知识

1、多标签和多分类的区别

多分类

x有且仅有一个类别,输出y为属于类别的概率,最终类别为 y i y_i yi最大的类别,特点为 y i y_i yi互斥,且包含所有情况。

输出通常使用softmax,使 y i y_i yi具有上述特点。

多标签

输出 y i y_i yi各个类别之间有重合部分,且x可能同时属于多个类别, 1 > = y i > = 0 1>=y_i>=0 1>=yi>=0,此时最后一层通常使用sigmoid函数。

2、在多分类中什么情况需要负采样,以及负采样方法

存在的问题:

  1. 类别过多,比如推荐系统中,预测类别y_i会很多,会导致上述运算量很大

基础知识网站

https://github.com/wdndev/llm_interview_note/blob/main/01.大语言模型基础/1.激活函数/1.激活函数.md

温度系数

https://zhuanlan.zhihu.com/p/666670367

temperature参数控制生成语言模型中生成文本的随机性和创造性,调整模型的softmax输出层中预测词的概率;

temperature越大,则预测词的概率的方差减大,即很多词被选择的可能性增大,利于文本多样化

举例:Prompt: "The quick brown fox"

Temperature = 0.1:

"The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog. The quick brown fox jumped over the lazy dog.

Temperature = 0.5:

"The quick brown fox jumped over the lazy dog. The lazy cat was not impressed. The quick brown fox ran away."

Temperature = 1.0:

"The quick brown fox jumped over the lazy dog. Suddenly, a flock of birds flew overhead, causing the fox to stop in its tracks. It looked up at the sky, wondering where they were going."

温度就是调整大模型生成随机性的一个参数,温度越高,大模型在相同输入下,多次推理的结果相差越大

https://zhuanlan.zhihu.com/p/82829880

k越大,LLM输出多样性越大

复读机问题

https://blog.csdn.net/weixin_46566149/article/details/134987196

复读机问题分析及解决方案

在DPO时遇到复读机问题,增加SFT loss或者lora,基本思想是和ref model更像。
https://www.linsight.cn/93328a2a.html

在DPO阶段,会用在上一轮post-training得到的最佳模型收集偏好数据对,这样能使得偏好数据的分布和强化学习时的policy model更一致。

除了DPO以外,Meta也尝试了一些on-policy的方案,如PPO。但是相对来说,DPO消耗更少的计算资源,并且效果也更好,特别是在instruction following的能力上,所以还是选择在post-training使用DPO。

DPO训练中,使用lr=1e-5,beta=0.1。

此外,训练中还做了一些不同于标准做法的改动:

1、Masking out formatting tokens in DPO loss

把特殊token比如header和termination token屏蔽,不用于计算训练loss。因为使用这些token计算loss会使得模型在生成时,出现如复读机或者在不合适的地方截断的情况。这可能就是因为chosen repsponse和rejected response同时包含的这些特殊token,让模型在训练时要同时增大和较小它们的likelihood,导致冲突。

2、Regularization with NLL loss

除了DPO的常规loss,Meta额外加入了NLL损失项,这和《Iterative reasoning preference optimization》的做法类似。这也有点像PPO里加入next token prediction loss,能使训练更加稳定,并能保持SFT学到的生成格式,并保持chosen response的log probability不下降(《Smaug: Fixing failure modes of preference optimisation with dpo-positive》)。

相关推荐
a15046336 分钟前
人工智能——图像梯度处理、边缘检测、绘制图像轮廓、凸包特征检测
人工智能·深度学习·计算机视觉
大魔王(已黑化)3 小时前
OpenCV —— 绘制图形
人工智能·opencv·计算机视觉
bright_colo3 小时前
Python-初学openCV——图像预处理(四)——滤波器
python·opencv·计算机视觉
Mikowoo0073 小时前
09_opencv_遍历操作图像像素
opencv·计算机视觉
230L1_78M69Q5487H4 小时前
【基于OpenCV的图像处理】图像预处理之二值化处理以及图像的仿射变换
图像处理·opencv·计算机视觉
格林威5 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现卫星图像识别(C#代码,UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
AntBlack17 小时前
从小不学好 ,影刀 + ddddocr 实现图片验证码认证自动化
后端·python·计算机视觉
凪卄121317 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
格林威20 小时前
Baumer工业相机堡盟工业相机如何通过YoloV8深度学习模型实现沙滩小人检测识别(C#代码UI界面版)
人工智能·深度学习·数码相机·yolo·计算机视觉
lxmyzzs20 小时前
【打怪升级 - 03】YOLO11/YOLO12/YOLOv10/YOLOv8 完全指南:从理论到代码实战,新手入门必看教程
人工智能·神经网络·yolo·目标检测·计算机视觉