机器学习-关于线性回归的表示方式和矩阵的基本运算规则

最近在学习机器学习的过程中,发现关于线性回归的表示和矩阵的运算容易费解,而且随着学习的深入容易搞混,因此特意做了一些研究,并且记录下来和大家分享。

一、线性模型有哪些表示方式?

器学习中,线性模型是指模型的输出是输入特征的线性组合。根的不同,线性模型有多种表示方式,主要包括:

1.线性回归(Linear Regression):

用于回归任务,模型形式为:

2.逻辑回归(istic Regression):

用于二分类任务,模型形式为:

3.线性判别分析(Linear criminant Analysis, LDA):

用于分类任务,特别是二分类问题。LDA 寻找一影方向,使得投影后同类样本尽可,异类样本尽可能远离。模型形式为:

4.支持向量机(Support Vector MachinSVM):

用于分类任务,线性可分情况下,模型形式为:

5.感知机 (Perceptron)

用于二分类任务,模型形式为:

这些线性模型在不同的任务中应用广泛,选择合适的模型取决于具体的应用场景和数据特征。

二、那么线性模型的矩阵表示是什么样的呢?

机器学习中,线性模型通常可以使用矩阵形式表示,这种表示方式在处理多元线性回归等问题时尤为方便。以下是线性模型的矩阵表示:

1.线性模型的矩阵形式:

假设我们有( n ) 个样本,每个样本有 p 个特征。线性模型可以:

其中:

  • Y 是 n × 1 的向量,表示所有样本的目标值。

  • X是n × p的特征矩阵,每一行对应一个样本的特征向量。

  • w是p×1的权重向量。

  • b是n×1 的偏置向量,通常为常数向量 b⋅1,其中 b 是偏置项。

2. 增广矩阵表示:

为了简化表示,我们可以将偏置项b 合并到权重向量 w 中。具体方法是向特征矩阵 X 加一列全为 1 的列,得到增广特征矩阵 X',同时将偏置项作为权重向量的一个分量。这样,模型可以表示为:

Y=X′w′

其中:

这种增广矩阵的表示方式简化了模型的表示和计算。

3. 损失函数的矩阵表示

在线性回归中,常用的损失函数是均方误差(M,其矩阵形式为:

通过矩阵形式表示线性模型,可以简化模型的表示和计算,特别是在处理多元线性回归和高维数据时,这种表示方式尤为有效

4.举例说明

为了更直观地理解线性模型的矩阵表示,我们通过一个具体的例子来说明。假设我们有一个包含 3 个样本的数据集,每个样本有 2 个特征。我们的目标是建立一个线性回归模型来预测目标值。

(1)数据表示:

(2)增广特征矩阵:

(3)权重向量:

(4)线性模型表示:

(5)求解权重向量:

三、需要了解的矩阵运算的几个定律:

1.在矩阵运算中,矩阵的加法和乘法遵循以下定律:

矩阵加法的定律:

矩阵乘法的定律:

注意:

  • 矩阵乘法不满足交换律:一般情况下,矩阵乘法不满足交换律,即 AB≠BA。只有在特定情况下(例如 A和 B\ 都是对角矩阵且具有相同的维度)才可能满足交换律。

2.在矩阵运算中,转置操作具有以下常见性质:

四、线性回归,解释一下如何求导得到最优w

1.之前的文章,我曾经提到过正规方程求得最优w的过程:

2、其中求导遵循的规则如下:

标量对向量的求导:

向量内积的求导:

二次型函数的求导:

矩阵求导的链式法则:

在应用这些公式时,需注意矩阵的维度匹配和转置操作。特别是在链式法则中,矩阵 A 的转置 A^T 出现在求导结果中,这是因为在矩阵乘法中,维度需要匹配,转置操作可以调整矩阵的维度以确保运算的合法性。

相关推荐
TechubNews7 分钟前
RWA与DeFi(去中心化金融)的关系是什么?RWA在DeFi中扮演什么角色?
人工智能·区块链
AndrewHZ14 分钟前
【图像处理基石】如何对遥感图像进行目标检测?
图像处理·人工智能·pytorch·目标检测·遥感图像·小目标检测·旋转目标检测
非优秀程序员16 分钟前
8 个提升开发者效率的小众 AI 项目
前端·人工智能·后端
留意_yl28 分钟前
量化感知训练(QAT)流程
人工智能
山烛1 小时前
KNN 算法中的各种距离:从原理到应用
人工智能·python·算法·机器学习·knn·k近邻算法·距离公式
盲盒Q1 小时前
《频率之光:归途之光》
人工智能·硬件架构·量子计算
墨染点香1 小时前
第七章 Pytorch构建模型详解【构建CIFAR10模型结构】
人工智能·pytorch·python
go54631584651 小时前
基于分组规则的Excel数据分组优化系统设计与实现
人工智能·学习·生成对抗网络·数学建模·语音识别
茫茫人海一粒沙1 小时前
vLLM 的“投机取巧”:Speculative Decoding 如何加速大语言模型推理
人工智能·语言模型·自然语言处理
诗酒当趁年华1 小时前
【NLP实践】二、自训练数据实现中文文本分类并提供RestfulAPI服务
人工智能·自然语言处理·分类