机器学习-关于线性回归的表示方式和矩阵的基本运算规则

最近在学习机器学习的过程中,发现关于线性回归的表示和矩阵的运算容易费解,而且随着学习的深入容易搞混,因此特意做了一些研究,并且记录下来和大家分享。

一、线性模型有哪些表示方式?

器学习中,线性模型是指模型的输出是输入特征的线性组合。根的不同,线性模型有多种表示方式,主要包括:

1.线性回归(Linear Regression):

用于回归任务,模型形式为:

2.逻辑回归(istic Regression):

用于二分类任务,模型形式为:

3.线性判别分析(Linear criminant Analysis, LDA):

用于分类任务,特别是二分类问题。LDA 寻找一影方向,使得投影后同类样本尽可,异类样本尽可能远离。模型形式为:

4.支持向量机(Support Vector MachinSVM):

用于分类任务,线性可分情况下,模型形式为:

5.感知机 (Perceptron)

用于二分类任务,模型形式为:

这些线性模型在不同的任务中应用广泛,选择合适的模型取决于具体的应用场景和数据特征。

二、那么线性模型的矩阵表示是什么样的呢?

机器学习中,线性模型通常可以使用矩阵形式表示,这种表示方式在处理多元线性回归等问题时尤为方便。以下是线性模型的矩阵表示:

1.线性模型的矩阵形式:

假设我们有( n ) 个样本,每个样本有 p 个特征。线性模型可以:

其中:

  • Y 是 n × 1 的向量,表示所有样本的目标值。

  • X是n × p的特征矩阵,每一行对应一个样本的特征向量。

  • w是p×1的权重向量。

  • b是n×1 的偏置向量,通常为常数向量 b⋅1,其中 b 是偏置项。

2. 增广矩阵表示:

为了简化表示,我们可以将偏置项b 合并到权重向量 w 中。具体方法是向特征矩阵 X 加一列全为 1 的列,得到增广特征矩阵 X',同时将偏置项作为权重向量的一个分量。这样,模型可以表示为:

Y=X′w′

其中:

这种增广矩阵的表示方式简化了模型的表示和计算。

3. 损失函数的矩阵表示

在线性回归中,常用的损失函数是均方误差(M,其矩阵形式为:

通过矩阵形式表示线性模型,可以简化模型的表示和计算,特别是在处理多元线性回归和高维数据时,这种表示方式尤为有效

4.举例说明

为了更直观地理解线性模型的矩阵表示,我们通过一个具体的例子来说明。假设我们有一个包含 3 个样本的数据集,每个样本有 2 个特征。我们的目标是建立一个线性回归模型来预测目标值。

(1)数据表示:

(2)增广特征矩阵:

(3)权重向量:

(4)线性模型表示:

(5)求解权重向量:

三、需要了解的矩阵运算的几个定律:

1.在矩阵运算中,矩阵的加法和乘法遵循以下定律:

矩阵加法的定律:

矩阵乘法的定律:

注意:

  • 矩阵乘法不满足交换律:一般情况下,矩阵乘法不满足交换律,即 AB≠BA。只有在特定情况下(例如 A和 B\ 都是对角矩阵且具有相同的维度)才可能满足交换律。

2.在矩阵运算中,转置操作具有以下常见性质:

四、线性回归,解释一下如何求导得到最优w

1.之前的文章,我曾经提到过正规方程求得最优w的过程:

2、其中求导遵循的规则如下:

标量对向量的求导:

向量内积的求导:

二次型函数的求导:

矩阵求导的链式法则:

在应用这些公式时,需注意矩阵的维度匹配和转置操作。特别是在链式法则中,矩阵 A 的转置 A^T 出现在求导结果中,这是因为在矩阵乘法中,维度需要匹配,转置操作可以调整矩阵的维度以确保运算的合法性。

相关推荐
yourkin66639 分钟前
什么是神经网络?
人工智能·深度学习·神经网络
嘀咕博客1 小时前
Frames:Runway推出的AI图像生成模型,提供前所未有的风格控制和视觉一致性
人工智能·ai工具
isNotNullX2 小时前
ETL详解:从核心流程到典型应用场景
大数据·数据仓库·人工智能·架构·etl
科技峰行者2 小时前
通义万相2.5系列模型发布,可生成音画同步视频
人工智能·阿里云·ai·大模型·agi
Vizio<2 小时前
《面向物理交互任务的触觉传感阵列仿真》2020AIM论文解读
论文阅读·人工智能·机器人·机器人触觉
尤超宇3 小时前
基于卷积神经网络的 CIFAR-10 图像分类实验报告
人工智能·分类·cnn
alex1003 小时前
BeaverTails数据集:大模型安全对齐的关键资源与实战应用
人工智能·算法·安全
大模型真好玩3 小时前
架构大突破! DeepSeek-V3.2发布,五分钟速通DeepSeek-V3.2核心特性
人工智能·python·deepseek
春末的南方城市3 小时前
苏大团队联合阿丘科技发表异常生成新方法:创新双分支训练法,同步攻克异常图像生成、分割及下游模型性能提升难题。
人工智能·科技·深度学习·计算机视觉·aigc
OpenCSG3 小时前
超越颠覆:AI与Web3如何为传统金融的“华兴资本们”提供新生之路
人工智能·金融·web3