机器学习-关于线性回归的表示方式和矩阵的基本运算规则

最近在学习机器学习的过程中,发现关于线性回归的表示和矩阵的运算容易费解,而且随着学习的深入容易搞混,因此特意做了一些研究,并且记录下来和大家分享。

一、线性模型有哪些表示方式?

器学习中,线性模型是指模型的输出是输入特征的线性组合。根的不同,线性模型有多种表示方式,主要包括:

1.线性回归(Linear Regression):

用于回归任务,模型形式为:

2.逻辑回归(istic Regression):

用于二分类任务,模型形式为:

3.线性判别分析(Linear criminant Analysis, LDA):

用于分类任务,特别是二分类问题。LDA 寻找一影方向,使得投影后同类样本尽可,异类样本尽可能远离。模型形式为:

4.支持向量机(Support Vector MachinSVM):

用于分类任务,线性可分情况下,模型形式为:

5.感知机 (Perceptron):

用于二分类任务,模型形式为:

这些线性模型在不同的任务中应用广泛,选择合适的模型取决于具体的应用场景和数据特征。

二、那么线性模型的矩阵表示是什么样的呢?

机器学习中,线性模型通常可以使用矩阵形式表示,这种表示方式在处理多元线性回归等问题时尤为方便。以下是线性模型的矩阵表示:

1.线性模型的矩阵形式:

假设我们有( n ) 个样本,每个样本有 p 个特征。线性模型可以:

其中:

  • Y 是 n × 1 的向量,表示所有样本的目标值。

  • X是n × p的特征矩阵,每一行对应一个样本的特征向量。

  • w是p×1的权重向量。

  • b是n×1 的偏置向量,通常为常数向量 b⋅1,其中 b 是偏置项。

2. 增广矩阵表示:

为了简化表示,我们可以将偏置项b 合并到权重向量 w 中。具体方法是向特征矩阵 X 加一列全为 1 的列,得到增广特征矩阵 X',同时将偏置项作为权重向量的一个分量。这样,模型可以表示为:

Y=X′w′

其中:

这种增广矩阵的表示方式简化了模型的表示和计算。

3. 损失函数的矩阵表示

在线性回归中,常用的损失函数是均方误差(M,其矩阵形式为:

通过矩阵形式表示线性模型,可以简化模型的表示和计算,特别是在处理多元线性回归和高维数据时,这种表示方式尤为有效

4.举例说明

为了更直观地理解线性模型的矩阵表示,我们通过一个具体的例子来说明。假设我们有一个包含 3 个样本的数据集,每个样本有 2 个特征。我们的目标是建立一个线性回归模型来预测目标值。

(1)数据表示:

(2)增广特征矩阵:

(3)权重向量:

(4)线性模型表示:

(5)求解权重向量:

三、需要了解的矩阵运算的几个定律:

1.在矩阵运算中,矩阵的加法和乘法遵循以下定律:

矩阵加法的定律:

矩阵乘法的定律:

注意:

  • 矩阵乘法不满足交换律:一般情况下,矩阵乘法不满足交换律,即 AB≠BA。只有在特定情况下(例如 A和 B\ 都是对角矩阵且具有相同的维度)才可能满足交换律。

2.在矩阵运算中,转置操作具有以下常见性质:

四、线性回归,解释一下如何求导得到最优w

1.之前的文章,我曾经提到过正规方程求得最优w的过程:

2、其中求导遵循的规则如下:

标量对向量的求导:

向量内积的求导:

二次型函数的求导:

矩阵求导的链式法则:

在应用这些公式时,需注意矩阵的维度匹配和转置操作。特别是在链式法则中,矩阵 A 的转置 A^T 出现在求导结果中,这是因为在矩阵乘法中,维度需要匹配,转置操作可以调整矩阵的维度以确保运算的合法性。

相关推荐
如夏倾城26 分钟前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
Dawson Zhu32 分钟前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
水如烟1 小时前
孤能子视角:通用智能 vs 分工协同智能群系统–––集中结晶 vs 分布式结晶
人工智能
罗西的思考1 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz1 小时前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡2 小时前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
鲁邦通物联网2 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
静水深码2 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
Seiran3 小时前
Claude Fable 5.1写技术方案,ZEEKEAI提效实录
人工智能
JonaHu3 小时前
GPT Image 2.6 多语言海报改版:保留商品细节,分离文案与图像验收
图像处理·人工智能·aigc