【线性代数】正定矩阵,二次型函数

本文主要介绍正定矩阵,二次型函数,及其相关的解析证明过程和各个过程的可视化几何解释(深蓝色字体)。

非常喜欢清华大学张颢老师说过的一段话:如果你不能用可视化的方式看到事情的结果,那么你就很难对这个事情有认知,认知就是直觉,解析的东西可以让你理解,但未必能让你形成直觉,因为他太反直觉了。

正定矩阵

定义

给定一个大小为 n×n 的实对称矩阵 A ,若对于任意长度为 n 的非零向量 ,有 恒成立,则矩阵 A是一个正定矩阵。

推荐文章:如何理解正定矩阵和半正定矩阵 - marsggbo - 博客园 (cnblogs.com)

正定矩阵有什么用

给定一个多元二次函数:

写成矩阵的形式:

一个二次函数的一般形式是:

它的一阶导 二阶导,它的二阶导就是这个二次型的矩阵A。

可视化:如果A是正定的,那么f(x)就是一个严格的凸函数(如图1),那么f(x)的极小值就是最小值,就是全局的最小值。此时最小化f(x)就等价于解一个线性方程组。在优化算法和机器学习中是一个非常重要的性质,可以避免我们得到的驻点但不是全局最小值的情况,如果A不是正定的,那么f(x)就不是严格的凸函数(如图2、图3)。最小化f(x)时就会很麻烦。
图1 图2 图3

正定矩阵的判定

一、验证定义

此方法在运算过程中可能会涉及到配方换元等,不方便,几乎不采用此方法。

可视化:从定义可知,任意一个向量x经A的变换后,再与x做点积,结果大于0,说明x经过A的变换后它与原x的夹角是小于90°的。这也正好正定矩阵对应名字中"正"的粗略含义,并没有翻折等负的操作。

二、验证特征值都大于0

对于对称矩阵,特征值都大于0与矩阵正定是等价的。证明如下:

(1)A正定,验证特征值都大于0:

取x为特征向量,则,其中,所以

(2)特征值都大于0,验证A正定:

因为A是实对称阵,给A做一个正交相似对角化,其中,都大于0.

要计算所以特征值比较麻烦,此方法用的少。

可视化:先说明对特征值的理解,正的特征值是这个变换在特征向量方向上的拉伸,并没有翻转。而对称矩阵的特征向量是正交的,在没有翻转的情况下,变换前后的向量不可能夹角大于90°,所以矩阵特征值都大于0时,矩阵就是正定的。

三、验证各阶主子式的行列式都大于0

各阶主子式的行列式都大于0与矩阵正定是等价的。证明如下:

(1)A正定,验证各阶主子式的行列式都大于0

(2)各阶主子式都大于0,验证A正定

可视化:行列式的几何意义是变换前后高维"体积"缩放的倍数,而特征值的几何意义是变换前后在某个方向缩放的倍数,故矩阵的行列式等于矩阵所以特征值的乘积,矩阵的行列式为正,说明矩阵特征值全为正或有偶数个负,但如果矩阵的各阶主子式都大于0,那么矩阵的特征值就全为正的。理由:n维矩阵的n-1阶主子式的特征值为(n-1)个,这(n-1)个特征值为原n维矩阵的n个特征值中的(n-1)个向(n-1)维做投影,其正负属性不变,所以当如果矩阵的各阶主子式都大于0,那么矩阵的特征值就全为正的,矩阵正定。

二次型函数

圆锥曲线判别式

对于二次型函数

时,,则矩阵为正定矩阵,二次型函数为正定函数(如图4)

时,,则矩阵为不定矩阵,二次型函数为不定函数(如图5)

时,,则矩阵为不定矩阵,二次型函数为不定函数(如图6)

时,,则矩阵为负定矩阵,二次型函数为负定函数(如图7)

,则矩阵为半正定矩阵,二次型函数为半正定定函数(如图8)
图4 图5 图6 图7 图8

图4: ,正定,矩阵特征值都为正

图5: ,不定,矩阵特征值一正一负

图6: ,不定,矩阵特征值一正一负

图7: ,负定,矩阵特征值都为负

图8: ,半正定,矩阵特征值含0

合同变换,正交变换

对于二次型函数 中的矩阵

(1)当时,矩阵变为对角矩阵 ,特征向量为(1,0)和(0,1),特征值为2和4。画出图形为:

(2)当时,特征向量为,特征值为

逐渐增大或减小b(保持在矩阵为正定矩阵的情况下),画出特征向量所在的直线和二次型函数图形:
b=-2 b=-1

b=1 b=2

可知矩阵特征向量的方向即为二次型函数旋转到的方向。正定矩阵为对称矩阵,对其进行谱分解为特征向量构成的矩阵,为特征值组成的对角矩阵。则可知二次型函数都是将标准二次型函数旋转-缩放-再旋转变换得来的。

相关推荐
海棠AI实验室1 小时前
AI的进阶之路:从机器学习到深度学习的演变(一)
人工智能·深度学习·机器学习
IT古董2 小时前
【机器学习】机器学习的基本分类-强化学习-策略梯度(Policy Gradient,PG)
人工智能·机器学习·分类
睡觉狂魔er3 小时前
自动驾驶控制与规划——Project 3: LQR车辆横向控制
人工智能·机器学习·自动驾驶
scan7243 小时前
LILAC采样算法
人工智能·算法·机器学习
菌菌的快乐生活3 小时前
理解支持向量机
算法·机器学习·支持向量机
爱喝热水的呀哈喽3 小时前
《机器学习》支持向量机
人工智能·决策树·机器学习
大山同学3 小时前
第三章线性判别函数(二)
线性代数·算法·机器学习
苏言の狗4 小时前
Pytorch中关于Tensor的操作
人工智能·pytorch·python·深度学习·机器学习
云云3214 小时前
搭建云手机平台的技术要求?
服务器·线性代数·安全·智能手机·矩阵
云云3214 小时前
云手机有哪些用途?云手机选择推荐
服务器·线性代数·安全·智能手机·矩阵