矩阵求导数

矩阵 A = ∣ 1 2 1 2 − 1 3 ∣ , 计算 f ( x ) = ∣ ∣ A x ∣ ∣ 2 ∣ ∣ x ∣ ∣ 2 的最大值。 矩阵A = \begin {vmatrix} 1 & 2 & 1\\2 & -1 & 3 \end {vmatrix},计算f(x) = \frac{||Ax||_2}{||x||_2}的最大值。 矩阵A= 122−113 ,计算f(x)=∣∣x∣∣2∣∣Ax∣∣2的最大值。

解:

根据导数定义和性质,极值处导数为0。首先求出矩阵的导数,置为0后求解。

首先 f ( x ) = ∣ x 1 x 2 x 3 ∣ ∣ 1 2 2 − 1 1 3 ∣ ∣ 1 2 1 2 − 1 3 ∣ ∣ x 1 x 2 x 3 ∣ x 1 2 + x 2 2 + x 3 2 = ∣ x 1 x 2 x 3 ∣ ∣ 5 0 7 0 5 − 1 7 − 1 10 ∣ ∣ x 1 x 2 x 3 ∣ x 1 2 + x 2 2 + x 3 2 f(x) = \frac{ \begin {vmatrix} x_1 x_2 x_3 \end {vmatrix} \begin {vmatrix} 1 & 2 \\2 & -1 \\1 & 3 \end {vmatrix}\begin {vmatrix} 1 & 2 & 1\\2 & -1 & 3 \end {vmatrix} \begin {vmatrix} x_1\\ x_2\\x_3 \end {vmatrix} }{x_1^2 + x_2^2 + x_3^2} =\\ \frac{ \begin {vmatrix} x_1 x_2 x_3 \end {vmatrix} \begin {vmatrix} 5 & 0 & 7\\0 & 5 & -1 \\7 & -1 & 10\end {vmatrix} \begin {vmatrix} x_1\\ x_2\\x_3 \end {vmatrix} }{x_1^2 + x_2^2 + x_3^2} f(x)=x12+x22+x32 x1x2x3 1212−13 122−113 x1x2x3 =x12+x22+x32 x1x2x3 50705−17−110 x1x2x3

考虑矩阵 x T A T A x x^T A ^ T A x xTATAx求导:

( x + Δ x ) T A T A ( x + Δ x ) = ( x T + Δ x T ) A T A ( x + Δ x ) = ( x T A T A + Δ x T A T A ) ( x + Δ x ) = x T A T A x + x T A T A Δ x + Δ x T A T A x + Δ x T A T A Δ x (x + \Delta x)^T A ^ T A (x + \Delta x) =(x^T + \Delta x ^ T) A ^ T A (x + \Delta x) =\\ (x^T A ^ T A + \Delta x ^ T A ^ T A ) (x + \Delta x) = \\ x^T A ^ T A x +x^T A ^ T A \Delta x + \Delta x ^ T A ^ T A x + \Delta x ^ T A ^ T A \Delta x (x+Δx)TATA(x+Δx)=(xT+ΔxT)ATA(x+Δx)=(xTATA+ΔxTATA)(x+Δx)=xTATAx+xTATAΔx+ΔxTATAx+ΔxTATAΔx

注意:上式中每一项都是一个标量,而不是向量。 \color{red}注意:上式中每一项都是一个标量,而不是向量。 注意:上式中每一项都是一个标量,而不是向量。

∣ ∣ ( x + Δ x ) T A T A ( x + Δ x ) − x T A T A x ∣ ∣ ∣ ∣ Δ x ∣ ∣ = ∣ ∣ x T A T A Δ x + Δ x T A T A x + Δ x T A T A Δ x ∣ ∣ ∣ ∣ Δ x ∣ ∣ = 2 A T A x \frac { ||(x + \Delta x)^T A ^ T A (x + \Delta x) -x^T A ^ T A x ||}{ || \Delta x||} = \\ \frac {||x^T A ^ T A \Delta x + \Delta x ^ T A ^ T A x + \Delta x ^ T A ^ T A \Delta x ||}{ ||\Delta x ||} = 2 A^ TA x ∣∣Δx∣∣∣∣(x+Δx)TATA(x+Δx)−xTATAx∣∣=∣∣Δx∣∣∣∣xTATAΔx+ΔxTATAx+ΔxTATAΔx∣∣=2ATAx

注意:上式取 2 A T A x 而不是 x T A T A 的原因是, Δ x 一般是列向量,需要放在后面,此时需要将矩阵导数放在前面,并转置。 \color{red}注意:上式取2 A^ TA x而不是x^ TA ^T A的原因是,\\ \Delta x一般是列向量,需要放在后面,此时需要将矩阵导数放在前面,并转置。 注意:上式取2ATAx而不是xTATA的原因是,Δx一般是列向量,需要放在后面,此时需要将矩阵导数放在前面,并转置。

现在将导数置为0并求解方程组:

2 A T A x = 0 2 A^ TA x = 0 2ATAx=0 得:

此方法对吗 ? \color{red}此方法对吗? 此方法对吗?

相关推荐
池央11 小时前
ops-nn 算子库中的数据布局与混合精度策略:卷积、矩阵乘法与 RNN 的优化实践
rnn·线性代数·矩阵
深鱼~13 小时前
大模型底层算力支撑:ops-math在矩阵乘法上的优化
人工智能·线性代数·矩阵·cann
Zfox_13 小时前
CANN PyPTO 编程范式深度解析:并行张量与 Tile 分块操作的架构原理、内存控制与流水线调度机制
线性代数·矩阵·架构
TechWJ13 小时前
catlass深度解析:Ascend平台的高性能矩阵运算模板库
线性代数·矩阵·ascend·cann·catlass
deep_drink1 天前
【基础知识一】线性代数的核心:从矩阵变换到 SVD 终极奥义
线性代数·机器学习·矩阵
数智工坊1 天前
【数据结构-特殊矩阵】3.5 特殊矩阵-压缩存储
数据结构·线性代数·矩阵
AI科技星1 天前
张祥前统一场论核心场方程的经典验证-基于电子与质子的求导溯源及力的精确计算
线性代数·算法·机器学习·矩阵·概率论
deep_drink1 天前
【基础知识二】彻底读懂拉普拉斯矩阵 (Laplacian)
人工智能·深度学习·线性代数·矩阵
sonadorje1 天前
标量投影和向量投影
线性代数
Amber勇闯数分1 天前
【Hive】基于物品协同过滤 [ ItemCF ] 推荐课程-余弦相似度计算
大数据·数据仓库·hive·hadoop·矩阵