所有代码实现,基于教程中的理论通过python实现出来的。效率不高,但有代码可以看。
由于scipy/sckitlearn/sparkx 底层的实现都被封装了(小白兔水平有限,fortran代码实在没看懂)这里的实现至少可以和理论公式对应的上。
1. 求特征值和特征向量
这是后面解线性方程的基础。解方程及拆分过程依赖eigVal,eigVec,很重要。
基本的解析法很好理解,所有的教程都有介绍。但是工程实现numpy等都是用的其他数值求解方法,这里实验了QR方法(水平有限,是最基础的QR),证明QR方法不难实现,并且有更多方法优化可以提高QR的数值稳定性和收敛效率(水平有限,placeholder,given旋转等,未研究)。
|--------|---------------------------------------------------------|-------------------------------------------------------------------------|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| | 解析 | 解析 | 数值 |
| eig | polynomial | *symmetric matrix lanrange multiples | *symmetric matrix QR Iteration |
| 算法 | det(A-lambda*E)=0 解lambda的n次方程, 对应每个eigval[*]解齐次方程。 | 基于对称矩阵转标准二次型原理,A= (PN...P1) D (P1.T ... PN.T) eigVec=(PN...P1) eigVal=D | 1. 将A=QR,Q为规范正交矩阵,R为A在这个矩阵上的投影系数。 2. AK=RQ, 迭代k次, Q.T A= R, A1= Q.T A Q; ... Q1.T A1= R1; A2= Q1.T A1 Q1 = Q1.T Q.T A Q Q1 ... AK = (QK.T ... Q.T) A (Q ... QK ) //AK 就是特征值对角矩阵, Q...QK 就是特征向量 //AK为什么会收敛为对角矩阵,待研究//TODO eigVec=(PN...P1) eigVal=D |
| PYTHON | E00_eigVal_by_polynomial.py | P00_lagrange_mul_resolver00.py | E01_eigVal_by_qr_mm.py //*没有完全解决数值稳定性问题,devide0 等等;[URL]有大神写了QR算法文章,有更优的算法。 |
参考代码
参考代码: AITutorial02: AI初学,AI幼儿园练习
写在最后
* 线性代数理论及证明过程请参考教材。公式推理可以参考AI。感谢数学大师们。感谢《学兔兔》网。