矩阵分析与应用1-矩阵代数基础
- [1 矩阵的基本运算](#1 矩阵的基本运算)
- [2 矩阵的初等变换](#2 矩阵的初等变换)
- [3 向量空间、线性映射与Hilbert空间](#3 向量空间、线性映射与Hilbert空间)
-
- [3.1 集合的基本概念](#3.1 集合的基本概念)
- [3.2 向量空间](#3.2 向量空间)
- [3.3 线性映射](#3.3 线性映射)
- [3.4 内积空间、赋范空间与Hilbert空间](#3.4 内积空间、赋范空间与Hilbert空间)
-
- [3.4.1 内积与内积向量空间的定义](#3.4.1 内积与内积向量空间的定义)
- [3.4.2 范数与赋范向量空间的定义](#3.4.2 范数与赋范向量空间的定义)
- [4 内积与范数](#4 内积与范数)
- [5 随机向量](#5 随机向量)
- [6 矩阵的性能指标](#6 矩阵的性能指标)
- [7 逆矩阵与伪逆矩阵](#7 逆矩阵与伪逆矩阵)
- [8 Moore-Penrose逆矩阵](#8 Moore-Penrose逆矩阵)
- [9 矩阵的直和与Hadamard积](#9 矩阵的直和与Hadamard积)
- [10 Kronecker积与Khatri-Rao积](#10 Kronecker积与Khatri-Rao积)
- [11 向量化与矩阵化](#11 向量化与矩阵化)
- [12 稀疏表示与压缩感知](#12 稀疏表示与压缩感知)
1 矩阵的基本运算
物理问题的数学化，数学结果的物理化：从物理问题的数学建模出发，引出矩阵问题，对得到的矩阵分析结果尽可能给予物理解释，赋予物理含义。即物理问题->数学抽象->数学演算->形象解释。
向量是矩阵的特例，标量是向量的特例，所以，满足矩阵运算的法则必然满足数量的运算。
对矩阵的函数运算，可以化为幂级数的运算形式，其幂级数的运算形式和标量函数的幂级数的运算形式完全一样。
2 矩阵的初等变换
矩阵的初等行变换：行互换；行乘数；行乘数叠加
行等价矩阵：A经初等行变换得到B
等价关系的性质：
(i) 反身性 A~A;
(ii) 对称性 若A~B;则 B~A;
(iii) 传递性 若A~B, B~C, 则A~C;
经初等行变换将矩阵化为行阶梯型矩阵、最简型矩阵和标准形矩阵：：
行初等变换得到B1、B2
B1是行阶梯形矩阵，其特点是：阶梯线下方的数全为0；每个台阶只有一行，台阶数即是非零的行数，阶梯线的竖线(每段竖线的均为一行)后面的第一个元素为非零元，也就是非零行的首非零元，称为该行的首项元素，首项元素为1则称为改行的首1元素。
B2是行最简型矩阵，其特点是：非零行的首非零元为1，且这些非零元所在的列的其它元素都为0。
对行最简形矩阵再施以初等列变换，得标准型矩阵：
3 向量空间、线性映射与Hilbert空间
数学对象的定义建立在其算法的定义的基础之上，算法的定义应保证逻辑完备、没有矛盾。
3.1 集合的基本概念
X x Y={(x,y)| x属于X，y属于Y}
（x,y）为有序对，X x Y为有序对的集合----X和Y的笛卡尔积
3.2 向量空间
定理2 Rn的子集合W是Rn的子空间，当且仅当以下三个条件满足:
(1)每当向量x, y属于W，则a +y 也属于W,即满足加法的闭合性:
(2)每当向量x属于W，且 a为标量时，则ax属于W，即满足与标量乘积的闭合性。
(3)零向量0是W的元素。
3.3 线性映射
定理 线性空间与线性映射的关系
3.4 内积空间、赋范空间与Hilbert空间
3.4.1 内积与内积向量空间的定义
若对所有x,y,z∈ V和α、β ∈K，映射函数<,>:V x V →K满足以下三条公理：
（1）共轭对称性 <x,y>=<y,x>*
（2）第一变元的线性性 <α x+β y,z >=α< x,z >+β< y,z >
(3)非负性 <x,x> ≥0，并且<x,x> =0 <=> x=0 (严格正性）
则称<x,y>为向量 x与y的内积，V为内积向量空间。
两个向量的内积可以度量他们之间的夹角 cos θ =<x,y>/ ( √<x,x> √<y,y> )
如前所述，数学对象的定义建立在其算法的定义的基础之上，向量空间 具有向量的加法、标量与向量的乘法；内积向量空间 更进一步，还具有两个向量的乘法（内积），可以度量两个向量之间的夹角；如果还能够增加关于向量的长度、距离和邻域等测度的话，那么向量空间无疑将更加实用和完美，而向量的范数能够担负这一重任。
？？？ 显然，数学研究的核心是算法的研究，失去了算法，数学研究就失去了方向和意义。