首先给出向量组线性无关的概念，一组向量无法通过线性组合（除了全取0）得到0向量，则该组向量相互之间线性无关。
如果一个矩阵，其列向量组是线性无关的，那么这个矩阵的零空间将只有零向量；反之，如果矩阵的零空间中不仅仅存在零向量，这意味着可以通过线性组合将其列向量组合成零向量，也即这些向量线性相关。
矩阵的秩rank，代表着矩阵中主元个数，主列个数。如果rank=n（列数），同时也代表每个列都是主列，那它们彼此也是线性无关的；如果rank<n，则代表存在自由列，那么列向量之间也就是线性相关的。
一组向量，其所有线性组合将张成一个空间，该空间是包含这些向量（包括其线性组合）的最小空间；如在中，向量
和向量
的所有线性组合将构成一个平面空间，该空间是
的子空间，所以这些向量自然也应该包含在
中，所以说平面空间是包含这些向量的"最小"空间。
要想张成N维度空间，最少需要N个线性无关的向量，这些向量成为
空间的一组基，基向量的个数就是张成的空间的维度，一个空间内可以有很多组基，但每组基所包含的向量的个数一定是相等的，为N。基向量构成的矩阵是一个可逆矩阵
给定矩阵,其列向量张成列空间
，容易看出，该矩阵的列空间的一组基为
、
，则其张成的列空间为
即二维空间，同时矩阵的秩rank=2。矩阵的秩rank的意义除了代表矩阵的主元个数、主列个数，还代表着矩阵的列空间的维度。
矩阵的零空间同样是由一组基张成的。已知矩阵A有4列，rank=2，则自由列有4-2=2列，方程中的自由变量也有两个，基础解系有两个向量，显然这同样意味着零空间的维度是2。推广到m*n的情况，如果矩阵有n列，rank=r，则矩阵的零空间的维度等于方程Ax=0的自由变量的个数、基础解系的个数n-r。
显然，矩阵的列空间的维度和零空间的维度具有对称关系，列空间的维度为rank，而零空间的维度为n-rank