本篇主要讨论如何求解齐次方程组的解，即求解
举例，，首先容易想到的算法是通过初等行变换进行消元，将其化为行最简形式。这里指出，在进行初等变换的时候，解构成的空间是不会改变的。
因为，对系数矩阵初等行变换时要同时对右侧的零向量进行变换，这等价于用一个结果为0的方程减去另一个结果为0的方程，显然结果仍然为0，那么解同样属于0空间。
继续消元。显然矩阵A可以通过初等行变换转化为阶梯矩阵 ，每一行首个非零元对应的即主元，其余为自由元，主元的个数即矩阵的秩(rank)。矩阵A对应的主元的x1、x3，自有元为x2、x4。主元所在的列成为主列，显然第一列、第三列为主列，第二列、第四列成为自由列。
自由元的值可以随意给定，如x2=1，x4=0。容易求出x1=-2，x3=0。则解为：，显然这个解可以张成一个子空间，即
，而这在
中是一条过原点的直线。但这条直线并不能完全张成Ax=0的零空间。
重新设定自由元的值，x2=0，x4=1，容易求出x1=2，x3=-2。则解为，其张成的子空间为
，显然这同样是
中一条过原点的直线，并且这条直线与之前的方向不同。
两个特解进行线性组合，在几何空间中即两条方向不同的直线进行线性组合，其可以张成一个平面，也即Ax=0的解空间（或Ax=0的零空间）。
继续观察矩阵，主变量有两个，rank=2，表示只有两个方程起作用；4个待解变量，只有两个为需要求特定解，而其余的两个可以给定任意数值。
继续化简矩阵A，可以得到其行最简形式 ,将主列合并，可以得到：
，该矩阵可以表述为
,其中I为二阶单位阵，F为自由列，不难注意到，F中的相反数构成了主元的解（课程中把这样形式的矩阵加做行最简矩阵，但国内的教材定义行最简矩阵并不要求把主列放在相邻的位置）。
矩阵，I为r阶，R为n阶，则矩阵R表示有r个主元、r个主列、n-r个自由元、自由列。
RN=0，则，矩阵N是由特解构成的矩阵，或称之为0零空间矩阵。