对于线性回归问题,给定一个样本,其根据假设函数得到的预估结果为: 。给出所有的样本,我们可以写成矩阵的形式即:。这种形式可以看成线性代数里的线性方程组求解问题。

如果 方程组有解,即说明 是可以用 的列子空间表示,即在列子空间上。但是如果方程组无解,则说明 不在 的列空间上。所以我可以通过求得一个最优解 来解决这个方程,最优解可以使误差最小,线性代数里的最小二乘法可求得这个最优解。线性代数里的最优解,其实是求得 上列空间上的投影,而投影总是离子空间最近,误差最小。下面介绍下线性代数里的投影问题。

以二维空间为例,很明显, 是不相关的。 是不能被 表示的,但是我们可以求解一个用 来表示 的最优表示,这个最优表示使得误差最小(线性不相关,表示肯定是有误差的)。在这里这个最优的表示就是投影 ,误差就是 .

投影 , 误差 正交,所以有

所以,

其中 为投影矩阵.

对于 而言,当方程组有解时,说明 可以由 的列子空间表示,可以直接求出 , 当无解时,也利用 上的列子空间的投影来求得一个最优解

即是我们的最优解。些时投影为 , 而 为投影矩阵。