目录
本讲我们讨论正交（orthogonal）概念对于向量、基和子空间的意义。
需要注意的是行空间与零空间是正交的，而列空间与左零空间是正交的。这张图是 GS 最得意的作品之一，它反映了四个子空间的关系，在后面的课程中可以看到其两两形成正交补，在 Rn空间中的向量会向两个子空间射影，并向 Rm空间形成映射，反之亦然。
正交向量 Orthogonal vectors
正交子空间 Orthogonal subspaces
子空间 S 与子空间 T 正交，则 S 中的任意一个向量都和 T 中的任意向量正交。黑板所在的平面和地板所在平面不是正交关系，沿两者的交线方向的向量同时属于两个平面，但并不与自己正交。
我们在平面内讨论正交子空间，平面的子空间包括只包含零向量的 0 空间、过原点的直线以及整个平面。经过原点的直线不会和整个空间正交；0 空间和过原点的直线正交；经过原点的两条直线若夹角为直角则互相正交。
零空间与行空间正交 Nullspace is perpendicular to row space
矩阵A AA的行空间和它的零空间正交。若x xx在零空间内，则有 A x = 0 Ax=0Ax=0，将A AA表示为行向量的格式：
x 与矩阵 A 的行向量点积都等于 0，则它和矩阵 A 行向量的线性组合进行点积也为 0，所以 x 与 A 的行空间正交。x 为零空间内的任意向量，所以零空间与行空间正交。同理可以证明列空间与左零空间正交。
行空间和零空间实际上把 R n R^n Rn空间分割成了两个正交的子空间。例如对于矩阵：
正交补Orthogonal Complements
行空间和零空间不仅仅是正交，并且其维数之和等于 n，我们称行空间和零空间为 R n R^n Rn 空间内的正交补（orthogonal complements）。
这表示零空间包含所有和行空间正交的向量，反之亦然。想想我们之前提到的黑板和地板平面不是正交子空间的例子，二者都在 3 维空间中，分别为 2 维空间，因此不可能正交。一个空间中正交子空间的维数之和不可能超过原空间的维数。
我们可以称目前讨论的这部分内容是线性代数基本定理的第二部分。第一部分是给出四个子空间和它们的维数，第二部分说明它们是两两互为正交补，第三部分讨论子空间的正交基。这些内容都反映在了本讲座开始的那幅图上。
矩阵 A T A^T ATA
下面讨论如何求解一个无解方程组 Ax=b 的解。如果 A 是长方形矩阵，m 大于 n。当左侧方程数特别多的时候，容易混入“坏”数据，方程变得无解。但是对于数据的可信度我们无从判断，线性代数要做的就是在这种条件下求一个方程的“最优解”。