24 正交补与最小化

正交补与最小化 #

这讲讲什么：把「垂直」从「两个向量之间」推广到「一个向量与一整块子空间之间」，由此把整个空间劈成互相垂直的两半；然后回答一个到处都在用的问题——子空间里哪个点离给定点最近。
前置：22 讲（内积、范数、勾股定理）、23 讲（规范正交基、格拉姆-施密特）、06 讲（直和与维数）
一句话：子空间 $U$ 把空间切成 $U$ 与 $U^\perp$ 两块，把 $v$ 中属于 $U$ 的那一块切出来就是 $P_Uv$，而它就是 $U$ 里离 $v$ 最近的点。

---

一、为什么需要它 #

先看四个表面上毫无关系的问题：

1. 三维空间里给了过原点的平面 $U$ 和点 $v=(1,2,3)$，$v$ 到 $U$ 的最短距离是多少？最近点是哪个？
2. 一组实验数据 $(x_1,y_1),\dots,(x_n,y_n)$，想拟合直线 $y=a+bx$，使残差平方和 $\sum(y_i-a-bx_i)^2$ 最小，$a,b$ 怎么定？
3. 方程组 $Ax=b$ 无解（$b$ 不在 $A$ 的列空间里），能不能退一步，求一个让 $Ax$ 尽量接近 $b$ 的 $x$？
4. 用次数不超过 $5$ 的多项式在 $[-\pi,\pi]$ 上逼近 $\sin x$，「逼近得最好」该怎么定义、又该怎么算？

这四个问题的同一个内核是：

给定 $V$ 的一个子空间 $U$ 和一个点 $v\in V$，在 $U$ 中找一点 $u$，使 $\|v-u\|$ 尽可能小。

四个字概括：最近点问题。

而这个问题的答案，恰好是一个几何动作的结果——把 $v$ 垂直投影到 $U$ 上。所以这一讲要做两件事：先把「垂直投影」这件事对一整块子空间定义清楚（需要正交补这个工具），再证明它确实是最近点。

为什么答案一定和「垂直」有关 #

先不看证明，只看直觉。设 $u_0\in U$ 已经是最近点。如果误差向量 $v-u_0$ 不垂直于 $U$，那它在 $U$ 的方向上就还有「分量」：沿 $U$ 里的某个方向挪一小步，就能把这个分量削掉一点，距离会变小——与「$u_0$ 已经最近」矛盾。

反过来，只要 $v-u_0$ 垂直于 $U$ 中每个向量，那无论往 $U$ 里哪个方向挪，都只会把一个直角三角形的斜边越拉越长。

这条直觉可以完全算出来，不依赖任何新工具。设 $u_0\in U$，任取 $u\in U$、$u\neq 0$，记

$$f(t)=\|v-u_0-tu\|^2=\|v-u_0\|^2-2t\langle v-u_0,u\rangle+t^2\|u\|^2 .$$

（实情形；复情形把所有内积换成实部，下面的结论一样。）

$f$ 是 $t$ 的二次函数，开口朝上。若 $u_0$ 是最小点，则 $f$ 在 $t=0$ 处取最小，于是 $f'(0)=0$，即

$$\langle v-u_0,\ u\rangle=0 .$$

这对每一个 $u\in U$ 都成立，也就是 $v-u_0\in U^\perp$。反之，若 $v-u_0\in U^\perp$，则对任意 $u\in U$ 有 $\langle v-u_0,\ u_0-u\rangle=0$，勾股定理给出

$$\|v-u\|^2=\|v-u_0\|^2+\|u_0-u\|^2\ \ge\ \|v-u_0\|^2 .$$

两边合起来：$u_0$ 是最近点，当且仅当 $v-u_0\perp U$。

这个「当且仅当」就是整讲的主线。剩下的工作全是它的包装：要给 $U^\perp$ 一个名字、一套性质、一个维数公式，还要证明「垂足」$u_0$ 存在且唯一——也就是证明 $v$ 一定能拆成「$U$ 里的一块 + 垂直于 $U$ 的一块」。

---

二、定义与最小例子 #

定义 24.1（正交补） #

设 $U$ 是 $V$ 的子集。$U$ 的正交补记作 $U^\perp$，定义为 $V$ 中与 $U$ 里每一个向量都正交的那些向量：

$$U^\perp=\{\,v\in V:\ \text{对每个 } u\in U,\ \langle u,v\rangle=0\,\}.$$

读这个定义要盯住三处：

• 「每一个」：不是「存在一个」，是「对所有」。少一个都不行，这正是它能和「最近点」对上的原因。
• $v$ 仍取自 $V$：$U^\perp$ 是 $V$ 的子集，不是别的空间里的东西。
• $U$ 只要求是子集：不需要是子空间。这一点初学者常误以为必须补一句「$U$ 是子空间」，其实不必——性质会自动变好，见第三节。

最小例子：从「一个点」到「一个平面」 #

例 1（$U$ 是单点集）：$V=\mathbb{R}^3$，$U=\{(2,3,5)\}$ 只含一个向量。那么

$$U^\perp=\{(x,y,z)\in\mathbb{R}^3:\ 2x+3y+5z=0\},$$

一个过原点、法向量为 $(2,3,5)$ 的平面。注意 $U$ 本身只是一根「点」，$U^\perp$ 却是二维的一整块。

例 2（角色互换）：$V=\mathbb{R}^3$，$U=\{(x,y,z):2x+3y+5z=0\}$ 是那个平面。那么

$$U^\perp=\{(2t,3t,5t):\ t\in\mathbb{R}\},$$

一条过原点、方向为 $(2,3,5)$ 的直线。把例 1 的答案当输入，出来的正是例 1 的输入——这就是第三节要证的 $(U^\perp)^\perp=U$ 的最简实例。

例 3（三维空间的完整对照）：在 $\mathbb{R}^3$ 里，

$U$	$\dim U$	$U^\perp$	$\dim U^\perp$
过原点的直线	$1$	过原点且垂直于它的平面	$2$
过原点的平面	$2$	过原点且垂直于它的直线	$1$
$\{0\}$	$0$	全体 $\mathbb{R}^3$	$3$
全体 $\mathbb{R}^3$	$3$	$\{0\}$	$0$

两列维数加起来恒为 $3$。这不是巧合，是定理。

例 4（高维里看不见，但照样算）：$V=\mathbb{F}^5$，$U=\{(a,b,0,0,0):a,b\in\mathbb{F}\}$。与 $U$ 中所有向量正交，等价于与 $(1,0,0,0,0)$ 和 $(0,1,0,0,0)$ 都正交，即前两个坐标为零：

$$U^\perp=\{(0,0,x,y,z):\ x,y,z\in\mathbb{F}\}.$$

例 5（规范正交基是最好的坐标系）：若 $e_1,\dots,e_m,f_1,\dots,f_n$ 是 $V$ 的一组规范正交基，则

$$\operatorname{span}(e_1,\dots,e_m)^\perp=\operatorname{span}(f_1,\dots,f_n).$$

理由：$f_j$ 与每个 $e_k$ 都正交，所以 $\operatorname{span}(f)\subseteq\operatorname{span}(e)^\perp$；两边维数分别是 $n$ 与 $\dim V-m=n$，相等，于是相等。在规范正交基下，正交补就是「把坐标里对应的那几位清零」。 这是本讲最实用的计算图像。

定义直接给出的五条性质 #

以下 $U,G,H$ 都是 $V$ 的子集（不要求是子空间）：

(a) $U^\perp$ 是 $V$ 的子空间。

(b) $\{0\}^\perp=V$。

(c) $V^\perp=\{0\}$。

(d) $U\cap U^\perp\subseteq\{0\}$。

(e) 若 $G\subseteq H$，则 $H^\perp\subseteq G^\perp$（反单调）。

这五条都能一行证出来，但值得亲手过一遍，因为它们各自都在纠正一个典型误解：

• (a)：$0\in U^\perp$ 因为 $\langle u,0\rangle=0$；若 $v,w\in U^\perp$，则 $\langle u,v+w\rangle=\langle u,v\rangle+\langle u,w\rangle=0$；若 $v\in U^\perp$、$\lambda\in\mathbb{F}$，则 $\langle u,\lambda v\rangle=\lambda\langle u,v\rangle=0$。加法与数乘都不破坏「与 $U$ 全体正交」这条性质。
• (c)：若 $v\in V^\perp$，特别地 $v$ 与 $v$ 自己正交，$\langle v,v\rangle=0$，由内积正定性得 $v=0$。
• (d)：$u\in U\cap U^\perp$ 意味着 $u$ 与 $u$ 自己正交，同上得 $u=0$。注意结论是包含于 $\{0\}$，不是「等于」——因为 $U$ 可能根本不含 $0$（它不是子空间时）。
• (e)：条件变宽，满足的人就变少。$H$ 比 $G$ 大，要求与之正交的人就更多，所以 $H^\perp$ 更小。取正交补会掉转包含方向，这一点用起来比记公式重要。

---

三、几个必须自己算一遍的结论 #

24.2 正交补的维数 #

设 $V$ 有限维，$U$ 是 $V$ 的子空间，则

$$\dim U^\perp=\dim V-\dim U .$$

证明只有一行：由 24.3（下一条）得 $V=U\oplus U^\perp$，两边取维数并用直和公式得 $\dim V=\dim U+\dim U^\perp$。但注意逻辑顺序——维数公式是直和分解的推论，不是它的前提。很多人倒过来记，结果在无限维情形下就说不清了。

24.3 直和分解 $V=U\oplus U^\perp$ #

设 $U$ 是 $V$ 的有限维子空间，则 $V=U\oplus U^\perp$。

$U$ 与蓝虚线 $U^\perp$，任何 $v$ 都唯一地写成「沿 $U$ 的一块 + 垂直的一块」" loading="lazy" decoding="async" />

证明。 先证 $V=U+U^\perp$。取 $U$ 的一组规范正交基 $e_1,\dots,e_m$（存在性来自 23 讲的格拉姆-施密特）。对任意 $v\in V$，令

$$v=\underbrace{\langle v,e_1\rangle e_1+\cdots+\langle v,e_m\rangle e_m}_{=:\ u}+\underbrace{v-\langle v,e_1\rangle e_1-\cdots-\langle v,e_m\rangle e_m}_{=:\ w}.$$

$u\in U$ 显然。要证 $w\in U^\perp$，只需证 $w$ 与每个 $e_k$ 正交（因为 $e_k$ 张成 $U$，而「与一组张成元正交」就等价于「与整个张成空间正交」）：

$$\langle w,e_k\rangle=\langle v,e_k\rangle-\langle v,e_k\rangle\cdot 1=0 .$$

这里用到两件事：$\langle e_k,e_k\rangle=1$，以及 $\langle e_j,e_k\rangle=0$（$j\neq k$）——规范正交基的每一条都用上了，一条不多一条不少。于是 $w\in U^\perp$，$V=U+U^\perp$。

再证交集是 $\{0\}$。由性质 (d)，$U\cap U^\perp\subseteq\{0\}$；又两者都是子空间，都含 $0$，故 $U\cap U^\perp=\{0\}$。由 06 讲的直和判据（和等于全空间 + 交为零），$V=U\oplus U^\perp$。$\blacksquare$

24.4 分解唯一，于是 $P_U$ 定义得通 #

既然是直和，每个 $v$ 的写法 $v=u+w$（$u\in U$，$w\in U^\perp$）就是唯一的。这条唯一性允许我们下定义：

定义 24.5（正交投影）：设 $U$ 是 $V$ 的有限维子空间。把 $v$ 唯一地写成 $v=u+w$（$u\in U$，$w\in U^\perp$），令

$$P_Uv=u .$$

由此得到的映射 $P_U:V\to V$ 称为到 $U$ 上的正交投影。

注意 $P_U$ 是算子（$V\to V$，不是 $V\to U$），只是它的值域落在 $U$ 里。这个约定让 $P_U$ 有加减乘的代数性质，后面要用。

一维情形先算一遍。 设 $u\neq 0$，$U=\operatorname{span}(u)$。把 $v$ 拆成

$$v=\frac{\langle v,u\rangle}{\|u\|^2}u+\left(v-\frac{\langle v,u\rangle}{\|u\|^2}u\right).$$

第一项显然是 $u$ 的倍数，在 $U$ 里；第二项与 $u$ 作内积：

$$\left\langle v-\frac{\langle v,u\rangle}{\|u\|^2}u,\ u\right\rangle=\langle v,u\rangle-\frac{\langle v,u\rangle}{\|u\|^2}\|u\|^2=0,$$

所以它在 $U^\perp$ 里。由唯一性，

$$P_Uv=\frac{\langle v,u\rangle}{\|u\|^2}u .$$

这个公式要能背下来，也要能当场推出来。 它是整个最小二乘的种子。

24.6 $P_U$ 的九条性质 #

设 $U$ 是 $V$ 的有限维子空间，则

	性质	一句话读法
(a)	$P_U$ 是线性映射	拆解是线性的，所以取「$U$ 那一块」也是
(b)	对 $u\in U$，$P_Uu=u$	$U$ 里的点，投影不动它
(c)	对 $w\in U^\perp$，$P_Uw=0$	垂直的那半被压成零
(d)	$\operatorname{range}P_U=U$	打到 $U$ 上，且打满
(e)	$\operatorname{null}P_U=U^\perp$	被压成零的正好是那半
(f)	$v-P_Uv\in U^\perp$	误差永远垂直于 $U$
(g)	$P_U^2=P_U$	投两次等于投一次
(h)	$\|P_Uv\|\le\|v\|$	投影不会把向量拉长
(i)	若 $e_1,\dots,e_m$ 是 $U$ 的规范正交基，则 $P_Uv=\sum_{k}\langle v,e_k\rangle e_k$	计算式

逐一说明为什么，因为这九条几乎每一条后面都会被用到。

• (a) 设 $v_1=u_1+w_1$、$v_2=u_2+w_2$，则 $v_1+v_2=(u_1+u_2)+(w_1+w_2)$，其中 $u_1+u_2\in U$、$w_1+w_2\in U^\perp$，由唯一性 $P_U(v_1+v_2)=u_1+u_2=P_Uv_1+P_Uv_2$。数乘同理：$\lambda v=\lambda u+\lambda w$。关键在于 $U$ 与 $U^\perp$ 都是子空间，各自对加法、数乘封闭，否则这一步过不去。
• (b) $u=u+0$，$0\in U^\perp$，唯一性给 $P_Uu=u$。
• (c) $w=0+w$，唯一性给 $P_Uw=0$。
• (d) 一边 $\operatorname{range}P_U\subseteq U$ 由定义；另一边由 (b) 得 $U\subseteq\operatorname{range}P_U$。
• (e) (c) 给 $U^\perp\subseteq\operatorname{null}P_U$；反向：若 $P_Uv=0$，则分解是 $v=0+v$，$v\in U^\perp$。
• (f) $v-P_Uv=w\in U^\perp$，就是定义里的那一块。
• (g) $P_U^2v=P_U(P_Uv)=P_Uu=u=P_Uv$（(b) 用在这里）。
• (h) $\|P_Uv\|^2=\|u\|^2\le\|u\|^2+\|w\|^2=\|v\|^2$，最后一步是勾股定理（因为 $u\perp w$）。
• (i) 就是 24.3 证明中那个式子的前半段。

24.7 最小化定理 #

设 $U$ 是 $V$ 的有限维子空间，$v\in V$，$u\in U$。则

$$\|v-P_Uv\|\ \le\ \|v-u\|,$$

且等号成立当且仅当 $u=P_Uv$。

证明。 把误差向量拆开：

$$v-u=(v-P_Uv)+(P_Uv-u).$$

第一项在 $U^\perp$ 里（性质 (f)），第二项在 $U$ 里（$P_Uv$ 与 $u$ 都在 $U$）。两项互相垂直，于是可以用勾股定理：

$$\|v-u\|^2=\|v-P_Uv\|^2+\|P_Uv-u\|^2\ \ge\ \|v-P_Uv\|^2 .$$

不等式得证。等号成立当且仅当 $\|P_Uv-u\|^2=0$，即 $u=P_Uv$。$\blacksquare$

$v$ 压到 $u$ 的方向上；红色是投影 $P_Uv$，灰色虚线是误差 $v-P_Uv$，它与 $u$ 垂直——「垂直」正是「最短」的判据" loading="lazy" decoding="async" />

这条定理有三个值得停一下的地方：

1. 证明只用了一次勾股定理，加一次「两块分别落在 $U^\perp$ 与 $U$ 里」。 没有求导、没有不等式估计、没有构造。整个最小化理论就是「拆成直角三角形的两条直角边，斜边只能是 $\ge$ 直角边」。
2. 等号条件说明最近点唯一。 所以「最近点」不是一族，是一个点。这点和一般的最优化问题很不一样。
3. 它把「找最近点」变成「算 $P_Uv$」，而 $P_Uv$ 有显式公式（性质 (i) 或一维公式）。 这就把几何问题变成了可执行的计算。

24.8 手算例一：投影到平面 #

$V=\mathbb{R}^3$，$U=\{(x,y,z):x+y+z=0\}$，$v=(1,2,3)$。求 $P_Uv$ 与 $\|v-P_Uv\|$。

第一步：找 $U^\perp$。 $U$ 由方程 $x+y+z=0$ 给出，即所有与 $n=(1,1,1)$ 正交的向量，所以 $U=\{n\}^\perp$，从而

$$U^\perp=(\{n\}^\perp)^\perp=\operatorname{span}(n).$$

（这一步用了 24.10 的 $(U^\perp)^\perp=U$；如果一时不敢用，也可以直接验证：$n$ 与 $U$ 中每个向量都正交，且 $\dim U^\perp=3-2=1$，故 $U^\perp$ 就是 $n$ 的张成。）

第二步：先把 $v$ 投到 $U^\perp$ 上（一维，有公式）。

$$P_{U^\perp}v=\frac{\langle v,n\rangle}{\|n\|^2}n=\frac{1+2+3}{3}(1,1,1)=2(1,1,1)=(2,2,2).$$

第三步：用互补关系取回 $U$ 那一块。

$$P_Uv=v-P_{U^\perp}v=(1,2,3)-(2,2,2)=(-1,0,1).$$

验算。 $(-1)+0+1=0$，确实在 $U$ 里；误差 $(2,2,2)\perp(1,1,1)$，确实在 $U^\perp$ 里。距离

$$\|v-P_Uv\|=\|(2,2,2)\|=2\sqrt3\approx 3.464 .$$

用另一种算法交叉验证。 取 $U$ 的一组规范正交基：$e_1=\frac{1}{\sqrt2}(1,-1,0)$，$e_2=\frac{1}{\sqrt6}(1,1,-2)$。则

$$\langle v,e_1\rangle=\frac{1-2}{\sqrt2}=-\frac{1}{\sqrt2},\qquad \langle v,e_2\rangle=\frac{1+2-6}{\sqrt6}=-\frac{3}{\sqrt6},$$

$$\begin{aligned}P_Uv&=\langle v,e_1\rangle e_1+\langle v,e_2\rangle e_2\\ &=-\frac12(1,-1,0)-\frac12(1,1,-2)\\ &=\left(-\frac12,\frac12,0\right)+\left(-\frac12,-\frac12,1\right)=(-1,0,1).\end{aligned}$$

两条路结果一致。

24.9 手算例二：最小二乘拟合直线 #

三个数据点：$(0,1)$、$(1,3)$、$(2,2)$。要拟合 $y=a+bx$。

先把它翻译成最近点问题。 三个点都严格落在一条直线上是不可能的（三点共线才可能）。把每条方程写成矩阵形式：

$$\underbrace{\begin{pmatrix}1&0\\ 1&1\\ 1&2\end{pmatrix}}_{A}\begin{pmatrix}a\\ b\end{pmatrix}\ \overset{?}{=}\ \underbrace{\begin{pmatrix}1\\3\\2\end{pmatrix}}_{y}.$$

左边所有可能的取值构成 $\mathbb{R}^3$ 的子空间 $U=\operatorname{range}A$（列 $\mathbb{R}^3$ 中的 $(1,1,1)$ 与 $(0,1,2)$ 张成的平面）。所谓「拟合得最好」，就是在这个平面 $U$ 里找一点 $A\hat{x}$ 离 $y$ 最近：

$$\hat{x}=\arg\min_{x}\ \|Ax-y\| .$$

由 24.7，最近点就是 $P_Uy$，而它的特征是误差垂直于 $U$：

$$y-A\hat{x}\ \perp\ \operatorname{range}A .$$

「垂直于整个 $\operatorname{range}A$」等价于「垂直于 $A$ 的每一列」。写成矩阵就是 $A^{\mathsf T}(y-A\hat{x})=0$，即

$$A^{\mathsf T}A\,\hat{x}=A^{\mathsf T}y .$$

这一步只用到「$\langle Ax,w\rangle=x^{\mathsf T}A^{\mathsf T}w$」，不需要任何内积空间的抽象机器。这就是正规方程。

代入算。

$$A^{\mathsf T}A=\begin{pmatrix}1&1&1\\0&1&2\end{pmatrix}\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}=\begin{pmatrix}3&3\\3&5\end{pmatrix},\qquad A^{\mathsf T}y=\begin{pmatrix}1&1&1\\0&1&2\end{pmatrix}\begin{pmatrix}1\\3\\2\end{pmatrix}=\begin{pmatrix}6\\7\end{pmatrix}.$$

解 $\begin{pmatrix}3&3\\3&5\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}6\\7\end{pmatrix}$：由第一式 $a+b=2$，代入第二式 $3a+5b=7$ 得 $2b=1$，故

$$b=\frac12,\qquad a=\frac32,\qquad \hat y=\frac32+\frac12 x .$$

验算残差。 三个点的预测值是 $1.5,\ 2,\ 2.5$，残差向量

$$r=y-A\hat{x}=(1-1.5,\ 3-2,\ 2-2.5)=\left(-\tfrac12,\ 1,\ -\tfrac12\right).$$

它应当垂直于 $A$ 的两列：

$$(-\tfrac12)+1+(-\tfrac12)=0\quad\checkmark\qquad 0\cdot(-\tfrac12)+1\cdot 1+2\cdot(-\tfrac12)=0\quad\checkmark$$

残差平方和 $\|r\|^2=\frac14+1+\frac14=\frac32$。这个 $\frac32$ 就是这组数据在「直线模型」下的最小可能残差。

24.10 $(U^\perp)^\perp=U$ 与「$U^\perp=\{0\}$ 判据」 #

（一）设 $U$ 是 $V$ 的有限维子空间，则 $(U^\perp)^\perp=U$。

两个包含方向分开证：

• $U\subseteq(U^\perp)^\perp$：设 $u\in U$。由 $U^\perp$ 的定义，$u$ 与 $U^\perp$ 里每个向量都正交，所以 $u\in(U^\perp)^\perp$。这一步对任何 $U$ 都成立，不需要有限维。
• 反向：设 $v\in(U^\perp)^\perp$。由 24.3 写 $v=u+w$，$u\in U$、$w\in U^\perp$。则 $w=v-u$。已知 $v\in(U^\perp)^\perp$，又 $u\in U\subseteq(U^\perp)^\perp$，故 $w\in(U^\perp)^\perp$。于是 $w\in U^\perp\cap(U^\perp)^\perp\subseteq\{0\}$（性质 (d)），$w=0$，$v=u\in U$。

（二）$U$ 有限维时，$U^\perp=\{0\}\iff U=V$。

正向：若 $U^\perp=\{0\}$，则 $U=(U^\perp)^\perp=\{0\}^\perp=V$（用 (b)）。反向：若 $U=V$，则 $U^\perp=V^\perp=\{0\}$（用 (c)）。

---

四、几何直观 / 记忆钩子 #

一张图记住整讲 #

把 $V$ 想成一张纸。$U$ 是纸上的红线，$U^\perp$ 是纸上的蓝虚线（见第三节那张图）。两条线在原点交叉成直角。

• 任意一个点 $v$，都由「红线上的一段」+「蓝虚线上的一段」拼成，且拼法唯一。
• $P_Uv$ 就是红线上那段。它是 $v$ 在红线上的「影子」。
• $v-P_Uv$ 就是蓝虚线上那段，是「影子之外剩下的部分」，即误差。
• $U$ 上的哪个点离 $v$ 最近？ 就是影子落点。因为垂线段最短——这是中学几何里那句话的完整版。

三个可背的口诀 #

口诀	对应的数学事实
「垂直即最短」	24.7：$u_0$ 最近 $\iff$ $v-u_0\perp U$
「投影不拉长」	性质 (h)：$\|P_Uv\|\le\|v\|$，且等号只在 $v\in U$ 时
「加起来是恒等」	$P_U+P_{U^\perp}=I$；投影到两半，正好把 $v$ 拼全

第三条还有一个推论值得单独记：投影的「损失」正好是 $\|P_{U^\perp}v\|$。因为

$$\|v\|^2=\|P_Uv\|^2+\|P_{U^\perp}v\|^2 .$$

所以「$v$ 有多大一部分落在 $U$ 之外」可以直接读出来——这就是傅里叶级数里「能量分解」的来源（第六节）。

为什么叫「正交投影」而不是「投影」 #

一般的斜投影也满足 $P^2=P$，也是沿着某些方向把点推到子空间上，但它不保长度：可能存在 $\|Pv\|>\|v\|$。只有要求「推的方向垂直于目标子空间」时，才有 $\|Pv\|\le\|v\|$ 和「最近点」这两件事。 所以定义 24.5 里那个「沿 $U^\perp$ 推出」的说法不是多余的修饰，它是全部性质的来源。

---

五、常见误区 #

---

六、拓展（可跳过） #

6.1 用多项式逼近 $\sin x$：一个真实的「最佳」 #

取 $V=C[-\pi,\pi]$，内积 $\langle f,g\rangle=\int_{-\pi}^{\pi}fg$；取 $U$ 为次数不超过 $5$ 的实系数多项式构成子空间，$v(x)=\sin x$。要最小化

$$\int_{-\pi}^{\pi}|\sin x-u(x)|^2\,dx .$$

这正好是 24.7 的框架：在无穷维空间里，对一个有限维子空间做投影——注意 $V$ 是无穷维但 $U$ 有限维，所以 24.3 与 24.7 全部可用。

做法：对 $U$ 的基 $1,x,x^2,x^3,x^4,x^5$ 用格拉姆-施密特（内积是积分）得到规范正交基，再用性质 (i) 求和。结果是一个奇函数（因为 $\sin$ 是奇函数、积分区间对称，偶数次项的系数全部为 $0$）：

$$u(x)=0.987862\,x-0.155271\,x^3+0.00564312\,x^5 .$$

把它和泰勒多项式 $p(x)=x-\dfrac{x^3}{3!}+\dfrac{x^5}{5!}$ 比一比：在 $x$ 靠近 $0$ 时两者都很好，但在 $x=3$ 处，泰勒多项式的误差约 $0.4$，而上式的误差约 $0.001$——差了两个数量级。

6.2 伪逆：当 $A$ 不可逆时怎么办 #

把 24.7 用到方程 $Tv=w$ 上（$T\in\mathcal{L}(V,W)$，$V$ 有限维）。若 $T$ 不可逆，方程可能无解，也可能有无穷多解。两种情形都有一个「最好的答案」：

• 无解时：求 $v$ 使 $\|Tv-w\|$ 最小。这正是「把 $w$ 投影到 $\operatorname{range}T$ 上」，因为 $\|Tv-w\|=\|Tv-P_{\operatorname{range}T}w\|+\|P_{\operatorname{range}T}w-w\|$，第二项与 $v$ 无关，只需让第一项为零。
• 无穷多解时：在所有解里挑 $\|v\|$ 最小的那个，即挑 $\operatorname{null}T$ 的正交补里的那个解。

把这两步拼起来，就得到伪逆

$$T^{\dagger}w=\left(T\big|_{(\operatorname{null}T)^\perp}\right)^{-1}P_{\operatorname{range}T}\,w ,$$

它满足两条漂亮的恒等式：

$$TT^{\dagger}=P_{\operatorname{range}T},\qquad T^{\dagger}T=P_{(\operatorname{null}T)^\perp} .$$

这两条把「伪逆」彻底解释清楚了：$TT^\dagger$ 就是把 $W$ 压到 $\operatorname{range}T$ 上的投影，所以 $T(T^\dagger w)$ 是 $\operatorname{range}T$ 里离 $w$ 最近的点；$T^\dagger T$ 把 $V$ 压到 $\operatorname{null}T$ 的正交补上，所以它是「去掉零空间那部分、留下最小范数解」的投影。$T$ 可逆时 $\operatorname{null}T=\{0\}$、$\operatorname{range}T=W$，两个投影都退化成恒等算子，于是 $T^\dagger=T^{-1}$。

伪逆在最小二乘的正规方程里就是 $(A^{\mathsf T}A)^{-1}A^{\mathsf T}$（列满秩时）；列不满秩时它给出最小范数最小二乘解。这个对象在 29 讲讨论奇异值分解时会以 $A^\dagger=V\Sigma^\dagger U^{*}$ 的形式再出现一次。

6.3 里斯表示定理的新证法 #

同一个定理换一条证明路线，往往能看清它在说什么。线性泛函 $\varphi\in V'$ 对应一个向量 $v$（使 $\varphi(u)=\langle u,v\rangle$）这件事，可以用正交补一件一件拆出来：

1. $\operatorname{null}\varphi$ 是 $V$ 的超平面（$\dim\operatorname{null}\varphi=\dim V-1$，当 $\varphi\neq0$）；
2. 于是 $(\operatorname{null}\varphi)^\perp$ 是一维的（24.2）；
3. 取其中非零的 $w$，令 $v=\dfrac{\varphi(w)}{\|w\|^2}w$，则对任意 $u$ 都有 $\varphi(u)=\langle u,v\rangle$。

这里的要点是：$\varphi$ 的全部信息都压在它零空间的正交补那一根直线上。 一个「吃向量吐数字」的规则，被压缩成了一个向量——这件事之所以可能，全靠正交补提供的「一维缺口」和投影提供的显式公式。

---

七、自测（先做，再看答案） #

1. $\mathbb{R}^3$ 中 $U=\operatorname{span}\{(1,1,1)\}$，$v=(1,2,3)$。求 $P_Uv$、$P_{U^\perp}v$ 与到 $U$ 的距离。

2. $\mathbb{R}^4$ 中 $U=\operatorname{span}\{(1,1,0,0),(1,1,1,2)\}$，$v=(1,2,3,4)$。求 $U$ 中离 $v$ 最近的点，并算出距离。

3. 设 $U$ 是 $V$ 的有限维子空间。证明 $P_{U^\perp}=I-P_U$。

4. 判断并说明理由：若 $U,W$ 是 $V$ 的子空间，$U\cap W=\{0\}$，且 $\dim U+\dim W=\dim V$，则 $W=U^\perp$。

5. $\mathbb{R}^3$ 中 $U=\{(x,y,z):x+y+z=0\}$，求 $P_U$ 在标准基下的矩阵，并验证 $P_U^2=P_U$、$P_U=P_U^{\mathsf T}$。

答案（点开）

1. $u=(1,1,1)$，$\|u\|^2=3$，$\langle v,u\rangle=1+2+3=6$。于是

$$P_Uv=\frac{6}{3}(1,1,1)=(2,2,2),\qquad P_{U^\perp}v=v-P_Uv=(-1,0,1).$$

距离 $\|P_{U^\perp}v\|=\sqrt{1+0+1}=\sqrt2$。验收：$(2,2,2)\perp(-1,0,1)$，内积 $-2+0+2=0$ ✓。

2. 记 $u_1=(1,1,0,0)$、$u_2=(1,1,1,2)$。$\langle u_1,u_1\rangle=2$，$\langle u_1,u_2\rangle=2$，$\langle u_2,u_2\rangle=1+1+1+4=7$；$\langle v,u_1\rangle=3$，$\langle v,u_2\rangle=1+2+3+8=14$。
设 $P_Uv=au_1+bu_2$，由「误差垂直于 $U$」得正规方程

$$\begin{pmatrix}2&2\\2&7\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}3\\14\end{pmatrix}.$$

第二式减第一式：$5b=11$，$b=\dfrac{11}{5}$；代回 $2a+2b=3$ 得 $a=-\dfrac{7}{10}$。于是

$$P_Uv=-\frac{7}{10}(1,1,0,0)+\frac{11}{5}(1,1,1,2)=\left(\frac32,\ \frac32,\ \frac{11}{5},\ \frac{22}{5}\right).$$

误差 $v-P_Uv=\left(-\dfrac12,\dfrac12,\dfrac45,-\dfrac25\right)$，与 $u_1$ 的内积 $-\dfrac12+\dfrac12=0$ ✓，与 $u_2$ 的内积 $-\dfrac12+\dfrac12+\dfrac45-\dfrac45=0$ ✓。
距离 $\|v-P_Uv\|=\sqrt{\dfrac14+\dfrac14+\dfrac{16}{25}+\dfrac{4}{25}}=\sqrt{\dfrac{13}{10}}$。

3. 对任意 $v$，由 24.3 唯一地写 $v=u+w$（$u\in U$，$w\in U^\perp$）。则 $P_Uv=u$；同时相对 $U^\perp$ 看，$v=w+u$ 就是它的分解（第二块在 $(U^\perp)^\perp=U$ 里，用 24.10），故 $P_{U^\perp}v=w$。于是

$$(P_U+P_{U^\perp})v=u+w=v,$$

对一切 $v$ 成立，即 $P_U+P_{U^\perp}=I$。

4. 假。 这组条件只保证 $V=U\oplus W$（直和），不保证正交。
反例：$V=\mathbb{R}^2$，$U=\operatorname{span}\{(1,0)\}$，$W=\operatorname{span}\{(1,1)\}$。$U\cap W=\{0\}$，$\dim U+\dim W=2=\dim V$，但 $\langle(1,0),(1,1)\rangle=1\neq0$。而 $U^\perp$ 是 $y$ 轴，不是 $W$。
正确的加强版：若再加上「$W\perp U$」（即每个 $w\in W$ 与每个 $u\in U$ 正交），则由 $W\subseteq U^\perp$ 与两者维数相同得 $W=U^\perp$。

5. 先求 $P_{U^\perp}$：$U^\perp=\operatorname{span}\{(1,1,1)\}$，故 $P_{U^\perp}v=\dfrac{\langle v,(1,1,1)\rangle}{3}(1,1,1)=\dfrac{x+y+z}{3}(1,1,1)$。于是 $P_U=I-P_{U^\perp}$，其矩阵为

$$P_U=\begin{pmatrix}1&0&0\\0&1&0\\0&0&1\end{pmatrix}-\frac13\begin{pmatrix}1&1&1\\1&1&1\\1&1&1\end{pmatrix}=\frac13\begin{pmatrix}2&-1&-1\\-1&2&-1\\-1&-1&2\end{pmatrix}.$$

验 $P_U^2=P_U$：注意 $P_{U^\perp}^2=P_{U^\perp}$ 且 $P_UP_{U^\perp}=0$，展开 $(I-P_{U^\perp})^2=I-2P_{U^\perp}+P_{U^\perp}^2=I-P_{U^\perp}$ ✓。
验对称：矩阵显然对称 ✓。（这与 25 讲要讲的「正交投影是自伴算子」一致。）
顺带：用它算 24.8 那个例子，$P_U(1,2,3)=\frac13(2-2-3,\ -1+4-3,\ -1-2+6)=\frac13(-3,0,3)=(-1,0,1)$，与手算一致。

---

八、复习卡 #

项	内容
正交补	$U^\perp=\{v\in V:\ \forall u\in U,\ \langle u,v\rangle=0\}$；$U$ 只需是子集
$U^\perp$ 是子空间	是，即使 $U$ 不是子空间（性质 a）
$\{0\}^\perp$ / $V^\perp$	$V$ / $\{0\}$
交	$U\cap U^\perp\subseteq\{0\}$（同时含 $0$ 时取等）
反单调	$G\subseteq H\Rightarrow H^\perp\subseteq G^\perp$（方向掉转）
只看见张成	$U^\perp=(\operatorname{span}U)^\perp$
直和分解	$U$ 有限维 $\Rightarrow V=U\oplus U^\perp$（无限维时可能失效）
维数	$\dim U^\perp=\dim V-\dim U$
双重补	有限维时 $(U^\perp)^\perp=U$；一般只有 $\subseteq$
零补判据	$U$ 有限维时 $U^\perp=\{0\}\iff U=V$
投影定义	$v=u+w$ 唯一，$u\in U$，$w\in U^\perp$，则 $P_Uv=u$
一维公式	$P_Uv=\dfrac{\langle v,u\rangle}{\|u\|^2}u$
正交基公式	$P_Uv=\sum_k\langle v,e_k\rangle e_k$（$e_k$ 为 $U$ 的规范正交基）
误差	$v-P_Uv\in U^\perp$
幂等	$P_U^2=P_U$；$\operatorname{range}P_U=U$，$\operatorname{null}P_U=U^\perp$
不拉长	$\|P_Uv\|\le\|v\|$，等号 $\iff v\in U$
互补	$P_{U^\perp}=I-P_U$；$\|v\|^2=\|P_Uv\|^2+\|P_{U^\perp}v\|^2$
最小化	$\|v-P_Uv\|\le\|v-u\|$ 对一切 $u\in U$，等号 $\iff u=P_Uv$（唯一）
最近点判据	$u_0$ 最近 $\iff v-u_0\perp U$
正规方程	最小化 $\|Ax-y\|$ $\Rightarrow$ $A^{\mathsf T}Ax=A^{\mathsf T}y$
验算两条	$P_Uv\in U$；$v-P_Uv$ 与 $U$ 的生成元都正交

---

九、出处与延伸（可选，不影响阅读） #

• 主线来源：本讲内容对应《线性代数应该这样学》（第 4 版，吴俊达、何阳 译）第 6 章 6C 节「正交补和最小化问题」，PDF 第 191–203 页（印刷页码 177–189）。定义编号 6.46（正交补）、6.48（五条性质）、6.49（直和分解）、6.51（维数）、6.52（双重补）、6.54（零补判据）、6.55（正交投影）、6.57（九条性质）、6.61（最小化）、6.63（逼近正弦）、6.67–6.70（伪逆）。习题 15 就是本讲自测第 2 题，习题 5 是自测第 3 题，习题 16 是「有限维不能去掉」的反例。
• 「导出即最优」的初等证明：第三节开头那个 $f'(0)=0$ 的论证，本质是微积分里的「误差与切空间正交」条件，与有限维最小二乘、变分法里的欧拉–拉格朗日方程同源。不需要内积空间的抽象框架就能验证，适合作为第一遍理解的入口。
• 术语别名：「正交补」= orthogonal complement；「正交投影」= orthogonal projection（注意与「斜投影 oblique projection」区分）；「最小二乘」= least squares；「伪逆」= 穆尔–彭罗斯逆（Moore–Penrose inverse），记作 $T^\dagger$ 或 $A^{+}$。
• 想深挖时可查的方向：
  • 正交投影与自伴算子：本讲只用到 $P_U=P_U^{\mathsf T}$（实情形）这一条，完整理论在 25 讲。
  • 谱定理：26 讲会把「用规范正交基对角化自伴算子」证出来，其证明的第一句就是「取特征值的特征空间的正交补，在它上面归纳」——用的正是本讲的直和分解。
  • 奇异值分解：29 讲把 $A$ 的最优低秩逼近写成投影形式，伪逆的完整公式也在那里。
  • 数值稳定性：实际计算最小二乘时不要显式解正规方程（$A^{\mathsf T}A$ 的条件数是 $A$ 的平方，会放大误差），而用 QR 分解或 SVD。这是「理论上正确的公式」和「数值上可用的算法」之间的经典分野，属于数值线性代数的内容，本课不展开。
• 一个历史上的注记：最小二乘由勒让德（1805）与高斯（1809）分别提出并用于天文观测数据（谷神星轨道）。高斯给出的理由正是「误差平方和最小」，而「为什么用平方而不用绝对值」这个问题，一直要到概率论里高斯分布出现之后才有令人满意的回答。正交投影给出的是一个纯几何的解释：平方和之所以自然，是因为它来自勾股定理。