29 奇异值分解

奇异值分解 #

这讲讲什么：对任意线性映射（不管方不方、自伴不自伴、能不能对角化），都造出两组规范正交基，使它关于这两组基的矩阵变成对角阵——对角线上的数叫奇异值
前置：22 讲（内积与范数）、23 讲（规范正交基）、25 讲（伴随）、26 讲（谱定理）、27 讲（正算子）
一句话：正交方向进，正交方向出。 $T$ 挑几个互相垂直的方向拉长，$T$ 再把它们送成另一组互相垂直的方向，缩放倍数就是奇异值。

---

一、为什么需要它 #

1.1 特征值只解决了一小半问题 #

20 讲说过：算子可对角化 $\iff$ 存在由特征向量构成的基。26 讲又把它升级成：自伴（实）或正规（复）算子，存在由特征向量构成的规范正交基。

这两条都很强，但它们的适用范围被三道墙死死框住：

墙	撞墙的例子
必须是方阵	$T:\mathbb{R}^3\to\mathbb{R}^2$ 压掉一维，哪来的「特征方向」？
必须有足够多特征向量	$\begin{pmatrix}1&1\\0&1\end{pmatrix}$ 只有一个特征值，特征空间一维，凑不出基
实情形下必须有实特征值	平面旋转 $90^\circ$，$\lambda^2+1=0$，一个实特征值都没有

而工程里最常出现的恰恰是这三堵墙后面的东西：一个 $1000\times 3000$ 的数据矩阵、一个从高维测量空间回到低维状态空间的回归算子、一张被压缩过的图像。它们全都不是可以正交对角化的对象。

所以真正的问题不是「怎样对角化一个算子」，而是：

任意一个线性映射 $T:V\to W$，能不能也用某种「对角化」的语言说清楚？

SVD 的回答是：能。代价是要用两组基，一组在出发空间 $V$，一组在目标空间 $W$。这个代价小得惊人——因为「两组基」正好对应「输入一组坐标、输出另一组坐标」这个现实场景。

1.2 它把「特征值」这个词的两个毛病治好了 #

毛病一：特征值可以有负数和复数，不便于当「大小」用。 你要衡量「这个映射把东西放大了几倍」，特征值给不了答案：$-\lambda$ 的绝对值一样，$2\mathrm{i}$ 更是没法比大小。

毛病二：特征值对非方阵根本不存在。 但「放大倍数」这个概念对非方阵完全说得通。

奇异值把这两件事一起解决：它总是非负实数，而且对任何线性映射都有定义。 这是它比特征值「好用」的全部理由，也是它在数值线性代数里成为主力工具的原因。

1.3 读完这一讲你应该能回答 #

1. 为什么奇异值要定义成「$T^*T$ 特征值的非负平方根」，而不是别的什么？
2. 一个矩阵的特征值和奇异值能差多远？极端情况长什么样？
3. 给一个 $2\times2$ 矩阵，能不能在十分钟内手算出它的完整 SVD？
4. 为什么说「奇异值 = 像椭圆的半轴长」，这句话在 $T$ 不可逆时还成立吗？

---

二、定义与最小例子 #

2.1 先把那个「半步」补上 #

要让定义成立，得先确认 $T^*T$ 是个好对象。这条结论是整讲的发动机。

引理（$T^*T$ 的性质） 设 $T\in\mathcal{L}(V,W)$，则

(a) $T^*T$ 是 $V$ 上的正算子；

(b) $\operatorname{null}T^*T=\operatorname{null}T$；

(c) $\operatorname{range}T^*T=\operatorname{range}T^*$；

(d) $\dim\operatorname{range}T=\dim\operatorname{range}T^*=\dim\operatorname{range}T^*T$。

为什么 (a) 成立。 先看自伴：

$$(T^*T)^*=(T^*)(T^*)^*=T^*T$$

再看非负性——关键是把 $\langle T^*Tv,v\rangle$ 认成「长度的平方」：

$$\langle (T^*T)v,v\rangle=\langle Tv,Tv\rangle=\|Tv\|^2\ge 0$$

两步都在用同一件事。设 $x=Tv$、$y=v$，则伴随的定义 $\langle T^*x,y\rangle=\langle x,Ty\rangle$ 给出

$$\langle (T^*T)v,v\rangle=\langle T^*x,y\rangle=\langle x,Ty\rangle=\langle Tv,Tv\rangle$$

为什么 (b) 成立。 这是同一个技巧的第二次使用。若 $T^*Tv=0$，则

$$\|Tv\|^2=\langle Tv,Tv\rangle=\langle T^*Tv,v\rangle=\langle 0,v\rangle=0$$

于是 $Tv=0$。反过来若 $Tv=0$，显然 $T^*Tv=T^*(0)=0$。两个方向合起来就是 (b)。

$$\langle T^*Tv,v\rangle=\|Tv\|^2$$

它把「算子的复合」翻译成「长度的平方」。 本讲的每个证明几乎都要用它一次：
正交性用它、(b) 用它、(d) 用它、最后「半轴长」还是用它。
看到 $T^*T$ 就条件反射地换成 $\|Tv\|^2$，这一讲就通了七成。

为什么 (d) 成立。 由 (b) 与 (c)：

$$\dim\operatorname{range}T^*T=\dim\operatorname{range}T^*=\dim W-\dim\operatorname{null}T^*$$

（第一处：自伴算子的值域等于零空间的正交补——26 讲正交对角化的直接推论。第二处：08 讲的线性映射基本定理用在 $T^*$ 上。）

又因为 $\operatorname{null}T^*=(\operatorname{range}T)^\perp$（24 讲的正交补），所以 $\dim\operatorname{null}T^*=\dim W-\dim\operatorname{range}T$，代回即得 $\dim\operatorname{range}T^*=\dim\operatorname{range}T$。

2.2 定义：奇异值 #

定义。 设 $T\in\mathcal{L}(V,W)$。$T$ 的奇异值是 $T^*T$ 的特征值的非负平方根，按降序排列；每个奇异值的出现次数等于 $T^*T$ 对应特征空间的维数。

用式子写就是：若 $T^*T$ 的特征值（带重数）是 $\lambda_1\ge\lambda_2\ge\cdots\ge\lambda_n\ge 0$，则

$$s_k=\sqrt{\lambda_k},\qquad s_1\ge s_2\ge\cdots\ge s_n\ge 0$$

这里 $n=\dim V$，所以奇异值永远有 $n$ 个（允许并列、允许等于 $0$）——这一点很重要，它保证了后面 $e_1,\dots,e_n$ 能凑满一组基。

2.3 最小例子：对角矩阵 #

取 $A=\operatorname{diag}(3,2)$（$2\times2$）。则

$$A^*A=\begin{pmatrix}3&0\\0&2\end{pmatrix}\begin{pmatrix}3&0\\0&2\end{pmatrix}=\begin{pmatrix}9&0\\0&4\end{pmatrix}$$

特征值 $9,4$，奇异值 $3,2$。这里奇异值恰好等于特征值的绝对值——因为 $A$ 本身就是正算子。对齐这个特例：一旦 $A$ 不是自伴的，「奇异值 = 特征值的绝对值」立刻失效，见第五节的误区 1。

2.4 第二个例子：奇异值能看见特征值看不见的东西 #

取

$$A=\begin{pmatrix}0&1\\0&0\end{pmatrix}$$

它的特征多项式是 $\lambda^2$，所以唯一的特征值是 $0$（二重）。按特征值判断，这个矩阵「什么也没干」。但

$$A^*A=\begin{pmatrix}0&0\\0&1\end{pmatrix}\cdot\begin{pmatrix}0&1\\0&0\end{pmatrix}=\begin{pmatrix}0&0\\0&1\end{pmatrix}$$

特征值 $1,0$，于是奇异值是 $1,0$。

这说明：$A$ 把 $e_2$ 整个搬到了 $e_1$ 上，长度没有损失。 特征值看不见这件事，是因为 $A$ 把一个方向搬走之后又把原方向清零了，两件事在「$Av=\lambda v$」这个等式里互相抵消。而 $A^*A$ 只看「长度有没有被改变」：

$$\|Ae_2\|=\|e_1\|=1,\qquad \|Ae_1\|=\|0\|=0$$

所以 $\|A\|$ 意义下的「最大放大倍数」是 $1$，正是最大的奇异值。

---

三、几个必须自己算一遍的结论 #

3.1 SVD 定理：证明的每一步都能在草稿纸上复现 #

定理（奇异值分解） 设 $T\in\mathcal{L}(V,W)$，$T$ 的正奇异值是 $s_1,\dots,s_m$。那么存在 $V$ 中的规范正交组 $e_1,\dots,e_m$ 和 $W$ 中的规范正交组 $f_1,\dots,f_m$，使得对任一 $v\in V$ 都有

$$Tv=s_1\langle v,e_1\rangle f_1+\cdots+s_m\langle v,e_m\rangle f_m \tag{3.1}$$

证明分四步，一步都不能省。

第 1 步：用谱定理造 $e_1,\dots,e_n$。 把奇异值补齐成 $s_1,\dots,s_n$（$n=\dim V$，允许后面若干个是 $0$）。由引理 (a)，$T^*T$ 是正算子，于是 26 讲的谱定理给出 $V$ 的一组规范正交基 $e_1,\dots,e_n$，使

$$T^*Te_k=s_k^2e_k,\qquad k=1,\dots,n \tag{3.2}$$

注意这一步为什么能成：谱定理要求「自伴」，正算子满足；谱定理同时保证特征值全为实——这正好对应 $s_k^2\ge 0$，所以 $\sqrt{\phantom{x}}$ 取得出来。定义里那个「平方根」就是从这里来的。

第 2 步：把 $f_k$ 定义出来。 对 $k=1,\dots,m$（只对正奇异值），令

$$f_k=\frac{Te_k}{s_k} \tag{3.3}$$

这个定义合法，因为 $s_k>0$；而且 $f_k$ 非零。

第 3 步：验证 $f_1,\dots,f_m$ 是规范正交组。 对 $j,k\in\{1,\dots,m\}$：

$$\langle f_j,f_k\rangle=\frac{1}{s_js_k}\langle Te_j,Te_k\rangle=\frac{1}{s_js_k}\langle e_j,T^*Te_k\rangle=\frac{s_k^2}{s_js_k}\langle e_j,e_k\rangle=\frac{s_k}{s_j}\delta_{jk}$$

（第二处用伴随的定义，第三处用式 (3.2)。）当 $j=k$ 时得 $1$，当 $j\neq k$ 时得 $0$。✓

第 4 步：展开 $Tv$。 先处理下标 $k>m$ 的那些位置。若 $k>m$，则 $s_k=0$，由 (3.2) 有 $T^*Te_k=0$；再由引理 (b)，$Te_k=0$。于是对任意 $v=\sum_{k=1}^{n}\langle v,e_k\rangle e_k$，

$$Tv=\sum_{k=1}^{n}\langle v,e_k\rangle Te_k=\sum_{k=1}^{m}\langle v,e_k\rangle s_kf_k$$

（第一个等号：$T$ 线性；第二个等号：$k>m$ 的项全为 $0$，$k\le m$ 的项用 (3.3) 把 $Te_k$ 换成 $s_kf_k$。）这正是 (3.1)。$\blacksquare$

3.2 把它写成矩阵：$A=BDC^*$ #

把 (3.1) 翻译成矩阵语言。设 $A$ 是 $T$（关于标准基）的 $p\times n$ 矩阵，秩为 $m\ge 1$。令

$$B=\big[f_1\ \cdots\ f_m\big]\ (p\times m),\qquad D=\operatorname{diag}(s_1,\dots,s_m)\ (m\times m),\qquad C=\big[e_1\ \cdots\ e_m\big]\ (n\times m)$$

则

$$A=BDC^* \tag{3.4}$$

为什么。 直接验证两边的「作用」相同就够：对每个 $e_k$，

$$BDC^*e_k=BD\,u_k=B(s_ku_k)=s_kf_k=Te_k$$

（$u_k$ 是 $\mathbb{F}^m$ 的标准基向量；$C^*e_k=u_k$ 来自 $C$ 的列是规范正交的。）两边在 $e_1,\dots,e_m$ 上一致，而 $T$ 在其余 $e_k$ 上作用为 $0$、$BDC^*$ 在其余方向同样为 $0$，所以两边作为映射一致。

$$A=U\Sigma V^*,\qquad U\ (p\times p),\ \Sigma\ (p\times n),\ V\ (n\times n)$$

其中 $\Sigma$ 只有前 $m$ 个对角元非零，其余位置全为 $0$——这正是广义对角矩阵（允许非方阵，只要求除 $A_{k,k}$ 外全为 $0$）。
扩充出来的那些列是任意的，它们不影响 $A$，只影响你用什么基去描述「被拍死的方向」。

3.3 手算一个 $2\times2$ 的完整 SVD #

这是本讲最该亲手做一遍的地方。取

$$A=\begin{pmatrix}3&0\\4&5\end{pmatrix}$$

它不对称，所以既不保证可正交对角化，特征值也未必反映大小。按流程走。

第 1 步：算 $A^*A$。（实情形 $A^*=A^{\mathsf T}$。）

$$A^*A=\begin{pmatrix}3&4\\0&5\end{pmatrix}\begin{pmatrix}3&0\\4&5\end{pmatrix}=\begin{pmatrix}9+16&20\\20&25\end{pmatrix}=\begin{pmatrix}25&20\\20&25\end{pmatrix}$$

第 2 步：求 $A^*A$ 的特征值。 这个矩阵长得对称且两个对角元相等，几乎可以直接看出答案，但还是按标准流程算：

$$\det(A^*A-\lambda I)=(25-\lambda)^2-400=\lambda^2-50\lambda+225=(\lambda-45)(\lambda-5)$$

所以 $\lambda_1=45$，$\lambda_2=5$。

第 3 步：取非负平方根，得奇异值。

$$s_1=\sqrt{45}=3\sqrt5\approx6.71,\qquad s_2=\sqrt5\approx2.24$$

（降序排好。注意 $s_1s_2=\sqrt{45\cdot5}=\sqrt{225}=15=|\det A|$——这不是巧合，见第六节。）

第 4 步：求 $A^*A$ 的单位特征向量。

$\lambda=45$：$A^*A-45I=\begin{pmatrix}-20&20\\20&-20\end{pmatrix}$，解得 $x=y$，取 $e_1=\dfrac{1}{\sqrt2}(1,1)^{\mathsf T}$。

$\lambda=5$：$A^*A-5I=\begin{pmatrix}20&20\\20&20\end{pmatrix}$，解得 $x=-y$，取 $e_2=\dfrac{1}{\sqrt2}(1,-1)^{\mathsf T}$。

自检：$\langle e_1,e_2\rangle=\frac12(1-1)=0$ ✓，$\|e_1\|=\|e_2\|=1$ ✓。（这一步不用做 Gram–Schmidt，因为谱定理已经保证了不同特征值的特征向量自动正交。）

第 5 步：用 $f_k=Te_k/s_k$ 算右边那组基。

先算 $Ae_1$ 和 $Ae_2$：

$$Ae_1=\frac{1}{\sqrt2}\begin{pmatrix}3&0\\4&5\end{pmatrix}\begin{pmatrix}1\\1\end{pmatrix}=\frac{1}{\sqrt2}\begin{pmatrix}3\\9\end{pmatrix},\qquad Ae_2=\frac{1}{\sqrt2}\begin{pmatrix}3&0\\4&5\end{pmatrix}\begin{pmatrix}1\\-1\end{pmatrix}=\frac{1}{\sqrt2}\begin{pmatrix}3\\-1\end{pmatrix}$$

再除以 $s_1=3\sqrt5$、$s_2=\sqrt5$：

$$f_1=\frac{1}{3\sqrt{10}}\begin{pmatrix}3\\9\end{pmatrix}=\frac{1}{\sqrt{10}}\begin{pmatrix}1\\3\end{pmatrix},\qquad f_2=\frac{1}{\sqrt{10}}\begin{pmatrix}3\\-1\end{pmatrix}$$

第 6 步：全部自检。 三个都要查。

$$\|f_1\|^2=\frac{1+9}{10}=1\ ✓\qquad\|f_2\|^2=\frac{9+1}{10}=1\ ✓\qquad\langle f_1,f_2\rangle=\frac{3-3}{10}=0\ ✓$$

第 7 步：组装。

$$A=BDC^*,\qquad B=\frac{1}{\sqrt{10}}\begin{pmatrix}1&3\\3&-1\end{pmatrix},\quad D=\begin{pmatrix}3\sqrt5&0\\0&\sqrt5\end{pmatrix},\quad C=\frac{1}{\sqrt2}\begin{pmatrix}1&1\\1&-1\end{pmatrix}$$

第 8 步：回代验算。 这一步千万别省——它是唯一能证明你没白算的步骤。

$$BD=\frac{1}{\sqrt{10}}\begin{pmatrix}1&3\\3&-1\end{pmatrix}\begin{pmatrix}3\sqrt5&0\\0&\sqrt5\end{pmatrix}=\frac{\sqrt5}{\sqrt{10}}\begin{pmatrix}3&3\\9&-1\end{pmatrix}=\frac{1}{\sqrt2}\begin{pmatrix}3&3\\9&-1\end{pmatrix}$$

再右乘 $C^*$（注意 $C$ 对称，$C^*=C$）：

$$BDC^*=\frac{1}{2}\begin{pmatrix}3&3\\9&-1\end{pmatrix}\begin{pmatrix}1&1\\1&-1\end{pmatrix}=\frac{1}{2}\begin{pmatrix}6&0\\8&10\end{pmatrix}=\begin{pmatrix}3&0\\4&5\end{pmatrix}\ ✓$$

拿到了。 顺便对照一下这个例子里两组数的差别：

	特征值	奇异值
数值	$3,\ 5$（$\det(A-\lambda I)=(3-\lambda)(5-\lambda)$）	$3\sqrt5\approx6.71,\ \sqrt5\approx2.24$
有没有反映「把 $e_2$ 拉长了」	没有	有（$s_1\approx6.71$）

3.4 奇异值就是像椭圆的半轴长 #

这一条把上面所有代数都变成一张图。取 $T\in\mathcal{L}(V,W)$，奇异值 $s_1\ge\cdots\ge s_n$，谱定理给的规范正交基是 $e_1,\dots,e_n$。

任取单位向量 $v=\sum_{k=1}^{n}c_ke_k$，其中 $\sum|c_k|^2=\|v\|^2=1$。由 (3.1)，

$$\|Tv\|^2=\Big\|\sum_k c_ks_kf_k\Big\|^2=\sum_{k=1}^{n}s_k^2|c_k|^2 \tag{3.5}$$

（第二个等号：$f_k$ 是规范正交组，交叉项全为 $0$——这就是「正交」在计算上的全部价值。）

式 (3.5) 是一个加权平均：$\|Tv\|^2$ 落在 $s_n^2$ 与 $s_1^2$ 之间，权重 $|c_k|^2$ 加起来正好是 $1$。于是立刻得到两条界：

• 最大值：取 $v=e_1$（即 $c_1=1$，其余 $0$），得 $\|Te_1\|=s_1$。所以 $s_1$ 是 $T$ 在单位球上的最大放大倍数。
• 最小值：取 $v=e_n$，得 $\|Te_n\|=s_n$。所以 $s_n$ 是最小放大倍数。

而且这两个极值只在这两个方向取到（除非奇异值重根）。这就给出：

$$\max_{\|v\|=1}\|Tv\|=s_1,\qquad \min_{\|v\|=1}\|Tv\|=s_n$$

几何说法。 把单位球面 $\{v:\|v\|=1\}$ 整个送过去，像集是

$$\left\{Tv:\|v\|=1\right\}=\left\{\sum_k s_kc_kf_k:\sum_k|c_k|^2=1\right\}$$

把 $y=Tv$ 写成 $f$ 基下的坐标 $y=\sum d_kf_k$，则 $d_k=s_kc_k$，于是条件变成 $\sum_k (d_k/s_k)^2=1$——这是一个以 $f_1,\dots,f_n$ 为轴、以 $s_1,\dots,s_n$ 为半轴长的椭球面。

二维情形就是：单位圆被 $T$ 送成一个椭圆，两条半轴的长度正是 $s_1,s_2$。下一节配图说明。

3.5 三条立刻能用的判据 #

判据一：单射 $\iff$ $0$ 不是奇异值。 因为 $T$ 单射 $\iff\operatorname{null}T=\{0\}\iff\operatorname{null}T^*T=\{0\}\iff 0$ 不是 $T^*T$ 的特征值 $\iff 0$ 不是奇异值。中间的跳步全靠引理 (b)。

判据二：正奇异值的个数 $=\dim\operatorname{range}T$。 由谱定理，$\dim\operatorname{range}T^*T$ 等于 $T^*T$ 正特征值的个数（带重数）；再由引理 (d)，$\dim\operatorname{range}T^*T=\dim\operatorname{range}T$。

于是「满射 $\iff$ 正奇异值个数 $=\dim W$」也顺手得到。

判据三：等距映射 $\iff$ 所有奇异值都等于 $1$。 因为

$$S\ \text{等距}\iff S^*S=I\iff S^*S\ \text{的特征值全是}\ 1\iff S\ \text{的奇异值全是}\ 1$$

（第一处：等距的定义 $S^*S=I$；第二处：谱定理把 $S^*S$ 正交对角化。）

---

四、几何直观 / 记忆钩子 #

看图，从左到右只有一次动作：$T$ 把左边的单位圆整体搬到右边，得到一个椭圆。

右边的椭圆告诉你三件事：

1. 长半轴 = 最大奇异值 $s_1$，它是「$T$ 能把长度放大到多少」的天花板；
2. 短半轴 = 最小奇异值 $s_2$，它是「$T$ 至少会把长度压到多少」的地板；
3. 两条半轴互相垂直，而且它们的方向是 $f_1$、$f_2$——对应到左边，那两条互相垂直的「原像方向」就是 $e_1$、$e_2$。

第 3 条是本讲的灵魂：椭圆永远有两条互相垂直的对称轴（任何椭球都是），这条中学就学过的事实，翻译回来就是「存在规范正交组 $f_1,f_2$」。而椭圆的两条轴在圆上对应的原像也必然互相垂直——这就是 $A^*A$ 是正算子（从而有规范正交特征向量基）在几何上的化身。

记忆钩子：三句话 #

一圆进，一椭出；轴是 $f$，长是 $s$；回来找 $e$，$e$ 正交。

• 「一圆进，一椭出」：定义域取单位球，值域得椭球。
• 「轴是 $f$，长是 $s$」：椭球的半轴方向是 $f_k$，半轴长度是 $s_k$。
• 「回来找 $e$，$e$ 正交」：$e_k$ 是「被拉到最长的那条原像方向」，它们也互相垂直。

另一个钩子：三个因子就是三段路 #

$$A=BDC^*\quad\Longleftrightarrow\quad V\ \xrightarrow{\ C^*\ }\ \text{坐标}\ \xrightarrow{\ D\ }\ \text{伸缩}\ \xrightarrow{\ B\ }\ W$$

$C^*$ 的作用是「把 $v$ 换到 $e$ 这组坐标下」——因为 $e$ 是规范正交基，换坐标就是做内积，不用解方程组。$D$ 只是逐坐标乘一个数。$B$ 把坐标贴回 $W$ 的方向上去。

任何矩阵的 SVD，都是「换个坐标系 → 各轴独立缩放 → 换回去」这一件事。 这也是它在数值计算里被偏爱的原因：三段都是数值稳定的操作（正交变换不放大误差）。

一个量化角度：体积 #

若 $A$ 是 $n\times n$ 可逆矩阵，$|\det A|=s_1s_2\cdots s_n$。理由：$A=BDC^*$ 且 $B,C$ 列规范正交（可补成方阵正交阵，行列式绝对值为 $1$），于是

$$|\det A|=|\det B|\cdot|\det D|\cdot|\det C^*|=1\cdot(s_1\cdots s_n)\cdot 1$$

几何含义：单位立方体被 $A$ 拉成一个各边长为 $s_k$ 的长方体（在 $f$ 基下看），体积自然是乘积。（行列式的完整讲法在 37 讲。）

---

五、常见误区 #

$$f_1=\frac{Te_1}{1}=(0,1)=e_2,\qquad f_2=\frac{Te_2}{1}=(-1,0)=-e_1$$

$f$ 组和 $e$ 组错开了 $90^\circ$。
这恰恰说明 SVD 比谱定理更灵活：谱定理要求「进去的基 = 出来的基」，SVD 允许它们不同，
换来的是对任意映射都成立。

---

六、拓展（可跳过） #

6.1 存储：为什么 SVD 能压缩数据 #

设 $A$ 是 $p\times n$、秩 $m$。$A$ 本身要存 $pn$ 个数；而 $B,D,C$ 三个因子总共只有

$$m(p+m+n)$$

个数。若 $m$ 远小于 $p,n$，后者会小得多。一个 $1000\times1000$ 的矩阵若秩是 $10$，存储量从 $10^6$ 掉到约 $2\times10^4$——两个数量级。

这不是理论游戏：截断到前 $k$ 个奇异值（令 $s_{k+1}=\cdots=0$）得到的是秩 $k$ 的最佳逼近，这条结论（Eckart–Young）是图像压缩、推荐系统、降噪的共同底座，30 讲会展开。

6.2 为什么数值上不真的去算 $T^*T$ #

上面的手算流程在纸上是标准的，但在计算机上有个隐患：$T^*T$ 的条件数是 $T$ 的两倍（奇异值被平方）。原本 $s_{\max}/s_{\min}=10^6$ 的矩阵，$T^*T$ 里变成 $10^{12}$——单精度下直接丢光信息。

实际算法（Golub–Kahan）不构造 $T^*T$，而是用一串正交变换把 $A$ 化成双对角形式，再在双对角矩阵上迭代。好处是全程只用正交变换，误差不被放大。知道这个差别的意义在于：手算流程和工程算法可以长得完全不一样，但都受同一条定理支配。

6.3 伪逆：SVD 最直接的副产品 #

若在 (3.1) 里把每个 $s_k$ 换成 $1/s_k$、把 $e$ 与 $f$ 的角色对调，得到

$$T^\dagger w=\frac{\langle w,f_1\rangle}{s_1}e_1+\cdots+\frac{\langle w,f_m\rangle}{s_m}e_m$$

这就是伪逆。$T$ 可逆时它等于 $T^{-1}$；$T$ 不可逆（甚至不是方阵）时它照样有定义，并且是「最小二乘意义下最好的那个反解」。24 讲的最小化问题到这里有了统一的算法答案。

顺便：伴随也有同样的形式，只是不替换 $s_k$：

$$T^*w=s_1\langle w,f_1\rangle e_1+\cdots+s_m\langle w,f_m\rangle e_m$$

只要交换 $e$ 与 $f$，$T$ 的公式就变成 $T^*$ 的公式。 这句话比矩阵的「共轭转置」操作更本质。

6.4 把特征值与奇异值摆在一起看 #

对比项	特征值	奇异值
背景	只需向量空间	需要内积空间
对谁有定义	只对 $V\to V$ 的算子	对 $V\to W$（可以不同）的映射
取值	任意实数或复数	非负实数
组的长度	若 $\mathbb{F}=\mathbb{R}$ 可能为空	恒等于 $\dim V$
含 $0$ 意味着	算子不可逆	映射不单射
顺序	无标准顺序	恒按降序
可否用规范正交基对角化	只有特殊算子行	任意映射都行（用两组基）

这张表解释了为什么数值线性代数几乎只用奇异值：它对任何矩阵都存在、都是实数、都有大小顺序、都能算稳定。

---

七、自测（先做，再看答案） #

1. 求 $A=\begin{pmatrix}0&-5\\1&0\end{pmatrix}$ 的奇异值；再求它的特征值，并与奇异值对照。

2. 求 $A=\begin{pmatrix}1&2\\2&1\end{pmatrix}$ 的奇异值。它与特征值有什么关系？为什么这次关系成立？

3. 设 $T\in\mathcal{L}(V,W)$ 的奇异值是 $3,0$（$\dim V=2$）。求 $\dim\operatorname{range}T$；$T$ 是单射吗？满射吗（设 $\dim W=2$）？

4. 设 $T$ 的最大奇异值是 $s_1$。证明对一切 $v\in V$ 都有 $\|Tv\|\le s_1\|v\|$。

5. 设 $A$ 是 $n\times n$ 可逆矩阵，奇异值 $s_1\ge\cdots\ge s_n>0$。证明 $A^{-1}$ 的奇异值是 $\dfrac{1}{s_n},\dots,\dfrac{1}{s_1}$。

答案（点开）

1. $A^*A=\begin{pmatrix}0&1\\-5&0\end{pmatrix}\begin{pmatrix}0&-5\\1&0\end{pmatrix}=\begin{pmatrix}1&0\\0&25\end{pmatrix}$，
特征值 $25,1$，所以奇异值是 $5,1$。
特征值：$\det(A-\lambda I)=\lambda^2+5$，得 $\lambda=\pm\mathrm{i}\sqrt5$——没有实特征值。
对照要点：特征值可以是纯虚数，奇异值只能是非负实数；
且 $|\lambda|=\sqrt5\approx2.24$ 夹在 $s_2=1$ 与 $s_1=5$ 之间，正合第五节那条不等式。

2. $A$ 对称，$A^*A=A^2=\begin{pmatrix}5&4\\4&5\end{pmatrix}$，特征值 $9,1$，奇异值 $3,1$。
特征值：$\det(A-\lambda I)=(1-\lambda)^2-4$，得 $\lambda=3,-1$。
所以奇异值 $3,1$ 恰好是 $|\lambda|=3,1$。
为什么成立：$A$ 是正规的（对称必正规），此时存在由特征向量构成的规范正交基，
特征值 $\lambda_k$ 就是 $A^*A$ 的特征值 $\lambda_k^2$ 的平方根，取绝对值即可。
反过来说，只要 $A$ 不正规（如误区 1 的例子），这条关系立刻断掉。

3. 正奇异值是 $3$ 一个，所以 $\dim\operatorname{range}T=1$。
有零奇异值，所以 $0\in$ 奇异值 $\iff T$ 不单射，$\operatorname{null}T\ne\{0\}$。
又 $\dim W=2>1=\dim\operatorname{range}T$，不满射。
几何图像：单位圆被压成一条线段（退化椭球），长度方向是 $f_1$，半轴长 $3$。
验算维数：$\dim V=\dim\operatorname{null}T+\dim\operatorname{range}T$，即 $2=1+1$ ✓。

4. 由 (3.5)，$\|Tv\|^2=\sum_k s_k^2|c_k|^2\le s_1^2\sum_k|c_k|^2=s_1^2\|v\|^2$
（因为 $s_k\le s_1$，且 $\sum|c_k|^2=\|v\|^2$ 来自 $e$ 是规范正交基）。
开方即得。等价说法：$s_1=\max_{\|v\|=1}\|Tv\|$ 就是算子范数。
注意这个不等式对任意 $v$ 成立，不只是单位向量——这正是能把它当「放大倍数的上界」用的原因。

5. $A$ 可逆，所以所有 $s_k>0$，且 $A=BDC^*$ 中 $B,C$ 都是可逆的（方阵且列正交）。
于是 $A^{-1}=C D^{-1}B^*$。对照 SVD 的形状：这正是一个「右因子 $C$、对角因子 $D^{-1}$、左因子 $B$」的分解，
而 $C,B$ 仍列规范正交，所以按唯一性（正奇异值及其对应的子空间由 $A^*A$ 决定），
$A^{-1}$ 的奇异值就是对角的 $1/s_k$，按降序排即 $1/s_n,\dots,1/s_1$。
直观检验：把单位球拉成半轴 $s_1,s_n$ 的椭圆，$A^{-1}$ 就是把它变回单位球，
半轴自然是 $1/s_1,1/s_n$；最大放大倍数变成 $1/s_n$（因为最短的那个方向被放大得最厉害）。

---

八、复习卡 #

项	内容
奇异值定义	$T^*T$ 特征值的非负平方根，降序排，重数 = 特征空间维数
个数	恰有 $\dim V$ 个（含零）
等价的看法	奇异值 $=$ 正算子 $\lvert T\rvert=\sqrt{T^*T}$ 的全部特征值
核心恒等式	$\langle T^*Tv,v\rangle=\|Tv\|^2$（几乎所有证明都靠它）
$T^*T$ 的性质	正算子；$\operatorname{null}T^*T=\operatorname{null}T$；$\operatorname{range}T^*T=\operatorname{range}T^*$；三个维数相等
SVD 定理	$Tv=\sum_{k=1}^{m}s_k\langle v,e_k\rangle f_k$，$e$ 在 $V$、$f$ 在 $W$ 中，都是规范正交组
矩阵版（薄）	$A=BDC^*$：$B\ p\times m$、$D=\operatorname{diag}(s_k)$、$C\ n\times m$
矩阵版（方）	$A=U\Sigma V^*$，$\Sigma$ 为广义对角（只有前 $m$ 个对角元非零）
证明的骨架	谱定理给 $e_k$ → 令 $f_k=Te_k/s_k$ → 验正交 → 展开 $Tv$
几何意义	单位球 $\mapsto$ 椭球，半轴长 $=s_k$，半轴方向 $=f_k$
放大倍数	$s_1=\max_{\|v\|=1}\|Tv\|$，$s_n=\min_{\|v\|=1}\|Tv\|$
零奇异值	存在 $\iff T$ 不单射；个数 $=\dim\operatorname{null}T$
秩	正奇异值个数 $=\dim\operatorname{range}T$（数值上用于低秩逼近）
等距判据	$S$ 等距 $\iff$ 所有奇异值 $=1$
$T$ 与 $T^*$	正奇异值相同（非零部分）
可逆时	$A^{-1}$ 的奇异值是 $1/s_n,\dots,1/s_1$
行列式	$\lvert\det A\rvert=s_1s_2\cdots s_n$（$A$ 可逆时）
与特征值的关系	一般只有 $\lvert\lambda\rvert\le s_1$；正规时才有奇异值 $=\lvert\lambda\rvert$
口诀	一圆进，一椭出；轴是 $f$，长是 $s$；回来找 $e$，$e$ 正交

---

九、出处与延伸（可选，不影响阅读） #

• 主线出处：《线性代数应该这样学》（第 4 版，吴俊达、何阳 译）第 7 章 7E 节「奇异值分解」，印刷第 224–232 页（对应 PDF 第 238–246 页）。包含奇异值定义、$T^*T$ 的四条性质、两个算例、正奇异值的刻画、SVD 定理与矩阵版，以及 17 道习题。
• 本文与原文的对应：第二节的 2.3、2.4 与第三节的 3.1–3.2 直接取自原文的定理与证明结构；3.3 的手算例子是本文自选的（原文用的是 $4\to 4$ 与 $4\to 3$ 的算例，其 $A^*A$ 为分块对角，更能体现「零奇异值」但手算偏长）。3.4「半轴长」是原文习题 4 的结论，本文补了完整推导；3.5 的三条判据对应原文的正奇异值刻画与等距刻画。
• 术语别名：奇异值 $=$ singular value；SVD $=$ singular value decomposition，中文也作「奇异值分解」；$f_k$、$e_k$ 有时被分别叫「左奇异向量」「右奇异向量」（注意不同教材的左右约定可能相反）；$|T|=\sqrt{T^*T}$ 有时叫「极分解里的模」。
• 历史注记：Erhard Schmidt 在 1907 年引入奇异值概念（他称其为「特征值」的一种推广）；矩阵版的 SVD 在 1930 年代由 Beltrami、Jordan、Sylvester 等人的工作汇总而成；现代数值算法（Golub–Kahan 双对角化，1965）之后 SVD 才成为工程标准工具。
• 配图说明：ch29/svd.png 是本课程自制的示意图（单位圆与它的像，半轴标注为奇异值），与本文 3.4 节的推导一一对应。另有一张三维椭球的教材插图（ch29/book-p253.png），本文未采用——它的立体画法与本文的二维叙述不好衔接，且「原书插图」这类字样会与去书本化规范冲突，故只在此说明其存在。
• 想深挖时可查：Strang《线性代数及其应用》的 SVD 章（侧重应用与图像压缩）；Trefethen & Bau《数值线性代数》讲义第 4–5 讲（侧重算法与稳定性）；Eckart–Young 定理的原始论文（1936）关于最佳低秩逼近。
• 与后续讲次的关系：30 讲会用 SVD 推出极分解、低秩逼近、主成分分析等一批结论；34 讲的迹与 SVD 有 $\operatorname{tr}(A^*A)=\sum s_k^2$ 这条桥；37 讲的行列式与 SVD 有 $|\det A|=\prod s_k$ 这条桥。