内积与范数 #
这讲讲什么:给向量空间再加一层结构——内积。有了它,向量才有长度、有夹角、能谈垂直,也才证得出那条支配整个数学的不等式。
前置:02 讲的向量空间定义、06 讲的基与维数;13 讲开头给过的复数共轭与绝对值
一句话:范数不是公理,是内积的副产品;所有关于长度的定理,最后都归到 ⟨u,⋅⟩ 的线性上。
一、为什么需要它 #
前 21 讲我们手上只有两样东西:加法与标量乘法。由此长出线性组合、张成、线性无关、基、维数、线性映射、矩阵、特征值——整套理论只管结构,不管距离。
这带来一个具体的不便。取 R2 的两个向量
u=(1,0),v=(0,1)
它们线性无关,这一点我们早就会判断了。但它们「垂直」吗?「一样长」吗?「谁离原点更近」?在 02 讲的框架里,这三个问题根本没有意义——向量空间的定义里没有任何一样东西能提供比较的尺度。
你可能会说:长度不是现成的吗,∥x∥=x12+⋯+xn2。对,但请注意两件事。
第一,这个公式对高维没有解释力。 它为什么长这样?为什么 R3 里是「平方和开根」,而不是 ∣x1∣+∣x2∣+∣x3∣?如果换一组基,它还成立吗?光看公式答不出来。
第二,它不线性。 这才是真麻烦。∥λx∥=∣λ∣∥x∥ 只能算「齐次」,而
∥x+y∥=∥x∥+∥y∥
一般地不成立:取 x=(1,0)、y=(0,1),左边是 2,右边是 2。长度这个量天生不线性,可前 21 讲积累的全部工具——线性组合、基、矩阵、特征值——都是线性的。范数落在工具射程之外。
出路只有一条:别直接研究长度,先研究一个线性的对象,让长度从它派生出来。
那个对象就是点积。在 Rn 上
x⋅y=x1y1+⋯+xnyn
它对每个位置都线性:
(x+x′)⋅y=x⋅y+x′⋅y,(λx)⋅y=λ(x⋅y)
而长度正藏在它里面:
∥x∥2=x⋅x
「平方」这一步,把非线性的问题拽回了线性世界。这一讲要做的,就是把点积从 Rn 的具体公式里抽出来,变成任何向量空间都能安装的一层结构——内积。
范数不好算,范数的平方好算;范数的平方是内积。
所以凡是遇到与长度有关的证明,第一反应应该是「两边平方,改写成内积」。
读完这一讲,你应该能回答:
- 内积的五条公理里,哪一条是为了让复空间也能用才变复杂的?
- Cauchy–Schwarz 不等式的等号条件为什么偏偏是「成比例」?
- ⟨u,v⟩=0 与 ∥u+v∥2=∥u∥2+∥v∥2 真的无条件等价吗?
二、定义与最小例子 #
2.1 定义 #
设 V 是数域 F(R 或 C)上的向量空间。V 上的内积是一个函数,把每个有序对 (u,v) 对应到一个数 ⟨u,v⟩∈F,并满足下面五条:
① 正性(positivity)
⟨v,v⟩≥0对所有 v∈V
② 定性(definiteness)
⟨v,v⟩=0⟺v=0
③ 第一个位置上的可加性
⟨u+v,w⟩=⟨u,w⟩+⟨v,w⟩对所有 u,v,w∈V
④ 第一个位置上的齐次性
⟨λu,v⟩=λ⟨u,v⟩对所有 λ∈F, u,v∈V
⑤ 共轭对称性
⟨u,v⟩=⟨v,u⟩对所有 u,v∈V
装了内积的向量空间,称为内积空间。
2.2 逐条读一遍 #
①② 一起看:它们说的其实是同一件事的两半。① 说 ⟨v,v⟩ 这个数落在非负实数里(注意:即使 F=C,内积也可能取复数值,但自己和自己的内积永远是实数);② 说它只有在 v=0 时才取到 0。合起来就是「⟨v,v⟩ 像长度的平方」——非负,且只有零向量长度为零。
只要求 ⟨v,v⟩≥0 而不要求 ②,会出现「非零但长度为零」的向量。
那样的量不能当长度用,因为「v=0 却 ∥v∥=0」会让后面所有唯一性论证失效。
② 是把「平方」变成「长度」的那道闸门。
③④ 一起看:它们说的是「第一个位置是线性的」。注意是第一个,不是两个都线性——⑤ 会让第二个位置变成共轭线性,这一点第三节要单独算。
⑤:交换两个位置,结果取复共轭。若 F=R,每个实数都等于自己的共轭,所以 ⑤ 直接退化成对称性
⟨u,v⟩=⟨v,u⟩
也就是说,实空间的内积是对称的双线性型;复空间的内积是「一个位置线性、另一个位置共轭线性」的半双线性型。第三条「真的等价吗」这个问题,答案的分水岭就在这里。
有的资料(尤其是物理文献)把共轭放在第一个位置,于是第一个位置共轭线性、第二个位置线性。
两种写法给出的长度 ⟨v,v⟩ 完全一样,差的只是把矩阵转置并共轭一下。
本文统一采用上面 ③④ 的约定:第一个位置线性。读别的书时先确认它的约定,再动笔。
2.3 最小例子:R2 上的欧几里得内积 #
⟨(x1,x2),(y1,y2)⟩=x1y1+x2y2
手算一个:取 u=(1,2)、v=(3,−1),则
⟨u,v⟩=1⋅3+2⋅(−1)=1
而 ⟨v,u⟩=3⋅1+(−1)⋅2=1,相等(实空间,符合 ⑤ 的退化形式)。
回看五条:① ⟨u,u⟩=x12+x22≥0 ✓;② 平方和为零当且仅当两个分量都为零 ✓;③④ 展开即得,是分配律 ✓;⑤ 乘法可交换 ✓。
2.4 更多例子:同一个空间可以装不同的内积 #
以下每个都是货真价实的内积,建议逐个验证「哪一条最容易漏」。
(a) Fn 上的欧几里得内积
⟨(w1,…,wn),(z1,…,zn)⟩=w1z1+⋯+wnzn
当 F=R 时共轭无作用,就是普通的点积。当 F=C 时,共轭必须有——否则 ⟨z,z⟩=∑zk2 可能是复数,① 就无法成立。
(b) 加权内积:取定正数 c1,…,cn,
⟨(w1,…,wn),(z1,…,zn)⟩=c1w1z1+⋯+cnwnzn
五条全部照抄 (a) 的验证,只在 ② 处多一句「ck>0 所以 ck∣zk∣2 之和为零当且仅当每个 zk=0」。这一个例子就说明:内积不是唯一的,Fn 上装了不同内积就是不同的内积空间。
(c) 连续函数空间上的积分内积:设 V 是 [−1,1] 上全体连续实值函数,
⟨f,g⟩=∫−11fg
③④ 是积分的线性,⑤ 是乘法可交换。真正要动脑的是 ②:若 ∫−11f2=0,能否推出 f≡0?
能,但要靠连续性。若某个 x0 处 f(x0)=0,则 f2 在 x0 的一个小邻域上有正下界,积分就严格大于零,矛盾。所以 f 处处为零。
「∫f2=0⇒f=0」不是恒真的。若把 V 换成「[−1,1] 上全体黎曼可积函数」,
取 f 只在一个点上等于 1、其余处处为零,则 ∫f2=0 但 f=0,② 就失败了。
定性的成立依赖「连续」这个前提,不是积分的功劳。
(d) 多项式空间 P(R) 上的内积
⟨p,q⟩=p(0)q(0)+∫−11p′q′
② 的验证:⟨p,p⟩=p(0)2+∫(p′)2=0 意味着一项一项为零,故 p(0)=0 且 p′=0。p′ 恒为零说明 p 是常数,再由 p(0)=0 得 p≡0。✓
(e) 带权指数衰减的内积
⟨p,q⟩=∫0∞p(x)q(x)e−xdx
② 的验证:被积函数非负,积分为零说明 p2e−x 在 [0,∞) 上处处为零(同样用连续性),而 e−x>0,故 p≡0。这里正性由「被积函数非负」直接给出,定性由「多项式若在一段区间上为零则恒为零」给出。
2.5 内积空间的定义与约定 #
带内积的向量空间叫内积空间。最重要的是 Fn 配欧几里得内积;以后说「Fn 是内积空间」,除非另行声明,指的都是这个内积。
这里有个轻微的术语滥用要点明:内积空间 = 向量空间 + 一个指定的内积。同一个向量空间换上另一个内积,就是另一个内积空间。说「V 是内积空间」时,那个内积要么隐含、要么由上下文唯一确定。
三、几个必须自己算一遍的结论 #
3.1 展开公式:一切的起点 #
先算一个反复要用的式子。对任意 u,v∈V,
∥u+v∥2=⟨u+v,u+v⟩=⟨u,u⟩+⟨u,v⟩+⟨v,u⟩+⟨v,v⟩=∥u∥2+2Re⟨u,v⟩+∥v∥2
第一步用了 ③(第一个位置可加),第三步用了 ⑤ 把 ⟨v,u⟩ 换成 ⟨u,v⟩,而一个复数加自己的共轭等于它的实部的两倍。
它的信息量极大:两个向量相加之后长度会「多出来」多少,完全由 Re⟨u,v⟩ 决定。
Re⟨u,v⟩>0 时变长,<0 时变短,=0 时恰好等于平方和。
3.2 第二个位置是共轭线性的 #
定义只要求第一个位置线性,第二个位置的行为要推出来。
可加性:
⟨u,v+w⟩=⟨v+w,u⟩=⟨v,u⟩+⟨w,u⟩=⟨v,u⟩+⟨w,u⟩=⟨u,v⟩+⟨u,w⟩
共轭齐次性:
⟨u,λv⟩=⟨λv,u⟩=λ⟨v,u⟩=λ⟨v,u⟩=λ⟨u,v⟩
第一个位置:⟨λu,v⟩=λ⟨u,v⟩,横杠没有。
第二个位置:⟨u,λv⟩=λ⟨u,v⟩,横杠有。
实空间里两者一样,看不出区别;一到复空间,这一根横杠能让整道题翻车。第 3.6 节会看到它的后果。
顺带得到两条常用结论:对每个 v,⟨0,v⟩=0(因为 u↦⟨u,v⟩ 是线性的,线性映射把 0 送到 0),以及 ⟨v,0⟩=⟨0,v⟩=0=0。
3.3 正交分解(一个构造,后面全靠它) #
问题:给定 u,v,且 v=0,能不能把 u 拆成「v 的标量倍」加上「与 v 正交的一块」?
试着拆:对任意标量 c,恒有
u=cv+(u−cv)
现在只需要选 c,让第二块与 v 正交:
0=⟨u−cv,v⟩=⟨u,v⟩−c⟨v,v⟩
(第二个等号用了第一个位置的线性和齐次性。)于是
c=∥v∥2⟨u,v⟩
分母 ∥v∥2=0 正是因为 v=0(由定性)。代回去:
u=∥v∥2⟨u,v⟩v+w,w=u−∥v∥2⟨u,v⟩v,⟨w,v⟩=0
这就是正交分解。cv 叫 u 在 v 方向上的投影,w 叫残差。24 讲会用这个构造做最小化问题,23 讲会用它做 Gram–Schmidt,其源头都在这里。
分子是内积 ⟨u,v⟩,分母是平方 ∥v∥2。
常见的错是把分母写成 ∥v∥,算出带量纲的怪东西。
检验办法:量纲(尺度)上看,c 必须与 v 无关地缩放——把 v 换成 tv,c 不该变。
3.4 Cauchy–Schwarz 不等式(完整证明) #
定理:设 u,v∈V,则
∣⟨u,v⟩∣≤∥u∥∥v∥
等号成立当且仅当 u,v 成标量倍数关系。
证明
若 v=0,左边 ∣⟨u,0⟩∣=0,右边 ∥u∥⋅0=0,两端相等,结论成立。以下设 v=0。
用 3.3 的正交分解
u=∥v∥2⟨u,v⟩v+w,⟨w,v⟩=0
先确认两块互相正交:
⟨∥v∥2⟨u,v⟩v, w⟩=∥v∥2⟨u,v⟩⟨v,w⟩=0
(第一块是 w 的标量倍,⟨v,w⟩=⟨w,v⟩=0=0。)
于是可以对这两块用毕达哥拉斯定理(它的证明见 3.6,且只用到展开公式,没有循环论证):
∥u∥2=∥v∥2⟨u,v⟩v2+∥w∥2=∥v∥4∣⟨u,v⟩∣2∥v∥2+∥w∥2=∥v∥2∣⟨u,v⟩∣2+∥w∥2≥∥v∥2∣⟨u,v⟩∣2(3.1)
两边乘 ∥v∥2>0,得
∣⟨u,v⟩∣2≤∥u∥2∥v∥2
再开平方(两边都非负)即得
∣⟨u,v⟩∣≤∥u∥∥v∥
等号条件:由 (3.1),等号成立当且仅当 ∥w∥=0,由定性当且仅当 w=0,即
u=∥v∥2⟨u,v⟩v
也就是 u 是 v 的标量倍。反过来,若 u=cv,直接计算:
∣⟨cv,v⟩∣=∣c∣∥v∥2,∥cv∥∥v∥=∣c∣∥v∥2
两端相等。再补上 v=0 的情形:此时 u 是 v 的标量倍、v 也是 u 的标量倍,两端仍相等。合起来就是「u,v 成标量倍数关系」。■
分解 → 勾股 → 扔掉非负项 → 开方。
这不是巧合:Cauchy–Schwarz 的几何内容就是「直角三角形的斜边不短于直角边」。
只要能正交分解,这个不等式几乎是被送出来的。反过来,凡是能用 C–S 的地方,都可以想象成一个投影在起作用。
两个具体形态:
(i) 对实数 x1,…,xn,y1,…,yn,
(k=1∑nxkyk)2≤(k=1∑nxk2)(k=1∑nyk2)
就是从 Rn 的欧几里得内积直接抄下来的。
(ii) 对 [−1,1] 上的连续实值函数,
∫−11fg2≤(∫−11f2)(∫−11g2)
就是从例 2.4 (c) 抄下来的。
同一个不等式,两副面孔。这正是「把点积抽象成内积」的回报:证一次,处处通用。
3.5 三角不等式 #
定理:设 u,v∈V,则
∥u+v∥≤∥u∥+∥v∥
证明:由 3.1 的展开公式,
∥u+v∥2=∥u∥2+2Re⟨u,v⟩+∥v∥2≤∥u∥2+2∣⟨u,v⟩∣+∥v∥2≤∥u∥2+2∥u∥∥v∥+∥v∥2=(∥u∥+∥v∥)2
第二行用了 Rez≤∣z∣,第三行用了 Cauchy–Schwarz。两边开平方即得。■
等号条件:要两处同时取等。第一处要求 Re⟨u,v⟩=∣⟨u,v⟩∣,即 ⟨u,v⟩ 是非负实数;第二处要求 C–S 取等,即 u,v 成标量倍数关系。合起来:那个标量必须是非负实数。
取 u=(1,0)、v=(−1,0),共线,但 ∥u+v∥=0,而 ∥u∥+∥v∥=2,等号不成立。
必须「同方向」,不能「反方向」。这正是「非负实数倍」比「标量倍」严格的地方。
反向三角不等式(常用):由 u=(u−v)+v 的三角不等式得 ∥u∥≤∥u−v∥+∥v∥,即 ∥u∥−∥v∥≤∥u−v∥;交换 u,v 再取绝对值:
∥u∥−∥v∥≤∥u−v∥
它的意思是:两个向量的长度差,不会超过它们的距离。这也是「长度是连续函数」的定量版本。
3.6 毕达哥拉斯定理,以及它的逆命题 #
定理:若 ⟨u,v⟩=0,则
∥u+v∥2=∥u∥2+∥v∥2
证明:由 3.1,∥u+v∥2=∥u∥2+2Re⟨u,v⟩+∥v∥2,而 ⟨u,v⟩=0 时 Re⟨u,v⟩=0。■
一行就完了。但逆命题要小心,它正是第三个问题的答案。
实空间的情形:若 F=R,Re⟨u,v⟩ 就是 ⟨u,v⟩,于是
∥u+v∥2=∥u∥2+∥v∥2⟺⟨u,v⟩=0
无条件等价。这就是为什么「垂直 ⟺ 勾股定理成立」在平面几何里天经地义。
复空间的情形:等价关系只到
∥u+v∥2=∥u∥2+∥v∥2⟺Re⟨u,v⟩=0
为止。Re⟨u,v⟩=0 比 ⟨u,v⟩=0 弱。反例在 C2 里(用 2.4 (a) 的内积):取
u=(1,0),v=(i,0)
⟨u,v⟩=1⋅i+0⋅0=−i=0
但 Re(−i)=0,于是
∥u+v∥2=∥(1+i,0)∥2=∣1+i∣2=2=1+1=∥u∥2+∥v∥2
勾股定理成立,两个向量却不正交。
「⟨u,v⟩=0⟺∥u+v∥2=∥u∥2+∥v∥2」只在实内积空间成立。
复空间里只有单向:正交 ⇒ 勾股;反向不成立。
记不住就记展开公式——它永远是对的,Re 也在那里摆着。
顺带:平行四边形等式。把 u+v 与 u−v 的平方同时展开相加,
∥u+v∥2+∥u−v∥2=(∥u∥2+2Re⟨u,v⟩+∥v∥2)+(∥u∥2−2Re⟨u,v⟩+∥v∥2)=2(∥u∥2+∥v∥2)
交叉项正好抵消。这条恒等式不含内积,只含范数,它刻画的正是「这个范数是不是从某个内积来的」——第六节会用到。
四、几何直观 / 记忆钩子 #
4.1 把内积看成「投影 × 长度」 #
在 R2 里,若 u,v 都是单位向量、夹角为 θ,则
⟨u,v⟩=cosθ
一般的 u,v(非零)则有
⟨u,v⟩=∥u∥∥v∥cosθ
于是 Cauchy–Schwarz 变成了一个初等事实:余弦的绝对值不超过 1。
这个读法给出三条好用的直觉:
- 内积的符号告诉你夹角是锐角还是钝角。⟨u,v⟩>0 锐角,<0 钝角,=0 直角。
- 内积的大小(相对范数而言)告诉你「投影有多长」。固定 ∥u∥,当 v 方向不变、长度翻倍时,内积也翻倍——因为投影的「影子长度」乘上了 v 的尺子。
- ⟨u,v⟩=0 就是「影子长度为零」,即 u 在 v 上没有任何分量。
4.2 高维的角度是定义出来的,不是画出来的 #
R2、R3 可以画图。R100 不能。但非零向量 x,y 的夹角照样可以定义:
θ=arccos∥x∥∥y∥⟨x,y⟩
这个定义有意义的唯一理由就是 Cauchy–Schwarz:它保证分数落在 [−1,1] 里,arccos 才有定义。
它不是一条「顺便证明的估计式」,而是夹角概念的许可证。
如果 C–S 不成立,arccos 会收到 1.5 这种输入,整个高维几何就无从谈起。
4.3 两个记忆钩子 #
钩子一:「先平方」。
长度的一切麻烦都来自根号。遇到 ∥u+v∥,立刻改写为 ∥u+v∥2 并展开成内积。这一招能解决 90% 的范数题。
钩子二:「第一个位置直,第二个位置反」。
- ⟨λu,v⟩=λ⟨u,v⟩(直的,无横杠)
- ⟨u,λv⟩=λ⟨u,v⟩(反的,有横杠)
- 实空间里两者看不出差别,所以初学用 Rn 练手不会暴露问题,换到 C 才翻车。
钩子三(图像):把 u 想成一支箭,v 想成一束光的方向。u 在这束光下的影子就是 ∥v∥2⟨u,v⟩v,剩余部分 w 与光线平行方向垂直。正交分解 = 把箭拆成「顺着光」和「背着光」两段。在草稿纸上画一个直角三角形:斜边是 u,一条直角边是投影 ∥v∥2⟨u,v⟩v,另一条是 w。Cauchy–Schwarz 说的就是——斜边不会短于那条投影边。这张图你自己画一遍,比看任何插图都管用。
五、常见误区 #
误区 1:以为「⟨u,v⟩=0」和「∥u+v∥2=∥u∥2+∥v∥2」无条件等价 只在实内积空间成立。复空间里后者的真实条件是 Re⟨u,v⟩=0,它比正交弱。
反例:C2 中 u=(1,0)、v=(i,0),⟨u,v⟩=−i=0,但 ∥u+v∥2=2=∥u∥2+∥v∥2。
判断办法:不要凭几何直觉,回到展开公式,看那个 Re 还在不在。
误区 2:以为内积只有一种,就是「对应相乘再相加」 加权内积 c1w1z1+⋯+cnwnzn(ck>0)、积分内积 ∫fg、p(0)q(0)+∫p′q′ 都是内积。
「内积」是一组公理,不是一个公式。R2 换了内积,垂直关系就变了:在欧几里得内积下 ⟨(1,1),(1,−1)⟩=1−1=0,两者正交;换成权重为 (2,3) 的加权内积后,⟨(1,1),(1,−1)⟩=2⋅1⋅1+3⋅1⋅(−1)=−1=0,同一对向量不再正交。
所以「两个向量垂不垂直」这句话,不指定内积就是没有意义的。
误区 3:以为任何「看起来像长度」的函数都是范数,或者任何范数都来自内积 范数本身是有公理的:正定(∥v∥=0⟺v=0)、齐次(∥λv∥=∣λ∣∥v∥)、三角不等式。
但满足这三条的范数不一定来自内积。判据是平行四边形等式:来自内积的范数必满足它,反之亦然(这一方向的构造是第六节的内容)。
反例:R2 上的 ∥(x,y)∥∞=max{∣x∣,∣y∣}。取 u=(1,0)、v=(0,1):
∥u+v∥∞2+∥u−v∥∞2=1+1=2,而 2(∥u∥∞2+∥v∥∞2)=2(1+1)=4。不等,所以它不来自任何内积。
同样地,∥(x,y)∥1=∣x∣+∣y∣ 也失败(算出来是 4+4=8 对 2⋅2=4)。
误区 4:把 Cauchy–Schwarz 的等号条件写成「u,v 共线」 共线不够,要看是不是同向。不过 C–S 的等号条件确实是「成标量倍数关系」(含任一为零的情形),换成三角不等式的等号条件才必须是「非负实数倍」。
别把两条不等式的等号条件混着记:
- C–S:∥u∥、∥v∥ 成比例即可,方向随便(因为左边有绝对值)。
- 三角不等式:必须同向(左边没有绝对值,反向会让中间项变负)。
初学者拿到一个候选公式,往往验证了双线性和对称性就宣布「是内积」。真正容易失败的是定性。
典型陷阱:在 [−1,1] 上的「全体可积函数」上定义 ⟨f,g⟩=∫fg——双线性、对称都对,但取「只在一点取值为 1、其余为零」的 f,有 ⟨f,f⟩=0 而 f=0,② 失败。
口诀:双线性 + 对称是便宜的,定性是要付代价的(连续性、正权、ck>0 都是代价)。
六、拓展(可跳过) #
6.1 极化恒等式:从范数反推内积 #
范数是内积派生的。反过来,内积能不能由范数算出来?在实空间里可以:
⟨u,v⟩=4∥u+v∥2−∥u−v∥2
把 3.1 的展开公式代进去,右边是 44⟨u,v⟩,恰好还原。
这条式子有两层意思。第一,实内积空间里「内积」与「范数」是同一个信息的两种编码,谁都不能多给一点东西。第二,它给了范数一个可检验的指纹:如果某个范数来自内积,它必须满足平行四边形等式(3.6 已算),而平行四边形等式又足以造出内积——事实上可以证明:
一个范数来自某个内积,当且仅当它满足平行四边形等式。
这条结论的完整证明(用极化恒等式定义 ⟨⋅,⋅⟩,再逐条验证五条公理)超出本讲范围,但结论值得记住:平行四边形等式是「内积范数」的身份证。
6.2 一个漂亮的应用:正交 ⟺ 范数对一切扰动都不减 #
证明下面的等价关系:
⟨u,v⟩=0⟺对所有 a∈F, ∥u∥≤∥u+av∥
充分性:若 ⟨u,v⟩=0,则由勾股定理
∥u+av∥2=∥u∥2+∥av∥2≥∥u∥2
必要性:设 ⟨u,v⟩=0。用展开公式,
∥u+av∥2=∥u∥2+2Re(a⟨u,v⟩)+∣a∣2∥v∥2
新添的两项里,第一项关于 a 是一次的、第二项是二次的。只要 a 足够小,一次项就压过二次项。具体地,取 a=−t⟨u,v⟩(t>0 很小),则 Re(a⟨u,v⟩)=−t∣⟨u,v⟩∣2,于是
∥u+av∥2=∥u∥2−2t∣⟨u,v⟩∣2+t2∣⟨u,v⟩∣2∥v∥2<∥u∥2
(当 0<t<∥v∥22 时)矛盾。
它把「正交」翻译成了一个变分说法:u 已经是 u 在直线 {u+av} 上的最短点。
24 讲讲最小化问题时,整个理论的出发点就是这个观察。
6.3 均值的平方不超过平方的均值 #
取 Rn 上两个特殊向量:x=(a1,…,an) 与 y=(1,…,1)。Cauchy–Schwarz 给出
(k=1∑nak)2≤(k=1∑nak2)⋅n
两边除以 n2:
(na1+⋯+an)2≤na12+⋯+an2
左边是「均值的平方」,右边是「平方的均值」。等号成立当且仅当 y 是 x 的倍数,即 a1=⋯=an。
一条统计里天天用的不等式,在 C–S 里只是一次代入。
七、自测(先做,再看答案) #
1. 在 R2 上定义 ⟨(x1,x2),(y1,y2)⟩=2x1y1+3x2y2。验证它是内积,并求 ∥(1,1)∥ 与 ⟨(1,1),(2,−1)⟩。
2. 在 [−1,1] 上的连续实值函数空间中用 ⟨f,g⟩=∫−11fg。取 f(x)=1、g(x)=x。求 ∥f∥、∥g∥、⟨f,g⟩,它们正交吗?
3. 用 Cauchy–Schwarz 证明:对任意实数 a,b,有 (a+b)2≤2(a2+b2),并指出等号成立的条件。
4. 设 ∥u∥=3、∥u+v∥=4、∥u−v∥=6,求 ∥v∥。
5. 设 V 是实内积空间。证明:⟨u,v⟩=0 当且仅当对所有 a∈R 都有 ∥u∥≤∥u+av∥。
答案(点开)
1. ① ⟨(x1,x2),(x1,x2)⟩=2x12+3x22≥0 ✓;
② 上式为零当且仅当 x1=x2=0(因系数 2,3>0)✓;
③④ 展开即得,两个分量各自线性 ✓;
⑤ 乘法可交换 ✓。所以是内积。
∥(1,1)∥=2⋅1+3⋅1=5;
⟨(1,1),(2,−1)⟩=2⋅1⋅2+3⋅1⋅(−1)=4−3=1。
2. ∥f∥2=∫−111dx=2,故 ∥f∥=2。
∥g∥2=∫−11x2dx=[3x3]−11=32,故 ∥g∥=32。
⟨f,g⟩=∫−11xdx=0。正交。
旁证:C–S 给出 0≤2⋅2/3=32,成立(且等号不成立,符合「不成比例」)。
3. 取 R2 上的欧几里得内积,令 x=(a,b)、y=(1,1)。C–S:
∣⟨x,y⟩∣2≤∥x∥2∥y∥2,即 (a+b)2≤(a2+b2)⋅2。
等号成立当且仅当 (a,b) 是 (1,1) 的标量倍,即 a=b。
4. 用平行四边形等式:
∥u+v∥2+∥u−v∥2=2(∥u∥2+∥v∥2)
代入 16+36=2(9+∥v∥2),得 52=18+2∥v∥2,故 ∥v∥2=17,∥v∥=17。
(注意:单靠 ∥u∥,∥u+v∥,∥u−v∥ 这三个数就能定出 ∥v∥,这正是内积范数的特殊性——一般范数做不到。)
5. 充分性:若 ⟨u,v⟩=0,由勾股定理 ∥u+av∥2=∥u∥2+∥av∥2≥∥u∥2。
必要性:设 ⟨u,v⟩=0(此时必有 v=0)。对任意实数 a,
∥u+av∥2=∥u∥2+2a⟨u,v⟩+a2∥v∥2
取 a=−t⟨u,v⟩,其中 t>0 且 t<∥v∥22,则
∥u+av∥2=∥u∥2−2t⟨u,v⟩2+t2⟨u,v⟩2∥v∥2=∥u∥2−⟨u,v⟩2t(2−t∥v∥2)<∥u∥2
因为 ⟨u,v⟩2>0 且 t(2−t∥v∥2)>0。这与「对所有 a 都有 ∥u∥≤∥u+av∥」矛盾。
故必有 ⟨u,v⟩=0。
八、复习卡 #
| 项 |
内容 |
| 内积五条 |
正性 ⟨v,v⟩≥0;定性 ⟨v,v⟩=0⟺v=0;第一位置可加;第一位置齐次;共轭对称 ⟨u,v⟩=⟨v,u⟩ |
| 内积空间 |
向量空间 + 一个指定的内积;换内积 = 换空间 |
| 范数 |
∥v∥=⟨v,v⟩,是非负实数 |
| 范数两条 |
∥v∥=0⟺v=0;∥λv∥=∣λ∣∥v∥ |
| 展开公式 |
∥u+v∥2=∥u∥2+2Re⟨u,v⟩+∥v∥2(一切的起点) |
| 第二位置 |
可加但共轭齐次:⟨u,λv⟩=λ⟨u,v⟩ |
| 正交 |
⟨u,v⟩=0;零向量与所有向量正交,且是唯一与自身正交的向量 |
| 正交分解 |
u=∥v∥2⟨u,v⟩v+w,⟨w,v⟩=0(v=0) |
| Cauchy–Schwarz |
∣⟨u,v⟩∣≤∥u∥∥v∥;等号 ⟺ 成标量倍数关系 |
| 三角不等式 |
∥u+v∥≤∥u∥+∥v∥;等号 ⟺ 一方是另一方的非负实数倍 |
| 反向三角 |
∥u∥−∥v∥≤∥u−v∥ |
| 勾股定理 |
⟨u,v⟩=0⇒∥u+v∥2=∥u∥2+∥v∥2 |
| 勾股逆命题 |
仅实空间成立;复空间只到 Re⟨u,v⟩=0 |
| 平行四边形等式 |
∥u+v∥2+∥u−v∥2=2(∥u∥2+∥v∥2);是「范数来自内积」的判据 |
| 典型反例 |
max{∣x∣,∣y∣} 与 ∥x∥+∣y∣ 不来自内积(违反平行四边形等式) |
| 解题第一反应 |
遇长度先平方,改写为内积 |
九、出处与延伸(可选,不影响阅读) #
- 主线出处:本讲内容对应《线性代数应该这样学》(第 4 版,Sheldon Axler 著,吴俊达、何阳 译)第 6 章 6A 节「内积和范数」,PDF 第 165–177 页(印刷页码 152–164)。按编号回查:点积 6.1、内积 6.2、五个内积例子 6.3(a)–(e)、内积空间 6.4、记号 6.5、内积的基本性质 6.6、范数 6.7、范数例 6.8、范数的基本性质 6.9、正交 6.10、正交性与 0 6.11、毕达哥拉斯定理 6.12、一种正交分解 6.13、Cauchy–Schwarz 6.14、例 6.16、三角不等式 6.17、平行四边形等式 6.21。
- 原文的证明顺序:先证正交分解 6.13,再用它 + 勾股 6.12 证 Cauchy–Schwarz 6.14,最后用 C–S 证三角不等式 6.17。本文的第三节完全照这个顺序,没有调换——因为这条链每往前一步都依赖前一步,换顺序就得另找证明。
- 关于共轭放在哪一侧:第 4 版把齐次性放在第一个位置,因此 Cn 上的欧几里得内积写作 ∑wkzk;不少物理文献把共轭放在第一个位置。两种约定给出的范数相同,但 ⟨u,λv⟩ 到底是 λ⟨u,v⟩ 还是 λ⟨u,v⟩ 会互换。照抄任何资料之前先确认它的约定。
- 习题来源:本讲第六节 6.1 的极化恒等式、6.2 的正交等价条件,分别对应该节习题第 26、6 题;平行四边形等式作为「范数来自内积」的判据,对应该节习题第 28 题(其证明思路是先用极化恒等式造内积,再验证五条公理)。
- 术语别名:内积 = 数量积 / 标量积(scalar product);范数 = 长度 / 模(norm,复数情形下叫 moduli 的模);共轭对称也叫 Hermite 对称;实空间里内积就是对称正定双线性型。
- 延伸阅读:关于「角度在高维需由 Cauchy–Schwarz 授权」这一点,该节习题第 16 题直接作为论述题提出;关于 p-范数只在 p=2 时来自内积,见同节习题第 25 题。
- 历史注记:Cauchy 于 1821 年给出离散形式的版本,Bunyakovsky 于 1859 年给出积分形式,Schwarz 数十年后独立发现并使之广为人知,不等式因三人得名。勾股定理在 R2 的特例,古巴比伦人早在三千五百多年前就已掌握,希腊人两千五百多年前重新发现并给出证明。
有了内积,「正交」就成了一个可以批量制造的概念。23 讲会把一个基里的向量两两正交化,得到规范正交基;24 讲会在正交的基础上解决最小化问题——而它们的全部工具,就是本讲的正交分解 3.3 与 Cauchy–Schwarz 3.4。