矩阵范数理论及其应用.pdf

《矩阵范数理论及其应用.pdf》由会员分享，可在线阅读，更多相关《矩阵范数理论及其应用.pdf（10页珍藏版）》请在三一文库上搜索。

1、第第四四章章 矩阵范数理论及其应用矩阵范数理论及其应用 知识要点： 1、向量范数及其性质（范数与赋范空间，n维向量的1-范数 1 x、2-范数 2 x、p-范数 p x 和范数x ， p p lim xx ， a Pa xPx， 2 HH P xPxx P Px，有限维赋范 空间的范数是等价的） 2、 矩阵范数及其相容性 （Frobenius范数， F En， 相容性：ABA B，1E ） 3、算子范数（定义，列范数，行范数，谱范数） 4、矩阵范数的应用（矩阵序列及幂级数的收敛性，矩阵条件数，摄动理论、矩阵的谱半径） 4.1 向量范数及其性质向量范数及其性质 一、范数与赋范线性空间一、范数与赋

2、范线性空间 定义定义1：如果线性空间V中的任一向量x，都对应个实值函数( )f x（记为x） ，并满足 以下三个条件（称为范数公理）： (1)非负性：0 x时, x0；0 x时, x=0。 (2)齐次性：ax=a x,aK，x V。 (3)三角不等式：xyx+y，, x yV。 则称x为V上向量x的范数（norm），V称为赋范线性空间（normed linear space）。 易证xy满足距离公理， 称之为x与y的范数诱导的距离。 若0 n xx， 则称 n x 收敛于x，记为 n xx。 例例1：对于连续函数空间 , C a b中的向量( )f x，可如下定义范数为： 1 ( )( ) b

3、 a f tf t dt， ( )max( ) a t b f tf t ， 1 ( )( ) bp p p a f tf tdt ，1p 。分别称之为1-范数，- 范数，p-范数。 注注：需要用到数学专业的一些函数不等式，才能证明上述范数的正确性。 性质性质1：对于赋范线性空间V上任意的x，定义实函数( )f xx，则( )f x为V上的连续 函数，即 0 xx时， 0 ( )()f xf x，其中 0 xV。 证明证明：由 000 ( )()f xf xxxxx可知， 0 xx时， 0 ( )()f xf x。 因此，( )f x为V上的连续函数。 性质性质2：设P为n阶可逆矩阵，对于n维

4、向量 n xC， 1 x为 n C中的一个范数，令 21 xPx，则 2 x也为 n C中x的范数。 证明证明：(1)非负性：0 x时，0Px ， 21 0 xPx；0 x时, 21 00 x。 (2)齐次性： 2112 ()axa Pxa Pxa x，aK，x V。 (3)三角不等式： 211122 xyPxPyPxPyxy，, x yV。 因此， 2 x为 n C中x的范数。 注注：内积空间是赋范线性空间，但赋范线性空间不一定构成内积空间。 二、二、n维向量的维向量的p-范数范数(1)p 定义定义2：对于n维向量 12 ( ,)T n n xC ， 1 1 n i i x ，称为x的1-范

5、数，记为 1 x，由此诱导出的距离称为街区距离。 1 2 2 2 1 () n i i x ，称为x的2-范数，记为 2 x，由此诱导出的距离称为欧氏距离。 1 i i n xmax ，称为x的-范数，记为x ，由此诱导出的距离称为棋盘距离（也 称契比雪夫距离）。 1 1 () n p p i p i x ，称为x的p-范数，记为 p x。 2 HH P xPxx P Px，称之为加权范数或椭圆范数，其中P为可逆矩阵。 定理定理1：对于n维向量 n xC， p p lim xx 。 注注：几何意义上，向量PQ的2-范数、 -范数和1-范数分别是斜边PQ长度、直角边PR长 度以及两直角边PR和R

6、Q的长度之和。 三、三、范数的等价性范数的等价性 定义定义3：对任意x V，满足不等式 12 C xxCx 的两种范数称为是等价的。 定理定理2：对于n维向量 n xC，总成立着 212 xxn x， 2 xxn x ， 1 xxn x ， p p xxn x 。 定理定理3：设 12 , n 是n维赋范线性空间E的一组基，则存在正数,A B，使得对一切 1 n kk k xE ，成立着 1 2 2 1 n k k A xB x 。 证明证明： 1 0 n kk k x 时，令 2 1 n k k x y ， 12 ( ,) n fy ，则 12 ( ,) n f 是有界闭集超球面 2 1 1

7、 n k k 上连续函数，从而必能取到最小值m和最大值M，且显然 0m。取 11 ,AB Mm ，即可证得定理的结论。 结结论论1：有限维赋范空间的范数是等价的，即对于n维赋范线性空间E中的范数 ab xx， 存在正数,A B，使得对一切xE，成立着 aba A xxB x。 推论推论：范数 ab xx，等价时，0 n a n lim x 等价于0 n b n lim x 。 注注：在 n C中，各种p-范数均是等价的，从而对于不同的问题可灵活选用适当的范数。 结结论论2：n维赋范线性空间必与n维向量空间 n P同构并且同胚。 设 12 , n 是n维赋范线性空间E的一组基，对任何 1 n k

8、k k xE ，令 12 , n Tx ， 则T为E到 n P上的同构映射， 并且由A xTxB x可知，T与 1 T 均为连续映射，从而E与 n P是同胚的。 结结论论3：n维向量序列 12 (,) kkkTn kn xC收敛于向量 12 ( ,)T n n xC 的 充分必要条件为,1,2, k ii k limin ，即按坐标收敛。 4.2 矩阵范数及其相容性矩阵范数及其相容性 一、常见的矩阵范数一、常见的矩阵范数 定义定义1：设 n n AC ，称 112 22 ,1 ()() n H ij i j tr A Aa 为A的Frobenius范数或F-范数，记 为 F A。 性质性质1：

9、 F A满足范数公理构成 n n C 中范数，并且1 F En。 定理（定理（F-范数的酉不变性）范数的酉不变性）：设 n n AC 中范数，且, n n P QC 都是酉矩阵，则 FFF PAAQA，即给A左乘或右乘以酉矩阵后其 F 值不变(在 n n AR 时P和 Q都是正交矩阵)。 证证明明： 11 22 () () HHH FF PAtr A P PAtr A AA。 由 112 22 ,1 () () n HH ij F F i j Aatr AAA 及 H Q也为酉矩阵可得， ()H HHH FF FFF AQAQQ AAA。 推论推论：酉(或正交)相似变换下矩阵的F-范数保持不变

10、。 定义定义2：设 n n AC ，称 1 ,1 n ij M i j Aa 为 1 M-范数， 1, ij M i j n An max a 为M-范数。 性质性质2： 1 , MM AA 满足范数公理构成 n n C 中范数，并且 1 1 M En，1 M En 。 二、矩阵范数的相容性二、矩阵范数的相容性 定义定义3：满足条件ABA B的矩阵范数称为具有相容性。 注注：工程应用中的矩阵范数常要求满足非负性、齐次性、三角不等式和相容性，因此下文中 矩阵范数总假定具有相容性。 性质性质3：满足相容性的矩阵范数必有1E 。 性质性质4：若A可逆，则 1 1A A。 例例1：Frobenius范

11、数 F A具有相容性。 例例2： 1 M-范数 1 M A和M-范数 M A 具有相容性，但范数 1, ij i j n Amax a 不具有相容性。 三、矩阵范数与向量范数的相容性三、矩阵范数与向量范数的相容性 定义定义4：若 VMV AxAx，则称矩阵范数 M A与向量范数 V x具有相容性。 注注1：0 V x时，0 V Ax，即 V Ax是x的连续函数或Ax是V上线性连续算子。 注注2：当0 x时，() V M VV V Ax x AA xx ，从而 0 V M x V Ax maxA x 。 例例3： 22F AxAx。 注注：视矩阵为线性变换时，通常要求线性变换是连续即有界的，因此

12、自然有了相容性（包括 范数的相容性）要求。 4.3 矩阵的算子范数矩阵的算子范数 一、算子范数的概念一、算子范数的概念 定义定义： 0 V T x V Ax Amax x 。 注注：一般算子范数的求解步骤：1、 VV AxK x；2、 0 =1 V x， 0 = V AxK。 二、算子范数的性质二、算子范数的性质 性质性质1： VTV AxAx。 性质性质2： TTT ABAB。 性质性质3： 1 V TVM x Amax AxA （假设 M A与 V x具有相容性）。 性质性质4：1 T E。 三、常见的算子范数三、常见的算子范数 1、列范数： 1 1 n i i xa ， 1 1 1 n

13、ij j n i Amaxa 。 设() n n ij AaC ， 12 ( ,)T n n xC ，令 12 ( ,)T n Axy ，其中 1 n iijj j a ，1,2,in。 11 11111 () nnnnn iijjijj iijij Axyaa 11 11111 ()() nnnnn ijjjijij j n jijii aax maxa 。 令 1 1 n ij j n i Mmaxa ，则 11 AxM x，从而 1 AM。 不妨设 0 1 n ij i Ma ， 0 1jn。取 0 0 (0,0,1,0,0) j T x ，则 0 1 1x，并且 0 0 1 1 n i

14、j i AxaM ，因而 1 AM。由此可得， 1 1 1 n ij j n i Amaxa 。 2、行范数： 1 i i n xmax a ， 1 1 n ij i n j Amaxa 。 设() n n ij AaC ， 12 ( ,)T n n xC ，令 12 ( ,)T n Axy ，其中 1 n iijj j a ，1,2,in。 1111 111 () nnn iijjijjij i ni ni ni n jjj Axymaxmaxamaxaxmaxa 。 令 1 1 n ij i n j Mmaxa ，则AxM x ，从而AM 。 不妨设 0 1 0 n i j j Ma ，

15、0 1in。取 000 012 (,) T iii n xsignasignasigna，则 0 1x ，并且 000 0 1 11 nn iji ji ji j i n jj Axmaxa signaa signaM ，因而AM 。由 此可得， 1 1 n ij i n j Amaxa 。 3、谱范数： 2 2 1 n i i xa ， 2 () T max AA A。 注注： 1 1E， 2 1E，1E 。 例例 1：设 200 021 012 A ， 2 1, n Sx xxC。求： （1）矩阵A的算子范数 1 A和 A 的值； （2）2 Ax在S上的最大值。 例例 2 2：设A为正规矩

16、阵，则 2 ( ) max AA；A可逆时， 1 2 1 ( ) min A A 。 证明证明：A为正规矩阵时，存在酉矩阵P，使得 H AP DP，其中 1 n D 。 由此可得， 2 1 2 HH n A APP ，从而 2 ()( ) H max max AA AA，并且 当A可逆时， 1 2 1 ( ) min A A 。 注注： 当A为酉矩阵时， 2 1A。 一般地， 2 ( ) max AA， 1 2 1 ( ) min A A ， 其中( ) max A 和( ) min A分别是A的最大和最小奇异值。 4.4 矩阵范数的应用矩阵范数的应用 一、矩阵的非奇异性条件一、矩阵的非奇异性

17、条件 定理定理1：设 n n AC ，且对 n n C 上的某矩阵算子范数，有1A ，则矩阵EA非奇异， 并且 1 1 () 1 EA A ， 1 () 1 A EEA A 。 证明证明：对于任何0 x，AxA xx，从而()0EA xxA x，即 ()0EA x，因此EA为非奇异阵。 令 1 ()EAxy ，0 x，则()xEA y，从而 1 () 1 ()1 EAx yyy xEA yyAyyA yA 。 由此可得 1 1 () 1 EA A 。 由 1 () )()EEAAEA 可得， 11 ()()EEAA EA ， 从而 11 ()() 1 A EEAAEA A 。 注注： 假设EA

18、为奇异阵， 则0EA， 从而1为A的特征值。 由此可知， 存在 0 0 x ， 使得 00 Axx，从而 00 Axx，这与 000 AxA xx矛盾，因而EA为非奇异 阵。 定理定理2：设 n n AC 非奇异， n n BC ，且对 n n C 上的某矩阵算子范数，有 1 1A B ， 则(1)+A B非奇异；(2) 记 1 1 FEEA B ，则 1 1 1 A B F A B ； (3) 111 11 ( + ) 1 AA BA B AA B 。 证明证明：由定理1可知，(1) 1 EA B 可逆，从而 1 ()A EA BAB 可逆。 (2) 1 11 1 () 1 A B EEA

19、B A B 。 (3) 由 11111 ( + )() )AA BEEA BA 可得， 11111 ( + )()AA BEEA BA ，从而 111 11 ( + ) 1 AA BA B AA B 。 注注：对于具有相容性的一般矩阵范数，定理1、2的结论也成立。事实上，由第四章中矩 阵幂级数理论可知， 1 0 () k k EAA ，从而 1 00 1 () 1 k k kk EAAA A 。 二、近似逆矩阵的误差二、近似逆矩阵的误差逆矩阵的摄动逆矩阵的摄动 线性代数方程组Axb解的误差通常来自于常数项b的扰动和系数矩阵A的扰动，其 程度取决于条件数 1 ( )cond AA A的大小，这里

20、总假定A可逆。显然，( )1cond A 。 对应矩阵的3种范数， 相应地可以定义3种条件数( ,1),( ,),( ,2)cond Acond Acond A。 注注： ( ) ( ,2) ( ) max min A cond A A ，其中其中( ) max A和和( ) min A分别是分别是A的最大和最小奇异值的最大和最小奇异值。 当A为正规矩阵时，存在酉矩阵P，使得 H AP DP，其中 1 n D ，从 而 2 1 2 HH n A APP 。由此可得， 2 ()( ) H max max AA AA， 11 2 1 () ( ) max min AA A 。 ( ) ( ,2)

21、( ) max min A cond A A ，其中，其中( ) max A和和( ) min A分 别是A的特征值模的最大和最小值。 当A为酉矩阵时，( ,2)1cond A。 （1）常数项b的扰动对方程组解的影响 设()A xxbb， 则A xb， 1 xAb ， 从而 11 xAbAb 。 由此可得， 1 ( ) xbb A Acond A xbb 。 （2）系数矩阵A的扰动对方程组的影响 设()()AA xxb，则 1 ()()AAxA EAAxA x ，从而 11 ()xEAAAA x 。 设 1 1AA ，则 11 1 1 () 1 EAA AA ，从而 11 11 ( ) 11

22、AAAA xA cond A xAAAAA 。 例例1： 考察方程组 12 12 2.00011 21 xx xx 在精确解(0, 1)Tx 处对常数项误差(0.0002,0)Tb 的敏感程度。 解解：不难得到， 12 ( ,)(2,3) TT xx x为扰动方程 12 12 2.00011.0002 21 xx xx 的精确解，与原 方程精确解(0, 1)Tx 相差很大。 进一步， 1 4.0001A， 14 1 3.0001 10A， 15 1 1 ( )1.2 10cond AAA， 这说明方程组的解对常数项b的扰动很敏感，因而原方程组是病态的。 例例2：考察线性方程组 24 23.99

23、97.999 xy xy 对常数项b扰动的敏感性。 解解：易知，( , )(2,1)x y 是原方程的精确解，而在扰动(0.001, 0.001)Tb之下的摄动方 程 24.001 23.9997.998 xy xy 的精确解是( , )( 3.999,4.000)x y 。可见，b很小扰动引起了x 很大变化， 原因是系数矩阵A的条件数 15 1 1 ( )5.999 5999=3.5988 10cond AAA 很大。 注注：矩阵A的条件数 1 ( )cond AA A，对应矩阵的3种范数，相应地可以定义3种条 件数。函数( ,1),( ,2),( ,)cond Acond Acond A

24、是判断矩阵病态与否的一种度量，条件数越 大矩阵越病态。 事实上， 条件数表示了矩阵计算对于误差的敏感性。 对于线性方程组Axb， 如果A的 条件数大，b的微小改变就能引起解x较大的改变，数值稳定性差。如果A的条件数小，b 有微小的改变，x的改变也很微小，数值稳定性好。它也可以表示b不变，而A有微小改变 时，x的变化情况。 一个极端的例子，当A奇异时，条件数为无穷，这时即使不改变b，x也可以改变。奇 异的本质原因在于矩阵有0特征值，x在对应特征向量的方向上运动不改变Ax的值。如果 一个特征值比其它特征值在数量级上小很多，x在对应特征向量方向上很大的移动才能产生 b微小的变化，这就解释了为什么这个

25、矩阵为什么会有大的条件数。事实上，正规阵在二范 数下的条件数就可以表示成A的特征值模的最大值和最小值之比。 三、矩阵的谱半径及其性质三、矩阵的谱半径及其性质 定义定义：设 n n AC 的n个特征值为 12 , n ，称 1 i i n Amax 为矩阵A的谱半径。 定理定理3：设 n n AC ，则对 n n C 上任何一种矩阵范数，都有 AA。 证明证明：依题意只需证明，A的任何特征值为均满足A。 设Aa， 令 1 (0 )BA a ， 则1 a B a ， 从而B的特征值的模均满足小于1。 由 a 为B的特征值可知，1 a ， 即a对任意0成立， 从而aA。 注注：对于A的算子范数（或与

26、向量范数相容的矩阵范数）A，由 000 ,0Axx x可得， 000 xAxA x，从而A。 例例1：设 n n AC ，则 k k AA。 例例2：对任意非奇异矩阵 n n AC ， 2 = HH AA AAA；当A为Hermite阵时， 2 1 = i i n AAmax 。 定理定理4： 设 n n AC ， 对任意的正数存在A的某种矩阵范数 M A， 使得 M AA。 证明证明：根据Jordan标准形理论，对于方阵A存在可逆矩阵 n n PC ，使得 1 P APJ 。 记 12 =(,) n diag ， 1 1 0 0 0 n c N c ， 则有JN ， 这里 12 , n 是 A的n个特征值， 1, , n cc或为1或为0。 令 1 =(1, ,) n D diag ，则有 11 S ASD JDN ，其中SPD可逆，且有 1 1 1 S ASNA 。容易验证， 1 1 M ASAS 是 n n C 上的矩阵范数，于 是可得 1 1 M AS ASA 。 注注：该不等式只能保证对给定的矩阵A成立，其范数的构造与其本身相关。 注注： 矩阵的谱半径()不构成矩阵的范数， 只是所有范数的下确界。 但( )1A与某1A 等价。