Spektralnorm

Illustration der Spektralnorm

Die Spektralnorm ist in der Mathematik die von der euklidischen Norm abgeleitete natürliche Matrixnorm. Die Spektralnorm einer Matrix entspricht ihrem maximalen Singulärwert, also der Wurzel des größten Eigenwerts des Produkts der adjungierten (transponierten) Matrix mit dieser Matrix. Sie ist submultiplikativ, mit der euklidischen Vektornorm verträglich und invariant unter unitären (orthogonalen) Transformationen. Die Spektralnorm der Inversen einer regulären Matrix ist der Kehrwert des kleinsten Singulärwerts der Ausgangsmatrix. Ist eine Matrix hermitesch (symmetrisch), dann ist ihre Spektralnorm gleich ihrem Spektralradius. Ist eine Matrix unitär (orthogonal), dann ist ihre Spektralnorm gleich Eins.

Aufgrund ihrer aufwendigen Berechenbarkeit wird die Spektralnorm in der Praxis oft durch leichter zu berechnende Matrixnormen abgeschätzt. Sie wird insbesondere in der linearen Algebra und der numerischen Mathematik verwendet.

Definition

Die Spektralnorm ${\displaystyle \|\cdot \|_{2}}$ einer Matrix ${\displaystyle A\in {\mathbb {K} }^{m\times n}}$ mit ${\displaystyle \mathbb {K} }$ als dem Körper der reellen oder komplexen Zahlen ist die von der euklidischen Vektornorm abgeleitete natürliche Matrixnorm

${\displaystyle \|A\|_{2}:=\max _{x\neq 0}{\frac {\|Ax\|_{2}}{\|x\|_{2}}}=\max _{\|x\|_{2}=1}\|Ax\|_{2}}$.

Anschaulich entspricht die Spektralnorm damit dem größtmöglichen Streckungsfaktor, der durch die Anwendung der Matrix auf einen Vektor der Länge Eins entsteht. Eine äquivalente Definition der Spektralnorm ist der Radius der kleinsten Sphäre, die den Einheitskreis nach Transformation durch die Matrix umfasst.

Darstellung als maximaler Singulärwert

Für die Spektralnorm gilt nach Definition der euklidischen Norm und mit dem Standardskalarprodukt ${\displaystyle \langle \cdot ,\cdot \rangle }$ auf Vektoren

${\displaystyle \|A\|_{2}^{2}=\max _{\|x\|_{2}=1}\|Ax\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle Ax,Ax\rangle =\max _{\|x\|_{2}=1}\langle A^{H}A\,x,x\rangle }$,

wobei ${\displaystyle A^{H}}$ die adjungierte (im reellen Fall transponierte) Matrix zu ${\displaystyle A}$ ist. Die Matrix ${\displaystyle A^{H}A}$ ist eine positiv semidefinite hermitesche (im reellen Fall symmetrische) Matrix.[1] Daher gibt es nach dem Spektralsatz eine unitäre (im reellen Fall orthogonale) Matrix ${\displaystyle U}$, bestehend aus den Eigenvektoren der Matrix, sodass ${\displaystyle U^{H}A^{H}A\,U=D}$ gilt, wobei ${\displaystyle D}$ eine Diagonalmatrix mit den stets reellen und nichtnegativen Eigenwerten ${\displaystyle \mu _{1},\ldots ,\mu _{n}}$ von ${\displaystyle A^{H}A}$ ist. Mit der Substitution ${\displaystyle y=U^{H}x}$ und der unitären Invarianz der euklidischen Vektornorm gilt dann

${\displaystyle \|A\|_{2}^{2}=\max _{\|Uy\|_{2}=1}\langle A^{H}A\,Uy,Uy\rangle =\max _{\|y\|_{2}=1}\langle D\,y,y\rangle =\max _{\|y\|_{2}=1}(\mu _{1}\,|y_{1}|^{2}+\ldots +\mu _{n}\,|y_{n}|^{2})=\mu _{\max }}$,

wobei ${\displaystyle \mu _{\max }}$ der größte dieser Eigenwerte ist, da das Maximum gerade dann angenommen wird, wenn ${\displaystyle y}$ gleich dem Einheitsvektor zu dem maximalen Eigenwert ist. Die Spektralnorm einer Matrix ${\displaystyle A}$ ist damit

${\displaystyle \|A\|_{2}={\sqrt {\mu _{\max }}}}$,

also die Wurzel des größten Eigenwerts von ${\displaystyle A^{H}A}$. Der betragsgrößte Eigenwert einer Matrix wird auch Spektralradius genannt, und die Wurzeln der Eigenwerte von ${\displaystyle A^{H}A}$ werden auch als Singulärwerte von ${\displaystyle A}$ bezeichnet. Die Spektralnorm einer Matrix entspricht also gerade ihrem maximalen Singulärwert.

Beispiele

Reelle Matrix

Die Spektralnorm der reellen (2 × 2)-Matrix

${\displaystyle A=\left({\begin{matrix}3&2\\-2&0\end{matrix}}\right)}$

wird ermittelt, indem zunächst das Matrixprodukt ${\displaystyle A^{T}A}$ berechnet wird:

${\displaystyle A^{T}A={\begin{pmatrix}3&-2\\2&0\end{pmatrix}}\cdot {\begin{pmatrix}3&2\\-2&0\end{pmatrix}}={\begin{pmatrix}13&6\\6&4\end{pmatrix}}}$.

Die Eigenwerte von ${\displaystyle A^{T}A}$ ergeben sich dann als Nullstellen des charakteristischen Polynoms

${\displaystyle \operatorname {det} (\mu I-A^{T}A)=(\mu -13)(\mu -4)-6^{2}=\mu ^{2}-17\mu +16}$

als

${\displaystyle \mu _{1,2}={\frac {17\pm {\sqrt {289-64}}}{2}}={\frac {17\pm 15}{2}}\in \{16,1\}}$.

Die Spektralnorm von ${\displaystyle A}$ ist damit die Wurzel des größeren dieser Eigenwerte, also

${\displaystyle \|A\|_{2}={\sqrt {\mu _{1}}}=4}$.

Komplexe Matrix

Um die Spektralnorm der komplexen (2 × 2)-Matrix

${\displaystyle A={\begin{pmatrix}1-i&-3i\\2i&0\end{pmatrix}}}$

zu berechnen, wird wie im reellen Fall vorgegangen. Es wird die Matrix ${\displaystyle A^{H}A}$ ermittelt,

${\displaystyle A^{H}A={\begin{pmatrix}1+i&-2i\\3i&0\end{pmatrix}}\cdot {\begin{pmatrix}1-i&-3i\\2i&0\end{pmatrix}}={\begin{pmatrix}6&3-3i\\3+3i&9\end{pmatrix}}}$,

deren Eigenwerte sich dann über die Nullstellen von

${\displaystyle \operatorname {det} (\mu I-A^{H}A)=(\mu -6)(\mu -9)-(3-3i)(3+3i)=\mu ^{2}-15\mu +36}$

als

${\displaystyle \mu _{1,2}={\frac {15\pm {\sqrt {225-144}}}{2}}={\frac {15\pm 9}{2}}=\{12,3\}}$.

ergeben. Die Spektralnorm von ${\displaystyle A}$ ist damit

${\displaystyle \|A\|_{2}={\sqrt {\mu _{1}}}={\sqrt {12}}\approx 3{,}46}$.

Eigenschaften

Normeigenschaften

Die Normaxiome Definitheit, absolute Homogenität und Subadditivität folgen für die Spektralnorm direkt aus den entsprechenden Eigenschaften von natürlichen Matrixnormen. Insbesondere ist die Spektralnorm damit auch submultiplikativ und mit der euklidischen Norm verträglich, das heißt, es gilt

${\displaystyle \|A\cdot x\|_{2}\leq \|A\|_{2}\cdot \|x\|_{2}}$

für alle Matrizen ${\displaystyle A\in {\mathbb {K} }^{m\times n}}$ und alle Vektoren ${\displaystyle x\in {\mathbb {K} }^{n}}$, und die Spektralnorm ist die kleinste Norm mit dieser Eigenschaft.

Selbstadjungiertheit

Die Spektralnorm ist selbstadjungiert, das heißt für die adjungierte Matrix ${\displaystyle A^{H}}$ einer quadratischen Matrix ${\displaystyle A\in {\mathbb {K} }^{n\times n}}$ gilt

${\displaystyle \|A^{H}\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle AA^{H}\,x,x\rangle =\max _{\|x\|_{2}=1}\langle A^{H}A\,x,x\rangle =\|A\|_{2}^{2}}$,

da die Matrix ${\displaystyle AA^{H}}$ und die Matrix ${\displaystyle A^{H}A}$ die gleichen Eigenwerte[2] besitzen. Die gleiche Identität erfüllt auch eine transponierte Matrix ${\displaystyle A^{T}}$ unabhängig davon, ob die Matrix reell oder komplex ist. Die Spektralnorm ist damit invariant unter Adjungierung oder Transposition der Matrix.

Unitäre Invarianz

Die Spektralnorm ist invariant unter unitären Transformationen (im reellen Fall orthogonalen Transformationen), das heißt

${\displaystyle \|UAV\|_{2}=\|A\|_{2}}$

für alle unitären (beziehungsweise orthogonalen) Matrizen ${\displaystyle U\in {\mathbb {K} }^{m\times m}}$ und ${\displaystyle V\in {\mathbb {K} }^{n\times n}}$, denn es gilt mit der unitären Invarianz der euklidischen Norm

${\displaystyle \|UAV\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle UAVx,UAVx\rangle =\max _{\|Vx\|_{2}=1}\langle AVx,AVx\rangle =\max _{\|y\|_{2}=1}\langle Ay,Ay\rangle =\|A\|_{2}^{2}}$.

Durch die unitäre Invarianz ändert sich die Kondition einer Matrix bezüglich der Spektralnorm nach einer Multiplikation mit einer unitären Matrix von links oder rechts nicht.

Spezialfälle

Inverse einer regulären Matrix

Ist die Matrix ${\displaystyle A\in {\mathbb {K} }^{n\times n}}$ regulär, dann ist die Spektralnorm ihrer inversen Matrix aufgrund der Symmetrie gegeben als

${\displaystyle \|A^{-1}\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle (AA^{H})^{-1}x,x\rangle =\max _{\|x\|_{2}=1}\langle (A^{H}A)^{-1}x,x\rangle =\mu _{\min }^{-1}}$,

da die Inverse einer Matrix gerade ihre reziproken Eigenwerte besitzt. Die Spektralnorm der Inversen einer Matrix ist also der Kehrwert des kleinsten Singulärwerts der Ausgangsmatrix. Für die spektrale Kondition einer regulären Matrix gilt damit

${\displaystyle \kappa _{2}(A)=\|A\|_{2}\cdot \|A^{-1}\|_{2}={\sqrt {\mu _{\max }/\mu _{\min }}}}$,

sie ist also das Verhältnis aus größtem und kleinstem Singulärwert.

Hermitesche Matrizen

Ist die Matrix ${\displaystyle A\in {\mathbb {K} }^{n\times n}}$ selbst hermitesch (beziehungsweise symmetrisch), dann ist ${\displaystyle A^{H}A=A^{2}}$, und es gibt eine unitäre Matrix ${\displaystyle U}$, bestehend aus den Eigenvektoren von ${\displaystyle A}$, sodass

${\displaystyle \|A\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle U^{H}\!A^{2}\,Ux,x\rangle =\max _{\|x\|_{2}=1}(\lambda _{1}^{2}\,|x_{1}|^{2}+\ldots +\lambda _{n}^{2}\,|x_{n}|^{2})=\lambda _{\max }^{2}}$

gilt, wobei ${\displaystyle \lambda _{1},\ldots ,\lambda _{n}}$ die stets reellen Eigenwerte von ${\displaystyle A}$ sind und ${\displaystyle \lambda _{\max }}$ der betragsgrößte dieser Eigenwerte ist. Die Spektralnorm einer hermiteschen oder symmetrischen Matrix ist also

${\displaystyle \|A\|_{2}=|\lambda _{\max }|}$

und entspricht damit dem Spektralradius der Matrix. Ist die Matrix weiter positiv semidefinit, dann können die Betragsstriche weggelassen werden, und ihre Spektralnorm ist gleich ihrem größten Eigenwert.

Unitäre Matrizen

Ist die Matrix ${\displaystyle A\in {\mathbb {K} }^{n\times n}}$ unitär, dann gilt

${\displaystyle \|A\|_{2}^{2}=\max _{\|x\|_{2}=1}\langle A^{H}\!A\,x,x\rangle =\max _{\|x\|_{2}=1}\langle x,x\rangle =\max _{\|x\|_{2}=1}\|x\|_{2}^{2}=1}$.

Die Spektralnorm einer unitären oder orthogonalen Matrix ist also gleich Eins.

Rang-Eins-Matrizen

Besitzt die Matrix ${\displaystyle A\in {\mathbb {K} }^{m\times n}}$ den Rang null oder eins, das heißt ${\displaystyle A=xy^{T}}$ mit ${\displaystyle x\in {\mathbb {K} }^{m}}$ und ${\displaystyle y\in {\mathbb {K} }^{n}}$, dann gilt

${\displaystyle \|A\|_{2}=\|x\|_{2}\cdot \|y\|_{2}}$,

da die Matrix

${\displaystyle A^{H}A=(xy^{T})^{H}(xy^{T})={\bar {y}}x^{H}xy^{T}=(x^{H}x)(yy^{H})}$

ebenfalls den Rang null oder eins aufweist, wobei in letzterem Fall ${\displaystyle (x^{H}x)(y^{H}y)}$ der einzige Eigenwert ungleich null ist.

Abschätzungen

Da die Spektralnorm insbesondere für große Matrizen aufwendig zu berechnen ist, wird sie in der Praxis oft durch andere, leichter zu berechnende, Matrixnormen abgeschätzt. Die wichtigsten dieser Abschätzungen sind

${\displaystyle \|A\|_{2}\leq {\sqrt {\|A\|_{1}\cdot \|A\|_{\infty }}}}$

als das geometrische Mittel aus der Spaltensummennorm ${\displaystyle \|\cdot \|_{1}}$ und der Zeilensummennorm ${\displaystyle \|\cdot \|_{\infty }}$ und

${\displaystyle \|A\|_{2}\leq \|A\|_{F}}$,

wobei ${\displaystyle \|\cdot \|_{F}}$ die Frobeniusnorm ist.

Anmerkungen

1. positiv semidefinit da ${\displaystyle x^{H}A^{H}Ax=(Ax)^{H}(Ax)\geq 0}$ und hermitesch da ${\displaystyle (A^{H}A)^{H}=A^{H}A}$
2. Die Matrix ${\displaystyle X:={\begin{bmatrix}I_{n}&A\\0&I_{n}\\\end{bmatrix}}}$ ist invertierbar und es gilt ${\displaystyle X^{-1}{\begin{bmatrix}AA^{H}&0\\A^{H}&0\\\end{bmatrix}}X={\begin{bmatrix}0&0\\A^{H}&A^{H}A\\\end{bmatrix}}}$. Somit sind ${\displaystyle {\begin{bmatrix}AA^{H}&0\\A^{H}&0\\\end{bmatrix}}}$ und ${\displaystyle {\begin{bmatrix}0&0\\A^{H}&A^{H}A\\\end{bmatrix}}}$ ähnlich, weshalb insbesondere ${\displaystyle AA^{H}}$ und ${\displaystyle A^{H}A}$ das gleiche charakteristische Polynom haben und deshalb die gleichen Eigenwerte besitzen.

Literatur

• Gene Golub, Charles van Loan: Matrix Computations. 3. Auflage. Johns Hopkins University Press, 1996, ISBN 978-0-8018-5414-9. 
• Roger Horn, Charles R. Johnson: Matrix Analysis. Cambridge University Press, 1990, ISBN 978-0-521-38632-6. 
• Hans Rudolf Schwarz, Norbert Köckler: Numerische Mathematik. 8. Auflage. Vieweg & Teubner, 2011, ISBN 978-3-8348-1551-4. 

Weblinks

• Eric W. Weisstein: Spectral Norm. In: MathWorld (englisch).