Pseudoinverse

Die Pseudoinverse einer Matrix ist ein Begriff aus dem mathematischen Teilgebiet der linearen Algebra, der auch in der numerischen Mathematik eine wichtige Rolle spielt. Sie ist eine Verallgemeinerung der inversen Matrix auf singuläre und nichtquadratische Matrizen, weshalb sie häufig auch als verallgemeinerte Inverse bezeichnet wird. Der häufigste Anwendungsfall für Pseudoinversen ist die Lösung linearer Gleichungssysteme und linearer Ausgleichsprobleme.

Eine erste Form wurde von E. H. Moore (1920)^[1] und Roger Penrose (1955)^[2] beschrieben. Die nach ihnen benannte Moore-Penrose-Inverse ist nicht die einzige Möglichkeit, eine Pseudoinverse zu definieren, häufig wird aber Pseudoinverse synonym mit Moore-Penrose-Inverse benutzt.^[3] Die Moore-Penrose-Inverse ist für alle Matrizen mit Einträgen aus den reellen oder komplexen Zahlen definiert und eindeutig. Mit ihr kann man bei linearen Ausgleichsproblemen die optimale Lösung hinsichtlich der kleinsten Summe quadrierter Abweichungen der euklidischen Normen berechnen.

Eine numerisch robuste Methode zur Bestimmung der Moore-Penrose-Inversen baut auf der Singulärwertzerlegung auf.

Allgemeine Pseudoinversen

Die Verallgemeinerung der Bildung der Inversen einer Matrix auf singuläre Matrizen wird in der Literatur nicht einheitlich gehandhabt und orientiert sich oftmals an der zu lösenden Aufgabenstellung (einige Beispiele solcher Verallgemeinerungen sind weiter unten aufgeführt).

Nach Adi Ben-Israel^[4] sollte eine Definition von verallgemeinerten Inversen zumindest die folgenden drei Forderungen erfüllen:

1. Für reguläre Matrizen sollte sich eindeutig die gewöhnliche Inverse ergeben.
2. Im verallgemeinerten Sinne sollten auch singuläre Matrizen invertierbar sein (wenigstens einige, nicht notwendigerweise alle).
3. Für singuläre Matrizen sollten die verallgemeinerten Inversen ähnliche Eigenschaften haben wie gewöhnliche Inverse regulärer Matrizen.

Als Ausgangspunkt für die Konstruktion von verschiedenen Pseudoinversen schwächt Adi Ben-Israel^[4] dann die vier definierenden Aussagen für die im nächsten Abschnitt beschriebene Moore-Penrose-Inverse in verschiedene Richtungen ab und ergänzt sie durch andere Bedingungen. Die Mindestforderung an eine Pseudoinverse ist die folgende: Eine Matrix ${\displaystyle B}$ ist genau dann Pseudoinverse von ${\displaystyle A}$, wenn gilt:

${\displaystyle ABA=A}$

Dagegen bezeichnet Max Koecher^[5] eine Matrix ${\displaystyle B}$ genau dann als Pseudoinverse von ${\displaystyle A}$, wenn für sie die folgenden beiden Aussagen

${\displaystyle ABA=A}$ und

${\displaystyle BAB=B}$

zutreffen.

Die erste Bedingung sichert dabei, dass die Spalten ${\displaystyle y}$ von ${\displaystyle A}$ durch ${\displaystyle B}$ auf Lösungen ${\displaystyle x}$ des Gleichungssystems ${\displaystyle y=Ax}$ abgebildet werden. Durch die zweite Aussage können keine vom Nullvektor verschiedene Spalten von ${\displaystyle B}$ im Kern von ${\displaystyle A}$ liegen.

Die Moore-Penrose-Inverse

Die Moore-Penrose-Inverse (auch einfach Pseudoinverse) einer Matrix ${\displaystyle A\in \mathbb {C} ^{m\times n}}$ ist die eindeutig bestimmte Matrix ${\displaystyle A^{+}\in \mathbb {C} ^{n\times m}}$, welche die folgenden vier Eigenschaften („Moore-Penrose-Bedingungen“) erfüllt:

${\displaystyle AA^{+}A\;\,\,=A}$	(${\displaystyle A^{+}}$ ist eine verallgemeinerte Inverse.)
${\displaystyle A^{+}AA^{+}=A^{+}}$	(${\displaystyle A^{+}}$ verhält sich wie eine schwache Inverse.)
${\displaystyle (AA^{+})^{*}\,=AA^{+}}$	(Die Matrix ${\displaystyle AA^{+}}$ ist hermitesch.)
${\displaystyle (A^{+}A)^{*}\,=A^{+}A}$	(Die Matrix ${\displaystyle A^{+}A}$ ist ebenfalls hermitesch.)

Dabei bezeichnet ${\displaystyle M^{*}}$ die adjungierte Matrix zu einer Matrix ${\displaystyle M}$. Bei Matrizen mit Einträgen aus den reellen Zahlen ist diese identisch mit der zu ${\displaystyle M}$ transponierten Matrix ${\displaystyle M^{T}}$.

Die Moore-Penrose-Inverse kann auch durch einen Grenzwert definiert werden:

${\displaystyle {\begin{aligned}A^{+}&=\lim _{\delta \searrow 0}\,\;(A^{*}A+\delta E_{n})^{-1}A^{*}\\&=\lim _{\delta \searrow 0}\;A^{*}(AA^{*}+\delta E_{m})^{-1}\end{aligned}}}$

mit ${\displaystyle E_{k}}$ als der Einheitsmatrix in ${\displaystyle \mathbb {C} ^{k\times k}}$. Dieser Grenzwert existiert auch dann, wenn ${\displaystyle (AA^{*})^{-1}}$ und ${\displaystyle (A^{*}A)^{-1}}$ nicht existieren.

Rechenregeln

${\displaystyle (A^{+})^{+}=A}$

${\displaystyle {\overline {A}}^{+}={\overline {A^{+}}}}$

${\displaystyle (A^{*})^{+}=(A^{+})^{*}}$

${\displaystyle (\lambda A)^{+}=\lambda ^{-1}A^{+}}$ für ${\displaystyle \lambda \neq 0}$

Spezialfälle

Sind die Spalten der Matrix ${\displaystyle A}$ linear unabhängig, dann ist ${\displaystyle A^{*}A}$ invertierbar. In diesem Fall gilt die folgende Gleichung^[4]

${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}.}$

Nimmt man die erste Grenzwertdefinition für die Moore-Penrose-Inverse, so verschwindet der Summand ${\displaystyle \delta E_{n}}$. Daraus folgt, dass ${\displaystyle A^{+}}$ eine Linksinverse zu ${\displaystyle A}$ ist.

${\displaystyle A^{+}A=E_{n}}$

Sind die Zeilen der Matrix ${\displaystyle A}$ linear unabhängig, dann ist ${\displaystyle AA^{*}}$ invertierbar. In diesem Fall gilt die folgende Gleichung

${\displaystyle A^{+}=A^{*}(AA^{*})^{-1}.}$

Nimmt man die zweite Grenzwertdefinition für die Moore-Penrose-Inverse, so verschwindet der Summand ${\displaystyle \delta E_{m}}$. Daraus folgt, dass ${\displaystyle A^{+}}$ eine Rechtsinverse zu ${\displaystyle A}$ ist.

${\displaystyle AA^{+}=E_{m}}$

Sind sowohl Spalten als auch die Zeilen einer Matrix unabhängig, dann ist die Matrix invertierbar, und die Pseudoinverse stimmt mit der Inversen überein.

Ist das Produkt ${\displaystyle AB}$ zweier Matrizen definiert und eine der beiden eine unitäre Matrix, dann gilt

${\displaystyle (AB)^{+}=B^{+}A^{+}.}$

Man kann die Pseudoinverse auch für Skalare und Vektoren definieren, indem man diese als Matrizen betrachtet. Bei Skalaren ist die Pseudoinverse von null wieder null, und für alle anderen Werte ${\displaystyle x}$ ist sie ${\displaystyle x^{-1}}$. Für Vektoren gilt

${\displaystyle x^{+}\!={\begin{cases}0^{T},&{\text{wenn }}x=0,\\{\frac {x^{*}}{x^{*}x}},&{\text{sonst}}.\end{cases}}}$

Diese Behauptungen lassen sich überprüfen, indem man die Kriterien für die Moore-Penrose-Inverse nachprüft.

Ist die Matrix ${\displaystyle A}$ hermitesch (oder symmetrisch im reellen Fall), dann ist ${\displaystyle A^{+}}$ ebenfalls hermitesch (symmetrisch). Aus dem Spektralsatz folgt in diesem Fall die Zerlegung

${\displaystyle UAU^{*}=D}$

und damit

${\displaystyle A^{+}=U^{*}D^{+}U}$,

wobei die Pseudoinverse ${\displaystyle D^{+}}$ der Diagonalmatrix ${\displaystyle D}$ durch

${\displaystyle d_{ii}^{+}={\begin{cases}0,&{\text{wenn }}d_{ii}=0,\\{\frac {1}{d_{ii}}},&{\text{sonst}}\end{cases}}}$

für alle Diagonaleinträge gegeben ist.

Berechnung

• Ist ${\displaystyle k}$ der Rang der ${\displaystyle m\times n}$-Matrix ${\displaystyle A}$, dann kann ${\displaystyle A}$ in das Produkt ${\displaystyle A=BC}$ einer ${\displaystyle m\times k}$-Matrix ${\displaystyle B}$ und einer ${\displaystyle k\times n}$-Matrix ${\displaystyle C}$ zerlegt werden. Es gilt

${\displaystyle A^{+}=C^{*}(CC^{*})^{-1}(B^{*}B)^{-1}B^{*}.}$

Hat ${\displaystyle A}$ vollen Zeilenrang, das heißt, es gilt ${\displaystyle k=m}$, dann kann für ${\displaystyle B}$ die Einheitsmatrix gewählt werden und obige Formel reduziert sich zu

${\displaystyle A^{+}=A^{*}(AA^{*})^{-1}.}$

In ähnlicher Weise gilt für eine Matrix ${\displaystyle A}$ mit vollem Spaltenrang, das heißt, es gilt ${\displaystyle k=n}$, die Gleichung

${\displaystyle A^{+}=(A^{*}A)^{-1}A^{*}.}$

• Mit der Singulärwertzerlegung existiert ein anderes Verfahren zur Berechnung der Pseudoinversen. Ist ${\displaystyle A=U\Sigma V^{*}}$ die Singulärwertzerlegung von ${\displaystyle A}$, dann gilt

${\displaystyle A^{+}=V\Sigma ^{+}U^{*}.}$

Bei einer Diagonalmatrix wie ${\displaystyle \Sigma \in \mathbb {C} ^{m\times n}}$ entsteht die Pseudoinverse, indem man die Matrix transponiert und die von null verschiedenen Elemente invertiert, also ${\displaystyle \Sigma ^{+}\in \mathbb {C} ^{n\times m}}$ bildet mit

${\displaystyle (\Sigma )_{ij}^{+}={\begin{cases}{\frac {1}{\sigma _{i}}},&{\text{falls }}i=j\wedge \sigma _{i}\neq 0,\\0,&{\text{sonst}}.\end{cases}}}$

• Mit Hilfe der Ränderung von Matrizen kann die Pseudoinverse implizit dargestellt oder auch berechnet werden.^[6]
• Der Algorithmus von Greville ist eine endliche iterative Methode zur spaltenweisen Berechnung der Moore-Penrose-Inversen.^[7]

Das Verfahren, bei dem man die Matrix ${\displaystyle A^{*}A}$ benötigt, wird zwar bei der numerischen Berechnung der Lösung überbestimmter Gleichungssysteme der Bequemlichkeit halber öfter benutzt, ist jedoch numerisch instabil, da die Kondition der Matrix quadriert wird. Als stabile und effiziente numerische Methode gilt die Verwendung der QR-Zerlegung. Das auf der Singulärwertzerlegung aufbauende Verfahren ist das aufwendigste, aber auch das numerisch gutartigste. Das auf der Ränderung beruhende Verfahren bietet einen Kompromiss zwischen Aufwand und numerischer Stabilität.

Einen Überblick über numerischen Aufwand und Stabilität der Verfahren gibt auch ^[6].

Anwendungen

Ist das Gleichungssystem ${\displaystyle Ax=b}$ nicht lösbar, so lässt sich mit der Pseudoinversen die Lösung nach der Methode der kleinsten Quadrate, also die mit kleinster euklidischer Norm ${\displaystyle \|Ax-b\|_{2}}$ als ${\displaystyle {\bar {x}}=A^{+}b}$ berechnen.

Gibt es für das Gleichungssystem ${\displaystyle Ax=b}$ unendlich viele Lösungen, so kann man diese über

${\displaystyle x=A^{+}b+(E_{n}-A^{+}A)y,\quad y\in \mathbb {C} ^{n}}$

bestimmen. Dabei ist ${\displaystyle x}$ diejenige Lösung des Gleichungssystems, die von ${\displaystyle y}$ den kleinsten Abstand bezüglich der euklidischen Norm hat.

Ausgewählte weitere Versionen von verallgemeinerten Inversen

Drazin-Inverse

Sei ${\displaystyle A\in \mathbb {R} ^{n\times n}}$ eine Matrix mit Index ${\displaystyle i\in \mathbb {N} }$ (der Index von ${\displaystyle A}$ ist die minimale ganze Zahl ${\displaystyle i\geq 1}$ für die ${\displaystyle A^{i}}$ und ${\displaystyle A^{(i+1)}}$ den gleichen Kern haben). Dann ist die Drazin-Inverse diejenige eindeutig definierte ${\displaystyle n\times n}$-Matrix ${\displaystyle A^{D}}$, die den Bedingungen

• ${\displaystyle A^{i}A^{D}\,A=A^{i}}$
• ${\displaystyle A^{D}\,AA^{D}=A^{D}}$
• ${\displaystyle A\,A^{D}=A^{D}\,A}$

genügt. Sie wurde von Michael Drazin eingeführt.

Berechnung

Zur Berechnung kann man die Zerlegung

${\displaystyle T{\begin{pmatrix}\Lambda &0\\0&N\end{pmatrix}}T^{-1}=A}$

der Matrix ${\displaystyle A\in \mathbb {R} ^{n\times n}}$ in Jordan-Normalform nutzen, wobei ${\displaystyle \Lambda }$ der reguläre Teil der Jordan-Form sei und ${\displaystyle N}$ nilpotent. Die Drazin-Inverse ergibt sich dann zu

${\displaystyle A^{D}:=T{\begin{pmatrix}\Lambda ^{-1}&0\\0&0\end{pmatrix}}T^{-1}}$.

Die Drazin-Inverse einer Matrix mit Index ${\displaystyle i=1}$ (für die also ${\displaystyle N}$ gleich der Nullmatrix ist) bezeichnet man auch als Gruppen-Inverse. Die Gruppen-Inverse ist eine Pseudoinverse nach der Definition von Koecher.^[5]

Anwendungen

1. Eine wichtige Anwendung für die Drazin-Inverse ist die analytische Darstellung der Lösung zeitinvarianter linearer Deskriptorsysteme. Als Beispiel diene die Differenzengleichung

${\displaystyle Ax_{k+1}=x_{k}}$

eines zeitdiskreten Deskriptorsystems mit der reellen ${\displaystyle n\times n}$-Matrix ${\displaystyle A}$. Die Lösung ${\displaystyle \{x_{k}\}_{k=0,1,2,\ldots }\subset \mathbb {R} ^{n}}$ der Differenzengleichung erfüllt die Gleichungen ${\displaystyle A^{k}x_{k}=x_{0}}$ mit ${\displaystyle k=0,1,2,\ldots }$. Anfangswerte ${\displaystyle x_{0}}$ sind also nur dann konsistent, wenn sie in allen Bildern der Matrizen ${\displaystyle A^{k}}$ liegen (sonst bricht die Lösung nach endlich vielen Schritten ab). Die Lösung der Differenzengleichung ist dann ${\displaystyle x_{k}=(A^{D})^{k}x_{0}}$.

2. Für reelle oder komplexe ${\displaystyle n\times n}$-Matrizen ${\displaystyle A}$ mit Index ${\displaystyle i}$ gilt die Gleichung

${\displaystyle \int _{0}^{t}\exp(A{\bar {t}})\,d{\bar {t}}=\sum _{k=0}^{i-1}{\frac {t^{k+1}}{(k+1)!}}A^{k}(E_{n}-AA^{D})+(\exp(At)-E_{n})A^{D}.}$

Damit lässt sich die Sprungantwort eines linearen zeitinvarianten dynamischen Systems

${\displaystyle {\begin{aligned}{\dot {x}}&=Ax+bu\\y&=c^{T}x\end{aligned}}}$

mit Eingangssignal

${\displaystyle u(t)={\begin{cases}0&{\text{bei }}t<0\\1&{\text{bei }}t\geq 0,\end{cases}}}$

Zustandsvektor ${\displaystyle x:\mathbb {R} \rightarrow \mathbb {R} ^{n\times 1}}$ (${\displaystyle x(0)}$ Nullvektor), Systemmatrix ${\displaystyle A\in \mathbb {R} ^{n\times n}}$ und Ein- beziehungsweise Ausgabevektoren ${\displaystyle b,c\in \mathbb {R} ^{n\times 1}}$ in der Form

${\displaystyle y(t)={\begin{cases}0&{\text{bei }}t<0\\c^{T}\left(\sum _{k=0}^{i-1}{\frac {t^{k+1}}{(k+1)!}}A^{k}(E_{n}-AA^{D})+(\exp(At)-E_{n})A^{D}\right)b&{\text{bei }}t\geq 0\end{cases}}}$

darstellen.

Restringierte verallgemeinerte Inversen – die Bott-Duffin-Inverse

Bei manchen praktischen Aufgabenstellungen ist die Lösung ${\displaystyle x}$ eines linearen Gleichungssystems

${\displaystyle Ax=b\qquad ({\text{mit vorgegebenem }}A\in \mathbb {R} ^{m\times n}{\text{ und }}b\in \mathbb {R} ^{m})}$

nur dann zulässig, wenn sie innerhalb eines gewissen linearen Teilraumes ${\displaystyle L}$ von ${\displaystyle \mathbb {R} ^{m}}$ liegt. Man sagt auch, dass das Problem durch ein restringiertes lineares Gleichungssystem beschrieben wird (englisch constrained linear equation).

Im Folgenden werde der orthogonale Projektor auf ${\displaystyle L}$ mit ${\displaystyle P_{L}}$ bezeichnet. Das restringierte lineare Gleichungssystem

${\displaystyle Ax=b\qquad x\in L}$

ist genau dann lösbar, wenn das für das unrestringierte Gleichungssystem

${\displaystyle (AP_{L})x=b\qquad x\in \mathbb {R} ^{m}}$

zutrifft. Ist der Unterraum ${\displaystyle L}$ ein echter Teilraum von ${\displaystyle \mathbb {R} ^{m}}$, so ist die Systemmatrix des unrestringierten Problems ${\displaystyle (AP_{L})}$ auch dann singulär, wenn sich die Systemmatrix ${\displaystyle A}$ des restringierten Problems invertieren lässt (in diesem Fall gilt ${\displaystyle m=n}$). Das erklärt, dass für die Lösung restringierter Probleme auch Pseudoinverse herangezogen werden. Man bezeichnet eine Pseudoinverse von ${\displaystyle (AP_{L})}$ dann auch als ${\displaystyle L}$-restringierte Pseudoinverse von ${\displaystyle A}$. Diese Definition scheint zunächst der Forderung 1 aus Abschnitt Allgemeine Pseudoinversen zu widersprechen. Dieser Widerspruch relativiert sich jedoch wieder, wenn man bedenkt, dass die ${\displaystyle L}$-restringierte Pseudoinverse für bijektives ${\displaystyle A}$ auf dem interessierenden Raum ${\displaystyle L}$ injektiv ist und dass der Bildraum die gleiche Dimension wie ${\displaystyle L}$ hat.

Ein Beispiel für eine Pseudoinverse mit der sich die Lösung eines restringierten Problems ermitteln lässt, ist die Bott-Duffin-Inverse von ${\displaystyle A}$ bzgl. ${\displaystyle L}$, die durch die Gleichung

${\displaystyle A_{L}^{(-1)}:=P_{L}(AP_{L}+P_{L^{\perp }})^{-1}}$

definiert ist, falls die auf der rechten Seite auftretende gewöhnliche Inverse existiert.

Anwendungen

Die Bott-Duffin-Inverse kann zur Lösung der Gleichungen eines affin-linearen elektrischen Netzwerkes benutzt werden, wenn sich die Relation zwischen Zweigspannungsbelegungen  ${\displaystyle v\in \mathbb {R} ^{n}}$ und Zweigstrombelegungen  ${\displaystyle i\in \mathbb {R} ^{n}}$ in der Form

${\displaystyle Ai+u=u^{0}\qquad i\in L,\;u\in L^{\perp }}$

darstellen lassen, wobei ${\displaystyle L}$ der Raum aller die kirchhoffschen Knotengleichungen erfüllenden Strombelegungen ${\displaystyle i}$ ist und ${\displaystyle u^{0}}$ die Spaltenmatrix der in die Zweige eingespeisten unabhängigen Quellspannungen sein soll. An dieser Stelle fließt der graphentheoretische Satz von Tellegen ein, der besagt, dass die Räume der Zweigspannungsbelegungen und Zweigstrombelegungen, die die kirchhoffschen Maschen- beziehungsweise Knotengleichungen erfüllen, orthogonal komplementär zueinander sind.

Eine Eigenschaft der Bott-Duffin-Inversen ist, dass mit ihrer Hilfe die zu einer vorgegebenen Quellspannungsbelegung ${\displaystyle u^{0}}$ zugehörigen Zweigströme

${\displaystyle i=A_{L}^{(-1)}u^{0}}$

und Zweigspannungen

${\displaystyle u=(E_{m}-AA_{L}^{(-1)})u^{0}}$

berechnet werden können (${\displaystyle E_{m}}$ steht für die Einheitsmatrix im ${\displaystyle \mathbb {R} ^{m\times m}}$).

Literatur

• W. Mackens, H. Voß: Mathematik I für Studierende der Ingenieurwissenschaften
• A. Kielbasinski, H. Schwetlick: Numerische lineare Algebra, Deutscher Verlag der Wissenschaften, 1988

Einzelnachweise

1. ↑ E. H. Moore: On the reciprocal of the general algebraic matrix. In: Bulletin of the American Mathematical Society 26, S. 394–395, 1920
2. ↑ Roger Penrose: A generalized inverse for matrices. In: Proceedings of the Cambridge Philosophical Society 51, S. 406–413, 1955, doi:10.1017/S0305004100030401
3. ↑ J. Stoer: Numerische Mathematik 1. Springer Verlag, 2002, ISBN 3-540-66154-9
4. ↑ ^{a b c} Adi Ben-Israel, Thomas N.E. Greville: Generalized Inverses. Springer-Verlag, 2003, ISBN 0-387-00293-6
5. ↑ ^{a b} Max Koecher: Lineare Algebra und analytische Geometrie, Springer-Verlag Berlin, 1997
6. ↑ ^{a b} Nobuo Shinozaki, Masaaki Sibuya, and Kunio Tanabe: Numerical algorithms for the Moore-Penrose inverse of a matrix: Direct methods. Annals of the Institute of Statistical Mathematics, Springer Netherlands, Vol. 24, No. 1, Dec. 1972, pp. 193–203, doi:10.1007/BF02479751.
7. ↑ T. N. E. Greville: Some applications of the pseudo inverse of a matrix. SIAM Rev., No. 2, 1960, pp. 15–22, doi:10.1137/1002004, JSTOR:2028054.