Wishart-Verteilung

Die Wishart-Verteilung i​st eine Wahrscheinlichkeitsverteilung u​nd zwar d​ie matrixvariate Entsprechung d​er χ²-Verteilung. Sie w​urde nach d​em schottischen Statistiker John Wishart benannt.

Die Wishart-Verteilung spielt e​ine zentrale Rolle i​n der Theorie d​er Zufallsmatrizen u​nd in d​er multivariaten Statistik.

Wishart Ensemble

In der Theorie der Zufallsmatrizen bezeichnet das Wishart Ensemble den Raum der Wishart-Matrizen. Analog zu Dysons ${\displaystyle \beta }$-Gaußschem Ensemble spricht man auch vom ${\displaystyle \beta }$-Wishart Ensemble für (reell) Wishart, komplex Wishart und Quaternion Wishart. Häufig verwendet man aber auch die technische Bezeichnung Laguerre, somit erhält man die ${\displaystyle \beta }$-Ensembles LOE, LUE und LSE, benannt nach der Invarianz des Maßes unter der entsprechenden kompakten Lie-Gruppen-Konjugation.

Definition

Formale Definition

Sei ${\displaystyle M}$ eine ${\displaystyle m\times m}$-Zufallsmatrix. Das Wahrscheinlichkeitsmaß[1]

${\displaystyle W_{m}(n,\Sigma ):={\frac {1}{{\mathcal {W}}_{n,m,\Sigma }}}(\det M)^{(n-m-1)/2}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}M)}\mathrm {d} M,}$

wobei

${\displaystyle {\mathcal {W}}_{n,m,\Sigma }:=2^{nm/2}\Gamma _{m}(n/2)(\det \Sigma )^{n/2},}$

definiert die zentrierte Wishart-Verteilung mit ${\displaystyle n\geq m}$ Freiheitsgraden auf dem Raum der symmetrischen positiv definiten Matrizen (${\displaystyle x^{T}Mx>0}$).

Mit ${\displaystyle \Gamma _{m}(n/2)}$ bezeichnet man die multivariate Gammafunktion:

${\displaystyle \Gamma _{m}\left({\frac {n}{2}}\right)=\pi ^{m(m-1)/4}\prod _{j=1}^{m}\Gamma \left({\frac {n}{2}}-{\frac {j-1}{2}}\right).}$

Eine Zufallsmatrix ${\displaystyle M\sim W_{m}(n,\Sigma )}$ nennt man zentrierte Wishart-Matrix.

Im Fall ${\displaystyle n<m}$ erhält man singuläre Wishart-Matrizen.[2]

Einleitung

Sei ${\displaystyle X}$ eine Zufallsmatrix, die der matrixvariaten Normalverteilung ${\displaystyle {\mathcal {N}}_{n,m}(0,\Sigma ,\operatorname {Id} )}$ folgt. Dann ist

${\displaystyle W=XX'}$

Wishart-verteilt. Das heißt, eine ${\displaystyle m\times m}$-Wishart-Matrix besteht aus ${\displaystyle {\frac {1}{2}}m(m+1)}$ sich nicht wiederholenden Elementen. Falls ${\displaystyle \mathbb {E} [X]=0_{n,m},}$ spricht man von einer zentrierten Wishart-Matrix.

Wenn allerdings ${\displaystyle X\sim {\mathcal {N}}_{n,m}(\mu ,\Sigma ,\operatorname {Id} ),}$ spricht man von einer nicht-zentrierten Wishart-Matrix, geschrieben ${\displaystyle M\sim W_{m}(n,\Sigma ,M)}$ (siehe Abschnitt Nicht-zentrierte Wishart-Verteilung). Explizite Formeln sind für diese Matrix in hoher Dimension äußerst kompliziert. Man kann jedoch die charakteristische Funktion angeben.[3]

Falls ${\displaystyle X}$ einer komplexen matrixvariaten Normalverteilung folgt, dann ist ${\displaystyle W}$ komplex Wishart-verteilt.

Eigenwertdichte

Sei ${\displaystyle M\sim W_{m}(n,\Sigma )}$ und ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{m}}$ die geordneten Eigenwerte. Weiter sei ${\displaystyle \mathrm {d} Q}$ das normalisierte Haarsche Maß über der orthogonalen Gruppe ${\displaystyle \mathbb {O} _{m}}$ und ${\displaystyle \Lambda =\operatorname {diag} (\lambda _{1},\dots ,\lambda _{m})}$, dann ist die Eigenwertdichte[4]

${\displaystyle \mathbb {P} _{m,n}(\lambda _{1},\dots ,\lambda _{m})=C_{m,n}{\frac {1}{(\operatorname {det} \Sigma )^{n/2}}}\prod \limits _{i}\lambda _{i}^{\frac {n-m-1}{2}}\prod \limits _{i<j}(\lambda _{i}-\lambda _{j})\int _{\mathbb {O} _{m}}e^{-{\frac {1}{2}}\operatorname {tr} (\Sigma ^{-1}Q\Lambda Q^{t})}\mathrm {d} Q}$,

wobei ${\displaystyle C_{m,n}:={\frac {\pi ^{m^{2}/2}}{2^{mn/2}\Gamma _{m}(m/2)\Gamma _{m}(n/2)}}}$.

Für d​as Integral über d​er orthogonalen Gruppe g​ibt es k​eine bekannte geschlossene Formel. Allerdings k​ann man m​it Hilfe d​er Theorie d​er zonalen Polynome e​ine unendliche Reihenentwicklung für d​as Integral finden.

Für komplexe Wishart-Matrizen geht das Integral über die unitäre Gruppe ${\displaystyle \mathbb {U} _{m}}$, welches man mittels dem Harish-Chandra-Itzykson-Zuber-Integral berechnen kann.

${\displaystyle \operatorname {det} (\Sigma )}$ wird auch als verallgemeinerte Varianz bezeichnet.

Nicht-zentrierte Wishart-Verteilung

Eine symmetrische positive ${\displaystyle p\times p}$-Zufallsmatrix ${\displaystyle M}$ folgt der nicht-zentrierten Wishart-Verteilung, geschrieben ${\displaystyle M\sim W_{p}(n,\Sigma ,\Xi )}$, falls sie folgende Wahrscheinlichkeitsdichte besitzt:[5]

Für ${\displaystyle M>0,\ n\geq p}$ gilt

${\displaystyle f(M)={\bigg \{}2^{{\frac {1}{2}}np}\Gamma _{p}\left({\frac {1}{2}}n\right)\det(\Sigma )^{{\frac {1}{2}}n}{\bigg \}}^{-1}\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Xi )\right)\exp \left(\operatorname {tr} (-{\frac {1}{2}}\Sigma ^{-1}M)\right)\det(M)^{{\frac {1}{2}}(n-p-1)}{}_{0}F_{1}\left({\frac {1}{2}}n;{\frac {1}{4}}\Xi \Sigma ^{-1}M\right),}$

wobei ${\displaystyle {}_{0}F_{1}}$ die verallgemeinerte hypergeometrische Funktion mit Matrizen-Argument ist.

Wishart-Prozess

Der Wishart-Prozess bzw. dessen Eigenwertprozess ist das Analogon zu Dysons brownscher Bewegung für Kovarianzmatrizen. Sei ${\displaystyle S_{n}^{+}}$ der Raum der semidefiniten reellen ${\displaystyle n\times n}$-Matrizen, ${\displaystyle S_{0}\in S_{n}^{+}}$ und ${\displaystyle B_{t}}$ eine ${\displaystyle n\times n}$-Matrix-Brownsche-Bewegung. Weiter sei ${\displaystyle Q\in \operatorname {GL} _{n}(\mathbb {R} )}$ und ${\displaystyle M\in \operatorname {Mat} _{n}(\mathbb {R} )}$ sowie ${\displaystyle \alpha >n-1}$ ein Parameter. Der Wishart-Prozess ist die starke Lösung folgender stochastischen Differentialgleichung:[6]

${\displaystyle \mathrm {d} S_{t}={\sqrt {S_{t}}}\mathrm {d} B_{t}Q+Q^{T}\mathrm {d} B_{t}^{T}{\sqrt {S}}_{t}+\left(MS_{t}+S_{t}M^{T}+\alpha QQ^{T}\right)\mathrm {d} t,\quad t\geq 0}$

Betrachtet m​an das Wishartsche unitäre Ensemble, s​o wird d​er Prozess a​uch häufig Laguerre-Prozess genannt.

Finanzmodelle m​it multivariater wishartschen stochastischen Volatilität h​aben mehr Flexibilität a​ls das klassische Black-Scholes-Modell.

Asymptotisches Spektralmaß

Für unendlich große Standard-Wishart-Matrizen (sowie a​uch für allgemeinere Formen) g​ilt für d​ie Eigenwerte d​as Marchenko-Pastur-Gesetz.

Marchenko-Pastur-Gesetz

Sei ${\displaystyle M_{m}\sim W_{m}(n,\operatorname {Id} _{m}),\ M=M_{m}/n}$ und ${\displaystyle m,n\to \infty ,}$ so dass ${\displaystyle m/n\to \alpha \in (0,\infty )}$, dann konvergiert das empirische Spektralmaß von ${\displaystyle M}$ auf ${\displaystyle [\lambda _{-},\lambda _{+}]:=[(1-{\sqrt {\alpha }})^{2},(1+{\sqrt {\alpha }})^{2}]}$ schwach nach[7]

${\displaystyle \operatorname {mp} _{\alpha }(\mathrm {d} x,\omega ):=\left(1-{\frac {1}{\alpha }}\right)^{+}\delta _{0}+{\frac {\sqrt {(x-\lambda _{-})(\lambda _{+}-x)}}{2\pi x\alpha }}1_{x\in [\lambda _{-},\lambda _{+}]}\mathrm {d} x\quad {\text{fast sicher.}}}$

Tracy-Widom-Gesetz

→ Hauptartikel: Tracy-Widom-Verteilung

Der größte Eigenwert e​iner normalisierten Wishart-Matrix f​olgt dem Tracy-Widom-Gesetz.

Eigenschaften

Die Wishart-Verteilung h​at folgende Eigenschaften:[8]

1. Sei ${\displaystyle M\sim W_{m}(n,\Sigma )}$ und ${\displaystyle C}$ eine ${\displaystyle q\times m}$-Matrix mit Rang ${\displaystyle q}$, dann gilt ${\displaystyle CMC^{t}\sim W_{m}(n,C\Sigma C^{t})}$.
2. Aus (1.) folgt somit ${\displaystyle \Sigma ^{-{\frac {1}{2}}}M\Sigma ^{-{\frac {1}{2}}}\sim W_{m}(n,\operatorname {Id_{m}} )}$.
3. Seien ${\displaystyle (M_{i})\sim W_{m}(n_{i},\Sigma )}$ ${\displaystyle k}$ unabhängige Wishart-Matrizen. Dann ist ${\displaystyle M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}(n_{1}+\dotsb +n_{k},\Sigma )}$ (Reproduktivität).
4. Sei ${\displaystyle M\sim W_{m}(n,\Sigma )}$, dann ${\displaystyle \mathbb {E} [W_{m}]=n\Sigma .}$

Für nicht-zentralisierte Wishart-Matrizen gilt

1. Seien ${\displaystyle M_{i}\sim W_{m}(n_{i},\Sigma ,\Xi _{i})}$ und ${\displaystyle i=1,\dots ,k}$ und unabhängig, dann ist ${\displaystyle M=\sum \limits _{i=1}^{k}M_{i}\sim W_{m}\left(\sum \limits _{i=1}^{k}n_{i},\Sigma ,\sum \limits _{i=1}^{k}\Xi _{i}\right)}$ (Reproduktivität).

Herleitung

Seien ${\displaystyle X_{1},\dots ,X_{m}\sim {\mathcal {N}}(0,1)}$ (standardnormalverteilte Zufallsvariablen). Summiert man die Quadrate der ${\displaystyle X_{i},}$ erhält man eine Chi-Quadrat-verteilte Zufallsvariable mit ${\displaystyle m}$ Freiheitsgraden:

${\displaystyle Y=\sum _{i=1}^{m}X_{i}^{2}\sim \chi ^{2}(m)}$

Diese Summe lässt sich aber auch als das Produkt eines ${\displaystyle m}$-variaten Zufallsvektors mit seiner Transponierten auffassen:

${\displaystyle Y=ZZ',}$

wobei ${\displaystyle Z=(X_{1},\dots ,X_{m})\sim {\mathcal {N}}_{m}(0,\Sigma )}$.

Hat man nun ${\displaystyle n}$ unabhängige Zufallsvektoren ${\displaystyle Z_{1},\dots ,Z_{n}\sim {\mathcal {N}}_{m}(0,\Sigma )}$, fasst man diese in einer ${\displaystyle m\times n}$-Zufallsmatrix zusammen:

${\displaystyle \mathbf {X} ={\begin{pmatrix}\vline &\vline &\vline &\vline \\Z_{1}'&Z_{2}'&\dots &Z_{n}'\\\vline &\vline &\vline &\vline \end{pmatrix}}={\begin{pmatrix}Z_{1}^{(1)}&Z_{1}^{(2)}&\cdots &Z_{1}^{(n)}\\Z_{2}^{(1)}&Z_{2}^{(2)}&\cdots &Z_{2}^{(n)}\\\vdots &\vdots &\cdots &\vdots \\Z_{m}^{(1)}&Z_{m}^{(2)}&\cdots &Z_{m}^{(n)}\\\end{pmatrix}}}$.

Multipliziert man ${\displaystyle \mathbf {X} }$ mit ihrer Transponierten, erhält man eine (symmetrische) ${\displaystyle m\times m}$-Zufallsmatrix, die der Wishart-Verteilung mit ${\displaystyle n}$ Freiheitsgraden folgt:

${\displaystyle {\textbf {W}}=\mathbf {X} \mathbf {X} '=\sum _{i=1}^{n}Z_{i}'Z_{i}}$

mit ${\displaystyle {\textbf {W}}\sim W_{m}(n,\Sigma )}$.

Erläuterungen

Betrachte ${\displaystyle n=10}$ Observationen mit ${\displaystyle 2}$ Parametern ${\displaystyle Z_{1},Z_{2},\dots ,Z_{10}\sim {\mathcal {N}}_{2}(0,\Sigma )}$. Sei ${\displaystyle Z_{1}=(z_{1}^{(1)},z_{2}^{(1)}),Z_{2}=(z_{1}^{(2)},z_{2}^{(2)}),\dots ,Z_{10}=(z_{1}^{(10)},z_{2}^{(10)})}$, dann ist

${\displaystyle {\begin{aligned}{\textbf {W}}=\sum _{i=1}^{10}Z_{i}'Z_{i}&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}\\z_{1}^{(1)}z_{2}^{(1)}&\left(z_{2}^{(1)}\right)^{2}\end{pmatrix}}+{\begin{pmatrix}\left(z_{1}^{(2)}\right)^{2}&z_{1}^{(2)}z_{2}^{(2)}\\z_{1}^{(2)}z_{2}^{(2)}&\left(z_{2}^{(2)}\right)^{2}\end{pmatrix}}+\cdots +{\begin{pmatrix}\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\\&={\begin{pmatrix}\left(z_{1}^{(1)}\right)^{2}+\left(z_{1}^{(2)}\right)^{2}+\cdots +\left(z_{1}^{(10)}\right)^{2}&z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}\\z_{1}^{(1)}z_{2}^{(1)}+z_{1}^{(2)}z_{2}^{(2)}+\cdots +z_{1}^{(10)}z_{2}^{(10)}&\left(z_{2}^{(1)}\right)^{2}+\left(z_{2}^{(2)}\right)^{2}+\cdots +\left(z_{2}^{(10)}\right)^{2}\end{pmatrix}}\end{aligned}}}$.

Das heißt, d​ie Wishart-Matrix i​st in diesem Beispiel d​ie Summe a​us zehn verschiedenen Matrizen.

Statistisches Beispiel

Seien ${\displaystyle X_{1},\dotsc ,X_{n}}$ i.i.d. ${\displaystyle p}$-dimensionale Zufallsvektoren mit Verteilung ${\displaystyle {\mathcal {N}}_{p}(\mu ,\Sigma )}$. Definiere die Schätzfunktionen für den Erwartungswert und die Varianz

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$

${\displaystyle S={\frac {1}{n-1}}\sum \limits _{i=1}^{n}(X_{i}-{\overline {X}})(X_{i}-{\overline {X}})^{t}}$

Dann gilt

${\displaystyle (n-1)S\sim W_{p}(n-1,\Sigma ).}$

Erläuterung

Das heißt, d​ie unnormalisierte Kovarianzmatrix d​er Zufallsstichprobe a​us einer multivariaten Normalverteilung f​olgt der Wishart-Verteilung. Für d​en Maximum-Likelihood-Schätzer für d​ie Kovarianzmatrix gilt:

${\displaystyle {\widehat {\Sigma }}_{ML}={\frac {(n-1)}{n}}S}$

Weblinks

• A.V. Prokhorov: Wishart distribution. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 978-1-55608-010-4 (englisch, online).

• Eric W. Weisstein: Wishart Distribution. In: MathWorld (englisch).

Literatur

• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin/Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.

Einzelnachweise

1. Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 63.
2. Harald Uhlig: On Singular Wishart and Singular Multivariate Beta Distributions. In: The Annals of Statistics, Ann. Statist. Nr. 22, 1994, doi:10.1214/aos/1176325375.
3. T. W. Anderson: The Non-Central Wishart Distribution and Certain Problems of Multivariate Statistics. In: The Annals of Statistics, Ann. Statist. Nr. 17, 1946, doi:10.1214/aoms/1177730882.
4. Alan T. James: Distributions of Matrix Variates and Latent Roots Derived from Normal Samples. In: The Annals of Mathematical Statistics, Ann. Statist. Nr. 35, 1964, doi:10.1214/aoms/1177703550.
5. A.K. Gupta, D.K. Nagar: Matrix Variate Distributions. Chapman & Hall/CRC, ISBN 1-58488-046-5, S. 113–114.
6. Marie-France Bru: Wishart Processes. In: Journal of Theoretical Probability, Vol 4. Nr. 4, 1991, S. 725–751, doi:10.1007/bf01259552.
7. Pavel Yaskov: A short proof of the Marchenko-Pastur theorem. In: arXiv. Abgerufen am 30. Mai 2021.
8. Alan J. Izenman: Modern multivariate statistical techniques: Regression, classification, and manifold learning. 1. Auflage. Springer-Verlag, New York, ISBN 978-0-387-78189-1, S. 64.