Whitening (Statistik)

Die Whitening-Transformation bezeichnet e​ine lineare Transformation, b​ei der e​in Vektor v​on Zufallsvariablen m​it bekannter Kovarianzmatrix i​n eine Reihe v​on neuen Variablen umgewandelt wird, d​eren Kovarianzmatrix d​er Einheitsmatrix gleicht. Angestrebt w​ird ein Zustand, i​n dem d​ie einzelnen Variablen unkorreliert s​ind und jeweils e​ine Varianz v​on 1 haben.[1] Die Transformation w​ird als „Whitening“ bezeichnet, d​a nach d​er Umwandlung d​ie Verteilungseigenschaften d​es Inputvektors d​enen des Weißen Rauschens entsprechen. Ziel i​st eine Stetige Gleichverteilung.

Einige andere Transformationen stehen i​n enger Beziehung z​um Whitening:

1. die Dekorrelationstransformation entfernt nur Korrelationen aber lässt die Varianzen intakt,
2. die Standardisierungstransformation setzt die Varianzen 1 aber lässt die Korrelationen intakt,
3. die Coloring-Transformation übersetzt einen Vektor mit "weißen" Zufallsvariablen in einen Zufallsvektor mit einer spezifischen Kovarianzmatrix.[2]

Definition

Angenommen ${\displaystyle X}$ ist ein Zufalls-Spalten-Vektor mit nicht-singulärer Kovarianzmatrix ${\displaystyle M}$und Mittelwert ${\displaystyle 0}$. Dann führt die Transformation ${\displaystyle Y=WX}$mit einer Whitening-Matrix ${\displaystyle W}$, welche die Bedingung ${\displaystyle W^{\mathrm {T} }W=M^{-1}}$ erfüllt, zu einem „whitened“ Zufallsvektor ${\displaystyle Y}$mit einheitlicher diagonaler Kovarianz.

Es gibt eine unendliche Anzahl möglicher Whitening-Matrizen ${\displaystyle W}$. Gebräuchliche Auswahlen sind ${\displaystyle W=M^{-1/2}}$ (Mahalanobis or ZCA whitening), die Cholesky-Zerlegung von ${\displaystyle M^{-1}}$ (Cholesky whitening) oder die Eigenvektoren von ${\displaystyle M}$ (PCA whitening).[3]

Kessy et al. (2018) demonstrieren, dass optimale Whitening-Transformationen durch Untersuchen der Kreuzvarianzen und Kreuzkorrelationen von ${\displaystyle X}$und ${\displaystyle Y}$erkannt werden können. Zum Beispiel, die singuläre optimale Whitening-Transformation zum Erreichen der maximalen komponentenweisen Korrelation zwischen dem ursprünglichen ${\displaystyle X}$ und geweißten ${\displaystyle Y}$ wird durch die Whitening-Matrix ${\displaystyle W=P^{-1/2}V^{-1/2}}$ erzeugt. Hierbei ist ${\displaystyle P}$die Korrelationsmatrix und ${\displaystyle V}$die Varianzmatrix.

Eine Datenmatrix „weißen“

Das Whitening e​iner Datenmatrix f​olgt den gleichen Transformationen w​ie Zufallsvariablen. Eine empirische Whitening-Transformation erfolgt d​urch die Schätzung d​er Kovarianz (z. B. d​urch die Maximum-Likelihood-Methode) u​nd anschließender Konstruktion e​iner entsprechend geschätzten Whitening-Matrix (z. B. d​urch die Cholesky-Zerlegung).

Siehe auch

• Hauptkomponentenanalyse
• Kanonische Korrelation
• Symmetrische Orthogonalisierung

Weblinks

• courses.media.mit.edu (PDF)
• The ZCA whitening transformation. (PDF; 4,0 MB) Appendix A von A. Krizhevsky: Learning Multiple Layers of Features from Tiny Images.

Einzelnachweise

1. Agnan Kessy, Alex Lewin, Korbinian Strimmer: Optimal Whitening and Decorrelation. In: The American Statistician. 2017, ISSN 0003-1305, S. 1–6, doi:10.1080/00031305.2016.1277159, arxiv:1512.00809 (Stand 2018).
2. Miliha Hossain: Whitening and Coloring Transforms for Multivariate Gaussian Random Variables. Project Rhea. Abgerufen am 21. März 2016.
3. Jerome H. Friedman: Exploratory Projection Pursuit. In: Journal of the American Statistical Association. Band 82, Nr. 397, März 1987, S. 249, doi:10.2307/2289161, JSTOR:2289161.