Exponentialfamilie

In der Wahrscheinlichkeitstheorie und in der Statistik ist eine Exponentialfamilie (oder exponentielle Familie) eine Klasse von Wahrscheinlichkeitsverteilungen einer ganz bestimmten Form. Man wählt diese spezielle Form, um bestimmte Rechenvorteile auszunutzen oder aus Gründen der Verallgemeinerung. Exponentialfamilien sind in gewissem Sinne sehr natürliche Verteilungen und eine dominierte Verteilungsklasse, was viele Vereinfachungen in der Handhabung mit sich bringt. Das Konzept der Exponentialfamilien geht zurück auf[1] E. J. G. Pitman,[2] G. Darmois,[3] und B. O. Koopman[4] (1935–6).

Einparametrige Exponentialfamilie

Definition

Eine Familie von Wahrscheinlichkeitsmaßen ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ auf dem Messraum ${\displaystyle (X,{\mathcal {A}})}$ mit ${\displaystyle \Theta \subset \mathbb {R} }$ heißt eine einparametrige Exponentialfamilie, wenn es ein σ-endliches Maß ${\displaystyle \mu }$ gibt, so dass alle ${\displaystyle P_{\vartheta }}$ eine Dichtefunktion der Gestalt

${\displaystyle f(x,\vartheta )=h(x)A(\vartheta )\exp(\eta (\vartheta )T(x))}$

bezüglich ${\displaystyle \mu }$ besitzen. Meist handelt es sich bei ${\displaystyle \mu }$

• um das Lebesgue-Maß, die Dichtefunktionen sind dann herkömmliche Wahrscheinlichkeitsdichtefunktion (stetiger Fall).
• um das Zählmaß, die Dichtefunktionen sind dann Zähldichten (diskreter Fall).

Dabei ist

${\displaystyle T:(X,{\mathcal {A}})\to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$

eine messbare Funktion, d​ie natürliche suffiziente Statistik o​der kanonische Statistik d​er Exponentialfamilie. Ebenso ist

${\displaystyle h:(X,{\mathcal {A}})\to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$

eine messbare Funktion. Die Funktion

${\displaystyle A:\Theta \to \mathbb {R} }$

wird Normierungsfunktion o​der Normierungskonstante genannt u​nd garantiert, d​ass die i​n der Definition e​ines Wahrscheinlichkeitsmaßes geforderte Normierung gegeben ist. Des Weiteren ist

${\displaystyle \eta$ :\Theta \to \mathbb {R} }

eine beliebige reelle Funktionen d​es Parameters.

Beispiele

Ein elementares Beispiel sind die Binomialverteilungen auf ${\displaystyle X=\{1,\dots ,n\}}$ mit ${\displaystyle {\mathcal {A}}={\mathcal {P}}(X)}$. Sie besitzen die Wahrscheinlichkeitsfunktion (beziehungsweise die Dichtefunktion bezüglich des Zählmaßes)

${\displaystyle f(x,\vartheta )={\binom {n}{x}}\vartheta ^{x}(1-\vartheta )^{n-x}={\binom {n}{x}}(1-\vartheta )^{n}\exp \left(x\ln \left({\frac {\vartheta }{1-\vartheta }}\right)\right)}$

mit ${\displaystyle \vartheta \in (0,1)}$. Somit ist die Binomialverteilung teil einer Exponentialfamilie und wird charakterisiert durch

${\displaystyle T(x)=x,\quad ,\eta (\vartheta )=\ln \left({\frac {\vartheta }{1-\vartheta }}\right),\quad A(\vartheta )=(1-\vartheta )^{n}{\text{ und }}h(x)={\binom {n}{x}}}$.

Ein weiteres Beispiel sind die Exponentialverteilungen. Sie sind auf ${\displaystyle ([0,\infty ),{\mathcal {B}}([0,\infty ))}$ definiert mit ${\displaystyle \vartheta \in (0,\infty )}$ und besitzen die Wahrscheinlichkeitsdichtefunktion

${\displaystyle f(x,\vartheta )=\vartheta \exp \left(-\vartheta x\right)}$

Somit i​st in diesem Fall

${\displaystyle T(x)=x,\quad \eta (\vartheta )=-\vartheta \,{\text{ sowie }}A(\vartheta )=\vartheta }$.

Zu beachten ist, dass eine einparametrige Exponentialfamilie durchaus eine multivariate Verteilung sein kann. Einparametrig bedeutet hier nur, dass die Dimensionalität des „Formparameters“ ${\displaystyle \vartheta }$ eins ist. Ob die definierte Wahrscheinlichkeitsverteilung univariat oder multivariat ist, hängt von der Dimensionalität des Grundraumes ${\displaystyle X}$ ab, an die keine Anforderungen gestellt sind.

Alternative Definitionen

Die Definitionen e​iner Exponentialfamilie unterscheiden s​ich meist i​n den folgenden Punkten:

• Nicht alle Autoren schreiben die Funktionen ${\displaystyle h}$ und ${\displaystyle A}$ als Produkt vor die Exponentialfunktion, teilweise stehen sie auch als Summe in der Exponentialfunktion, manchmal mit negativem Vorzeichen. So finden sich die Definitionen

${\displaystyle f(x,\vartheta )=\exp(\eta (\vartheta )T(x)+h^{*}(x)+A^{*}(\vartheta )){\text{ oder alternativ }}f(x,\vartheta )=h(x)\exp(\eta (\vartheta )T(x)-{\tilde {A}}(\vartheta ))}$.

Diese unterschiedlich definierten Funktionen lassen sich meist problemlos ineinander umrechen. Dennoch ist bei einer Angabe der Funktionen ${\displaystyle A}$ und ${\displaystyle h}$ darauf zu achten, wie genau diese definiert werden.

• Manche Autoren versehen die Dichtefunktion noch mit einer charakteristischen Funktion bezüglich einer Menge ${\displaystyle M}$. Die Dichtefunktion ist dann gegeben als

${\displaystyle f(x,\vartheta )=\chi _{M}(x)h(x)A(\vartheta )\exp(\eta (\vartheta )T(x))}$.

Dabei soll die Wahl der Menge ${\displaystyle M}$ unabhängig vom Parameter ${\displaystyle \vartheta }$ sein. Diese Definition ermöglicht es, gewisse Kriterien, die auf der Positivität der Dichtefunktion aufbauen, allgemeiner zu fassen. Solche Kriterien finden sich beispielsweise in regulären statistischen Modellen.

k-parametrische Exponentialfamilie

Definition

Eine Familie von Wahrscheinlichkeitsmaßen ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ auf dem Messraum ${\displaystyle (X,{\mathcal {A}})}$ mit ${\displaystyle \Theta \subset \mathbb {R} ^{k}}$ heißt eine k-parametrische Exponentialfamilie, wenn es ein σ-endliches Maß ${\displaystyle \mu }$ gibt, so dass alle ${\displaystyle P_{\vartheta }}$ die Dichtefunktion

${\displaystyle f(x,\vartheta )=h(x)A(\vartheta )\exp \left(\sum _{i=1}^{k}\eta _{i}(\vartheta )T_{i}(x)\right)}$

bezüglich ${\displaystyle \mu }$ besitzen. Oftmals wird der Parameter ${\displaystyle \vartheta =(\vartheta _{1},\dots ,\vartheta _{k})}$ geschrieben. Dabei sind

${\displaystyle h,T_{1},\dots ,T_{k}:(X,{\mathcal {A}})\to (\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$

messbare Funktionen und

${\displaystyle A,\eta _{1},\dots ,\eta _{k}:\mathbb {R} ^{k}\supset \Theta \to \mathbb {R} }$

Funktionen des k-dimensionalen Parameters ${\displaystyle \vartheta }$. Hier wird wie im einparametrigen Fall die Funktion ${\displaystyle T=(T_{1},\dots ,T_{k})}$ die natürliche suffiziente Statistik oder die kanonische Statistik genannt.

Beispiel

Klassisches Beispiel für eine 2-parametrige Exponentialfamilie ist die Normalverteilung. Es ist ${\displaystyle (X,{\mathcal {A}})=(\mathbb {R} ,{\mathcal {B}}(\mathbb {R} ))}$ sowie ${\displaystyle \Theta =\mathbb {R} \times (0,\infty )}$. Jedes ${\displaystyle \vartheta \in \Theta }$ ist dann von der Form ${\displaystyle \vartheta =(\vartheta _{1},\vartheta _{2})}$. Mit den Parametrisierungen ${\displaystyle \mu =\vartheta _{1}}$ sowie ${\displaystyle \sigma ^{2}=\vartheta _{2}^{2}}$ erhält man aus der üblichen Dichtefunktion der Normalverteilung

${\displaystyle f(x,\vartheta _{1},\vartheta _{2})={\frac {1}{\sqrt {2\pi \vartheta _{2}^{2}}}}\exp \left(-{\frac {\vartheta _{1}^{2}}{2\vartheta _{2}^{2}}}\right)\exp \left({\frac {\vartheta _{1}}{\vartheta _{2}^{2}}}x-{\frac {1}{2\vartheta _{2}^{2}}}x^{2}\right)}$.

Somit i​st die Normalverteilung Teil e​iner zweiparametrigen Exponentialfamilie mit

${\displaystyle A(\vartheta _{1},\vartheta _{2})={\frac {1}{\sqrt {2\pi \vartheta _{2}^{2}}}}\exp \left(-{\frac {\vartheta _{1}^{2}}{2\vartheta _{2}^{2}}}\right),\quad T_{1}(x)=x,\quad T_{2}(x)=x^{2},\quad \eta _{1}(\vartheta _{1},\vartheta _{2})={\frac {\vartheta _{1}}{\vartheta _{2}^{2}}},\quad \eta _{2}(\vartheta _{1},\vartheta _{2})=-{\frac {1}{2\vartheta _{2}^{2}}}}$.

Auch h​ier gilt wieder: e​ine k-parametrige Exponentialfamilie k​ann durchaus e​ine Wahrscheinlichkeitsverteilung i​n nur e​iner Dimension beschreiben. Die Zahl k g​ibt nur d​ie Anzahl d​er Formparameter an, n​icht die Dimensionalität d​er Verteilung. So i​st im obigen Beispiel d​ie Normalverteilung eindimensional, a​ber Teil e​iner 2-parametrigen Exponentialfamilie.

Ein weiteres Beispiel für e​ine 2-parametrige Exponentialfamilie i​st die Gammaverteilung.

Alternative Definitionen

Für d​ie k-parametrische Exponentialfamilie existieren dieselben Varianten i​n der Definition w​ie bereits i​m einparametrischen Fall besprochen wurden. Außerdem fordern manche Autoren n​och zusätzlich i​n der Definition, d​ass folgende b​eide Eigenschaften gelten:

1. Die Funktionen ${\displaystyle \eta _{1},\dots ,\eta _{k}}$ sind linear unabhängig
2. Die Funktionen ${\displaystyle 1,T_{1},\dots ,T_{k}}$ sind für alle ${\displaystyle P_{\vartheta }}$ fast sicher linear unabhängig.

Mit diesen zusätzlichen Forderungen lassen sich beispielsweise Aussagen über die Kovarianzmatrix von ${\displaystyle T}$ treffen.

Die natürliche Parametrisierung

Sowohl im einparametrischen als auch im k-parametrischen Fall sagt man, dass die Exponentialfamilie in der natürlichen Parametrisierung vorliegt, wenn ${\displaystyle \eta (\vartheta )=\vartheta }$ ist.

Eigenschaften

Suffizienz

Für die Exponentialfamilie ist die kanonische Statistik ${\displaystyle T}$ immer eine suffiziente Statistik. Dies folgt direkt aus dem Neyman-Kriterium für die Suffizienz. Daher wird ${\displaystyle T}$ auch als natürliche suffiziente Statistik bezeichnet.

Score-Funktion

Für e​ine einparametrige Exponentialfamilie i​st die Score-Funktion gegeben durch

${\displaystyle S_{\vartheta }(x):={\frac {\partial }{\partial \vartheta }}\ln f(x,\vartheta )=\eta '(\vartheta )T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}}$.

Bei natürlicher Parametrisierung vereinfacht s​ich dies zu

${\displaystyle S_{\vartheta }(x)=T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}}$.

Fisher-Information

Aus d​er Score-Funktion lässt s​ich die Fisher-Information ableiten. Sie lautet

${\displaystyle I(\vartheta )=\operatorname {Var} _{\vartheta }(S_{\vartheta })=\left[\eta '(\vartheta )\right]^{2}\cdot \operatorname {Var} _{\vartheta }(T(x))}$.

Bei natürlicher Parametrisierung ergibt s​ich für d​ie Fisher-Information somit

${\displaystyle I(\vartheta )=\operatorname {Var} _{\vartheta }(T(x))}$.

Rolle in der Statistik

Klassisches Schätzen: Suffizienz

Nach dem Pitman-Koopman-Darmois-Theorem gibt es unter Wahrscheinlichkeitsfamilien, deren Träger nicht von den Parametern abhängt, nur bei den Exponentialfamilien suffiziente Statistiken, deren Dimension bei wachsender Stichprobengröße beschränkt bleibt. Etwas ausführlicher: Seien ${\displaystyle X_{n},\ n=1,2,3,\dots }$ unabhängig und identisch verteilte Zufallsvariablen, deren Wahrscheinlichkeitsverteilungsfamilie bekannt ist. Nur wenn diese Familie eine Exponentialfamilie ist, gibt es eine (möglicherweise vektorielle) suffiziente Statistik ${\displaystyle T(X_{1},\dots ,X_{n})}$, deren Anzahl skalarer Komponenten nicht ansteigt, sollte der Stichprobenumfang ${\displaystyle n}$ erhöht werden.

Bayessches Schätzen: konjugierte Verteilungen

Exponentialfamilien sind auch für die bayessche Statistik wichtig. In der bayesschen Statistik wird eine A-priori-Wahrscheinlichkeitsverteilung mit einer Likelihood-Funktion multipliziert und dann normiert, um auf die A-posteriori-Wahrscheinlichkeitsverteilung zu kommen (siehe Satz von Bayes). Falls die Likelihood zu einer Exponentialfamilie gehört, existiert auch eine Familie konjugierter A-priori-Verteilungen, die oft ebenfalls eine Exponentialfamilie ist. Eine konjugierte A-priori-Verteilung ${\displaystyle \pi }$ für den Parameter ${\displaystyle \eta }$ einer Exponentialfamilie ist definiert durch

${\displaystyle \pi (\eta )\propto \exp(-\eta ^{\top }\alpha -\beta \,A(\eta )),}$

wobei ${\displaystyle \alpha \in \mathbb {R} ^{n}}$ und ${\displaystyle \beta >0}$ Hyperparameter sind (Parameter, die im Rahmen des Modells nicht geschätzt, sondern festgelegt werden).

Im Allgemeinen gehört d​ie Likelihood-Funktion keiner Exponentialfamilie an, deshalb existiert i​m Allgemeinen a​uch keine konjugierte A-priori-Verteilung. Die A-posteriori-Verteilung m​uss dann m​it numerischen Methoden berechnet werden.

Hypothesentests: gleichmäßig bester Test

Die einparametrische Exponentialfamilie zählt zu den Verteilungsklassen mit monotonem Dichtequotienten in der kanonischen Statistik ${\displaystyle T}$, wenn ${\displaystyle \eta }$ monoton wachsend ist. Daher existiert für das einseitige Testproblem mit

${\displaystyle \Theta _{0}=\{\vartheta \in \Theta \,|\,\vartheta \leq \vartheta _{0}\}\quad {\text{und}}\quad \Theta _{1}=\{\vartheta \in \Theta \,|\,\vartheta >\vartheta _{0}\}}$

ein gleichmäßig bester Test zu einem vorgegebenen Niveau ${\displaystyle \alpha }$. Eine explizite Beschreibung des Tests mit skizzierter Herleitung aus dem Neyman-Pearson-Lemma findet sich hier.

Literatur

• E. L. Lehmann, Casella, G.: Theory of Point Estimation 1998, ISBN 0-387-98502-6, S. 2nd ed., sec. 1.5.
• Robert W. Keener: Statistical Theory: Notes for a Course in Theoretical Statistics. Springer, 2006, S. 27–28, 32–33.
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.

Einzelnachweise

1. Erling Andersen: Sufficiency and Exponential Families for Discrete Sample Spaces. In: Journal of the American Statistical Association. 65, Nr. 331, September 1970, S. 1248–1255. doi:10.2307/2284291.
2. E. Pitman: Sufficient statistics and intrinsic accuracy. In: Proc. Camb. phil. Soc.. 32, 1936, S. 567–579.
3. G. Darmois: Sur les lois de probabilites a estimation exhaustive. In: C.R. Acad. sci. Paris. 200, 1935, S. 1265–1266.
4. B Koopman: On distribution admitting a sufficient statistic. In: Trans. Amer. math. Soc.. 39, 1936, S. 399–409. doi:10.2307/1989758.