Fisher-Information

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert. Die Fisher-Information spielt in der asymptotischen Theorie der Maximum-Likelihood-Schätzung eine wichtige Rolle und wird auch in der Bayes-Statistik bei der Berechnung von Priorverteilungen verwendet. Sie kann auch bei der Formulierung von Teststatistiken, wie beim Wald-Test verwendet werden.

Definition

Gegeben sei ein einparametriges statistisches Standardmodell ${\displaystyle (X,{\mathcal {A}},(P_{\vartheta })_{\vartheta \in \Theta })}$, das heißt,

• es ist ${\displaystyle \Theta \subset \mathbb {R} }$,
• die ${\displaystyle P_{\vartheta }}$ besitzen alle eine Dichtefunktion ${\displaystyle f(x,\vartheta )}$ bezüglich eines festen σ-endlichen Maßes ${\displaystyle \mu }$, das heißt, sie bilden eine dominierte Verteilungsklasse.

Des Weiteren sei ${\displaystyle \Theta }$ eine offene Menge und es existiere die Score-Funktion

${\displaystyle S_{\vartheta }(x):={\frac {\partial }{\partial \vartheta }}\ln f(x,\vartheta )={\frac {{\frac {\partial }{\partial \vartheta }}f(x,\vartheta )}{f(x,\vartheta )}}}$

und s​ei endlich. Dann w​ird die Fisher-Information d​es Modells entweder definiert a​ls [1]

${\displaystyle I(\vartheta ):=\operatorname {Var} _{\vartheta }(S_{\vartheta })}$

oder als[2]

${\displaystyle I(\vartheta ):=\operatorname {E} _{\vartheta }(S_{\vartheta }^{2})}$.

Dabei bezeichnet ${\displaystyle \operatorname {Var} _{\vartheta }}$ die Varianz bezüglich der Wahrscheinlichkeitsverteilung ${\displaystyle P_{\vartheta }}$. Unter der Regularitätsbedingung

${\displaystyle \int {\frac {\partial }{\partial \vartheta }}\,f(x,\vartheta )\,\mathrm {d} \mu (x)={\frac {\partial }{\partial \vartheta }}\int f(x,\vartheta )\,\mathrm {d} \mu (x)}$

fallen d​ie beiden Definitionen zusammen. Gilt zusätzlich d​ie Regularitätsbedingung

${\displaystyle \int {\frac {\partial ^{2}}{\partial \vartheta ^{2}}}\,f(x,\vartheta )\,\mathrm {d} \mu (x)={\frac {\partial ^{2}}{\partial \vartheta ^{2}}}\int f(x,\vartheta )\,\mathrm {d} \mu (x)}$,

so i​st die Fisher-Information gegeben durch

${\displaystyle I(\vartheta )=-\operatorname {E} _{\vartheta }\left({\frac {\partial }{\partial \vartheta }}S_{\vartheta }\right)}$.

Bemerkungen zur Definition

Folgende Dinge s​ind bei d​er Definition z​u beachten:

• Daraus, dass das Modell einparametrisch ist, folgt nicht, dass es sich um Wahrscheinlichkeitsverteilungen über einem eindimensionalen Grundraum handelt. Einparametrig bedeutet lediglich, dass die Verteilungen durch einen eindimensionalen Parameter bestimmt werden. An die Dimension des Grundraumes werden keine Anforderungen gestellt.
• In den meisten Fällen ist das Maß ${\displaystyle \mu }$, bezüglich dessen die Dichtefunktionen definiert sind, entweder das Lebesgue-Maß ${\displaystyle \lambda }$ oder das Zählmaß. Handelt es sich um das Zählmaß, so sind die Dichtefunktionen Wahrscheinlichkeitsfunktionen, das Integral wird dementsprechend durch eine Summe ersetzt. Handelt es sich um das Lebesgue-Maß, so ist das Integral ein Lebesgue-Integral, kann jedoch in den meisten Fällen durch das herkömmlich Riemann-Integral ersetzt werden. Man schreibt dann dementsprechend ${\displaystyle \mathrm {d} x}$ anstelle von ${\displaystyle \mathrm {d} \lambda (x)}$.
• Hinreichend für die Existenz der Score-Funktion ist beispielsweise, dass ${\displaystyle f(x,\vartheta )}$ auf ganz ${\displaystyle X\times \Theta }$ positiv ist und stetig differenzierbar nach ${\displaystyle \vartheta }$.
• Die erste Regularitätsbedingung gilt beispielsweise per Definition in regulären statistischen Modellen. Meist zeigt man die Vertauschbarkeit von Integration und Differentiation mit den klassischen Aussagen der Analysis.
• Unter der ersten Regularitätsbedingung ist die Score-Funktion zentriert, das heißt, es ist ${\displaystyle \operatorname {E} _{\vartheta }(S_{\vartheta })=0}$. Daraus folgt mittels des Verschiebungssatzes der Varianz die Äquivalenz der ersten beiden Definition der Fisher-Information.

Beispiele

Diskreter Grundraum: Poisson-Verteilung

Als statistisches Modell sei der Grundraum ${\displaystyle X=\{0,1,2,\dots \}}$ gegeben, versehen mit der σ-Algebra ${\displaystyle {\mathcal {A}}={\mathcal {P}}(X)}$, der Potenzmenge. Für ${\displaystyle \lambda \in (0,\infty )}$ sei ${\displaystyle P_{\lambda }}$ die Poisson-Verteilung. Demnach ist die Dichtefunktion, hier bezüglich des Zählmaßes, gegeben durch

${\displaystyle f(x,\lambda )={\frac {\lambda ^{x}}{x!}}\,\mathrm {e} ^{-\lambda }}$.

Damit ergibt s​ich die Score-Funktion zu

${\displaystyle S_{\lambda }(x)={\frac {\partial }{\partial \lambda }}\ln f(x,\lambda )={\frac {\partial }{\partial \lambda }}\left(x\ln(\lambda )-\ln(x!)-\lambda \right)={\frac {x}{\lambda }}-1}$

Damit i​st die Fisher-Information n​ach den Rechenregeln für d​ie Varianz u​nter linearen Transformationen

${\displaystyle I(\lambda )=\operatorname {Var} _{\lambda }(S_{\lambda })={\frac {1}{\lambda }}}$.

Stetiger Grundraum: Exponentialverteilung

Als statistisches Modell sei diesmal ${\displaystyle X=(0,\infty )}$ und ${\displaystyle {\mathcal {A}}={\mathcal {B}}((0,\infty ))}$ gewählt. Die ${\displaystyle P_{\lambda }}$ seien Exponentialverteilt zum Parameter ${\displaystyle \lambda \in (0,\infty )}$. Somit besitzen sie die Dichtefunktion (bezüglich des Lebesgue-Maßes)

${\displaystyle f(x,\lambda )=\lambda \exp(-\lambda x)}$.

Demnach i​st die Score-Funktion

${\displaystyle S_{\lambda }(x)={\frac {\partial }{\partial \lambda }}\ln f(x,\lambda )={\frac {\partial }{\partial \lambda }}\left(\ln(\lambda )-\lambda x\right)={\frac {1}{\lambda }}-x}$,

folglich i​st die Fisher-Information

${\displaystyle I(\lambda )=\operatorname {Var} _{\lambda }(S_{\lambda })={\frac {1}{\lambda ^{2}}}}$

Fisher-Information einer Exponentialfamilie

Ist ${\displaystyle P_{\vartheta }}$ durch eine einparametrige Exponentialfamilie gegeben, besitzt also die Dichtefunktion

${\displaystyle f(x,\vartheta )=h(x)A(\vartheta )\exp(\eta (\vartheta )T(x))}$,

so i​st die Score-Funktion gegeben durch

${\displaystyle S_{\vartheta }(x)=\eta '(\vartheta )T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}}$.

Daraus f​olgt für d​ie Fisher-Information

${\displaystyle I(\vartheta )=\left[\eta '(\vartheta )\right]^{2}\cdot \operatorname {Var} _{\vartheta }(T(x))}$.

Ist die Exponentialfamilie in der natürlichen Parametrisierung gegeben, als ${\displaystyle \eta (\vartheta )=\vartheta }$, so vereinfacht sich dies zu

${\displaystyle S_{\vartheta }(x)=T(x)+{\frac {A'(\vartheta )}{A(\vartheta )}}{\text{ und }}I(\vartheta )=\operatorname {Var} _{\vartheta }(T(x))}$

In diesem Fall ist also die Varianz der kanonischen Statistik ${\displaystyle T}$ die Fisher-Information.

Eigenschaften und Anwendungen

Additivität

Die Fisher-Information ist im Fall unabhängig und identisch verteilter Zufallsvariablen unter der ersten Regularitätsbedingung additiv, das heißt, für die Fisher-Information ${\displaystyle {\mathcal {I}}^{(n)}}$ einer Stichprobe ${\displaystyle X_{1},\dotsc ,X_{n}}$ unabhängiger und identisch verteilter Zufallsvariabler mit Fisher-Information ${\displaystyle {\mathcal {I}}}$ gilt

${\displaystyle {\mathcal {I}}^{(n)}(\vartheta )=n\cdot {\mathcal {I}}(\vartheta )}$.

Diese Eigenschaft f​olgt direkt a​us der Gleichung v​on Bienaymé.

Suffizienz

Ferner gilt für suffiziente Statistiken ${\displaystyle T}$, dass die Fisher-Information bezüglich ${\displaystyle f_{\vartheta }(X)}$ dieselbe wie für ${\displaystyle g_{\vartheta }(T(X))}$ ist, wobei ${\displaystyle f_{\vartheta }(x)=h(x)g_{\vartheta }(T(x))}$ gilt.

Verwendung

Benutzt wird die Fisher-Information speziell in der Cramér-Rao-Ungleichung, wo ihr Kehrwert bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für ${\displaystyle \vartheta }$ liefert: Ist ${\displaystyle T(X)}$ ein erwartungstreuer Schätzer für den unbekannten Parameter ${\displaystyle \vartheta }$, dann gilt ${\displaystyle \operatorname {Var} _{\vartheta }(T(X))\geq {\mathcal {I}}(\vartheta )^{-1}}$.

Erweiterungen auf höhere Dimensionen

Falls das Modell von mehreren Parametern ${\displaystyle \vartheta _{i}}$ mit ${\displaystyle 1\leq i\leq k}$ abhängt, lässt sich die Fisher-Information als symmetrische Matrix ${\displaystyle {\mathcal {I}}(\vartheta )=({\mathcal {I}}_{ij}(\vartheta ))_{i,j=1,\dotsc ,k}}$ definieren, wobei

${\displaystyle {\mathcal {I}}_{ij}(\vartheta )=\operatorname {E} _{\vartheta }\left[{\frac {\partial }{\partial \vartheta _{i}}}\log f_{\vartheta }(X)\cdot {\frac {\partial }{\partial \vartheta _{j}}}\log f_{\vartheta }(X)\right]}$

gilt. Sie wird die Fisher-Informationsmatrix genannt. Die Eigenschaften bleiben im Wesentlichen erhalten. Unter der Regularitätsbedingung ist ${\displaystyle {\mathcal {I}}(\vartheta )}$ die Kovarianzmatrix der Score-Funktion.

Beispiel: Normalverteilung

Ist ${\displaystyle X}$ normalverteilt mit Erwartungswert ${\displaystyle \vartheta }$ als Parameter und bekannter Varianz ${\displaystyle v>0}$, dann ist ${\displaystyle f_{\vartheta }(x)={\frac {1}{\sqrt {2\pi v}}}\mathrm {e} ^{-{\frac {(x-\vartheta )^{2}}{2v}}}}$. Es folgt

${\displaystyle {\frac {\partial }{\partial \vartheta }}\log f_{\vartheta }(x)={\frac {x-\vartheta }{v}}}$,

also

${\displaystyle {\mathcal {I}}(\vartheta )=\operatorname {Var} \left({\frac {X-\vartheta }{v}}\right)={\frac {1}{v}}}$.

Betrachtet man dagegen sowohl den Erwartungswert ${\displaystyle \mu }$ als auch die Varianz ${\displaystyle v}$ als unbekannte Parameter, so ergibt sich

${\displaystyle {\mathcal {I}}(\mu ,v)={\begin{pmatrix}{\dfrac {1}{v}}&0\\0&{\dfrac {1}{2v^{2}}}\end{pmatrix}}}$

als Fisher-Informationsmatrix.

Literatur

• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.
• Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.

Einzelnachweise

1. Georgii: Stochastik. 2009, S. 210.
2. Czado Schmidt: Mathematische Statistik. 2011, S. 116.