Effizienz (Statistik)

Die Effizienz i​st ein zentrales Gütekriterium i​n der mathematischen Statistik u​nd liefert d​ie Möglichkeit, Punktschätzer miteinander z​u vergleichen. Die Effizienz w​ird in d​er Literatur n​icht einheitlich verwendet, d​aher sollte i​mmer die Definition d​es jeweiligen Autors überprüft werden. Einige Unterscheidungen sind:

• Effizienz und asymptotische Effizienz, also das Eintreten der Effizienz erst im Grenzwert.
• Definitionen nur für erwartungstreue Schätzer oder auch für solche mit Verzerrung
• Formulierung über die Cramér-Rao-Ungleichung, also nur in regulären statistischen Modellen. Dementsprechend wird dann von Cramér-Rao-Effizienz gesprochen.
• "absolute" Effizienz gegen "relative" Effizienz. Dabei ist ein absolut effizienter Schätzer besser als alle weiteren Schätzer in einer definierten Klasse, ein relativ effizienter Schätzer nur besser als ein angegebener Konterpart.

Entsprechend finden s​ich auch Kombinationen d​er oben aufgeführten Möglichkeiten. Zentrales Vergleichskriterium i​st im erwartungstreuen Fall d​ie Varianz d​es Schätzers, i​m nicht erwartungstreuen Fall d​er mittlere quadratische Fehler o​der allgemein Risikofunktionen, d​ie aus vorgegebenen Verlustfunktionen gewonnen werden.

Die Effizienz zählt n​eben Konsistenz, Suffizienz u​nd (asymptotischer) Erwartungstreue z​u den v​ier gebräuchlichen Gütekriterien v​on Punktschätzern.

Idee

Die Effizienz bezieht s​ich auf d​ie Varianz e​iner Schätzfunktion. Je kleiner d​ie Varianz e​iner Schätzfunktion ist, d​esto näher w​ird ein Schätzwert (im Mittel), berechnet a​us einer Stichprobe, a​n dem wahren Parameter liegen. Man unterscheidet zwischen relativer u​nd absoluter Effizienz.

Hat m​an zwei erwartungstreue Schätzfunktionen für d​en gleichen unbekannten Parameter, d​ann heißt d​ie Schätzfunktion m​it der kleineren Varianz (relativ) effizient o​der effizienter. Zur Lösung d​es Schätzproblems würde m​an den effizienteren Schätzer bevorzugen. Die Cramér-Rao-Ungleichung s​agt aus, d​ass es für v​iele Schätzprobleme e​ine untere Grenze für d​ie Varianz e​iner erwartungstreuen Schätzfunktion gibt. Hat m​an eine solche Schätzfunktion gefunden, d​ann gibt e​s keine andere erwartungstreue Schätzfunktion, d​ie eine kleinere Varianz hat. Kann m​an also zeigen, d​ass für e​in Schätzproblem e​ine Schätzfunktion d​ie minimale Varianz hat, s​o heißt d​iese Schätzfunktion absolut effizient.

Beispiel

Für unabhängige Stichprobenvariablen ${\displaystyle X_{i}}$ mit ${\displaystyle \operatorname {E} (X_{i})=\mu }$ und ${\displaystyle \operatorname {Var} (X_{i})=\sigma ^{2}}$ sollen die beiden Schätzfunktionen

${\displaystyle T_{1}(X_{1},X_{2},X_{3})={\tfrac {1}{3}}(X_{1}+X_{2}+X_{3})}$

und

${\displaystyle T_{2}(X_{1},X_{2},X_{3})={\tfrac {1}{3}}(X_{1}+2\cdot X_{3})}$

für den unbekannten Parameter ${\displaystyle \mu }$ betrachtet werden.

Beide Schätzfunktionen sind erwartungstreu: ${\displaystyle \operatorname {E} (T_{j}(X_{1},X_{2},X_{3}))=\mu }$. Für die Varianz ergibt sich jedoch

${\displaystyle \operatorname {Var} (T_{1}(X_{1},X_{2},X_{3}))=\operatorname {Var} ({\tfrac {1}{3}}(X_{1}+X_{2}+X_{3}))={\frac {1}{9}}\left(\operatorname {Var} (X_{1})+\operatorname {Var} (X_{2})+\operatorname {Var} (X_{3})\right)={\frac {1}{3}}\sigma ^{2}}$

und

${\displaystyle \operatorname {Var} (T_{2}(X_{1},X_{2},X_{3}))=\operatorname {Var} ({\tfrac {1}{3}}(X_{1}+2\cdot X_{3}))={\frac {1}{9}}\left(\operatorname {Var} (X_{1})+4\cdot \operatorname {Var} (X_{3})\right)={\frac {5}{9}}\sigma ^{2}}$.

Damit gilt

${\displaystyle \operatorname {Var} (T_{1}(X_{1},X_{2},X_{3}))={\frac {1}{3}}\sigma ^{2}<{\frac {5}{9}}\sigma ^{2}=\operatorname {Var} (T_{2}(X_{1},X_{2},X_{3}))}$,

das heißt ${\displaystyle T_{1}}$ ist effizienter als ${\displaystyle T_{2}}$.

Mathematische Definition

Erwartungstreuer Fall

Formal sei ${\displaystyle T(X)}$ ein erwartungstreuer Schätzer für den unbekannten Parameter ${\displaystyle \vartheta }$ in einer Familie von Wahrscheinlichkeitsdichten und ${\displaystyle I(\vartheta )}$ die zur Dichte ${\displaystyle \prod _{i=1}^{n}f_{\vartheta }(x_{i})}$ gehörige Fisher-Information. Dann ist die Effizienz von ${\displaystyle T(X)\;}$ wie folgt definiert:

${\displaystyle e(T(X))={\frac {1}{I(\vartheta )\mathrm {Var} _{\vartheta }(T(X))}}}$.

Wenn man zwei erwartungstreue Schätzer ${\displaystyle T_{1}(X)}$ und ${\displaystyle T_{2}(X)}$ miteinander vergleichen möchte, so heißt derjenige Schätzer effizienter, der den höheren Wert ${\displaystyle e(T_{i}(X))}$ und also die kleinere Varianz besitzt.

Eine Konsequenz aus der Cramér-Rao-Ungleichung ist, dass unter Regularitätsbedingungen ${\displaystyle e(T(X))}$ nach oben durch 1 beschränkt ist und daher solche Schätzer effizient (oder genauer Cramér-Rao-effizient) genannt werden, für die ${\displaystyle e(T(X))=1}$ und also ${\displaystyle \mathrm {Var} _{\vartheta }(T(X))=I(\vartheta )^{-1}}$ gilt. Dies ist unter den für die Cramér-Rao-Ungleichung notwendigen Bedingungen an das stochastische Modell die bestmögliche Varianz eines Schätzers.

Nichterwartungstreuer Fall

Falls der Schätzer ${\displaystyle T}$ nicht erwartungstreu ist, lässt sich seine Effizienz als

${\displaystyle e(T(X))={\frac {\left({\frac {\partial }{\partial \vartheta }}E_{\vartheta }[T(X)]\right)^{2}}{I(\vartheta )\mathrm {Var} _{\vartheta }(T(X))}}}$

definieren. Offensichtlich ergibt s​ich die o​bige Definition a​ls Spezialfall.

Asymptotische Effizienz

In d​er Regel reicht e​s aus, w​enn Schätzer asymptotisch effizient sind, d. h. w​enn sie in Verteilung g​egen eine normalverteilte Zufallsvariable konvergieren, d​eren Varianz d​as Inverse d​er Fisher-Information ist. Formal s​oll also d​ie Konvergenzaussage

${\displaystyle {\sqrt {n}}(T(X)-\vartheta )\;{\overset {\mathcal {D}}{\longrightarrow }}\;{\mathcal {N}}(0,I_{1}(\vartheta )^{-1})}$

bewiesen werden können, wobei ${\displaystyle I_{1}(\vartheta )}$ die Fisher-Information der Dichte ${\displaystyle f_{\vartheta }(x)}$ bezeichnet und ${\displaystyle I(\vartheta )=n\cdot I_{1}(\vartheta )}$ gilt. Für asymptotisch effiziente Schätzer gilt offensichtlich ${\displaystyle \lim _{n\rightarrow \infty }e(T)=1.}$

Typische Beispiele für asymptotisch effiziente Schätzer s​ind solche, d​ie mit Hilfe d​er Maximum-Likelihood-Methode gewonnen werden.

Weblinks

• Efficiency of a statistical procedure. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 978-1-55608-010-4 (englisch, online).

Literatur

• Helmut Pruscha: Vorlesungen über Mathematische Statistik. B. G. Teubner, Stuttgart 2000, ISBN 3-519-02393-8, Abschnitt V.1.
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
• Ludger Rüschendorf: Mathematische Statistik. Springer Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-41996-6, doi:10.1007/978-3-642-41997-3.
• Claudia Czado, Thorsten Schmidt: Mathematische Statistik. Springer-Verlag, Berlin Heidelberg 2011, ISBN 978-3-642-17260-1, doi:10.1007/978-3-642-17261-8.