James-Stein-Schätzer

James-Stein-Schätzer s​ind Schätzfunktionen d​es Erwartungswertvektors e​iner mehrdimensionalen Normalverteilung. Wenn d​iese Normalverteilung mindestens dreidimensional ist, s​ind James-Stein-Schätzer bzgl. d​es mittleren quadratischen Fehlers gleichmäßig besser a​ls das üblicherweise a​ls Schätzer benutzte arithmetische Mittel. Das arithmetische Mittel i​st also i​m Sinne d​er Entscheidungstheorie für Dimensionen größer a​ls zwei k​eine zulässige Entscheidungsfunktion für d​en Erwartungswertvektor d​er Normalverteilung. Diese Tatsache w​urde 1956 v​on Charles Stein entdeckt.[1] Der e​rste James-Stein-Schätzer g​eht auf e​ine Arbeit v​on W. James u​nd C. Stein a​us dem Jahre 1961 zurück.[2]

Struktur eines James-Stein-Schätzers

Sei ${\displaystyle X=(X_{1},\dots ,X_{m})^{T}}$ ein ${\displaystyle m}$ -dimensionaler normalverteilter Vektor mit stochastisch unabhängigen Komponenten, die die Varianz Eins haben. Der Erwartungswertvektor ${\displaystyle \operatorname {E} X=\mu }$ soll geschätzt werden. In naheliegender Weise wird dazu das arithmetische Mittel ${\displaystyle {\overline {X}}=({\overline {X}}_{1},\dots ,{\overline {X}}_{m})^{T}}$ benutzt, denn es ist der gleichmäßig beste erwartungstreue Schätzer für ${\displaystyle \mu }$ . Eine spezielle James-Stein-Schätzung ist die folgende:

${\displaystyle {\overline {X}}^{*}={\Bigl (}1-{\frac {m-2}{{\overline {X}}^{T}{\overline {X}}}}{\Bigr )}{\overline {X}}={\Bigl (}1-{\frac {m-2}{\sum _{j=1}^{m}{\overline {X}}_{j}^{2}}}{\Bigr )}{\overline {X}}\quad ;\quad m\geq 3}$ .

${\displaystyle {\overline {X}}^{*}}$ ist nicht erwartungstreu. Da komponentenweise ${\displaystyle \operatorname {E} {\overline {X}}^{*}}$ betragsmäßig kleiner als ${\displaystyle \mu }$ ist, wird ${\displaystyle \mu }$ unterschätzt, ${\displaystyle {\overline {X}}^{*}}$ ist also ein sogenannter Schrumpfungs-Schätzer (engl. shrinkage). Der Schrumpfungsfaktor ${\displaystyle {\Bigl (}1-{\frac {m-2}{{\overline {X}}^{T}{\overline {X}}}}{\Bigr )}}$ ist so gewählt, dass der mittlere quadratische Fehler des Schätzers trotz Bias kleiner ist als beim erwartungstreuen ${\displaystyle {\overline {X}}}$ . Der Schätzer ${\displaystyle {\overline {X}}^{*}}$ ist zwar besser als ${\displaystyle {\overline {X}}}$ , aber selbst auch kein zulässiger Schätzer.[3]

Verallgemeinerungen

Die Annahme "Varianz gleich Eins" ist oben nur zur Vereinfachung gemacht worden. Schon James und Stein gaben Alternativen zu ${\displaystyle {\overline {X}}^{*}}$ an und erweiterten die Untersuchungen auf lineare Regressionsmodelle mit mindestens drei Regressionsparametern[2]. Es ist schwer explizit zulässige Schätzer für ${\displaystyle \mu }$ zu finden, siehe aber[4][5].

Stein-Paradoxon

Der James-Stein-Schätzer hat anfangs zu kontroversen Diskussionen geführt, man sprach sogar vom Stein-Paradoxon[6][7]. Das kann man an folgendem Beispiel erkennen. Sei ${\displaystyle X}$ dreidimensional mit den Komponenten

${\displaystyle X_{1}=}$ Gewicht einer Kiwi-Frucht aus Neuseeland

${\displaystyle X_{2}=}$ Gewicht einer Banane aus Brasilien

${\displaystyle X_{3}=}$ Gewicht eines Apfels aus Deutschland

Wir nehmen an, dass ${\displaystyle X}$ (zumindest näherungsweise) normalverteilt ist und dass (wenig überraschend) die drei Komponenten stochastisch unabhängig voneinander sind. Dann ist es durchaus überraschend, dass man die Schätzung ${\displaystyle {\overline {X}}}$ verbessern kann, indem beispielsweise zur Schätzung des Erwartungswertes des Kiwi-Gewichtes im Schrumpfungsfaktor auch die davon unabhängigen Bananen- und Apfeldaten benutzt werden. Die Überraschung relativiert sich allerdings etwas, wenn man betont, dass der "Stein-Effekt" nur eintritt, wenn man die Schätzung des Vektors ${\displaystyle \mu }$ unbedingt (warum auch immer) mit einem gemeinsamen Kriterium für alle drei Komponenten bewerten will. Die Schätzung jeder Komponente ${\displaystyle \mu _{i};\ i=1,\dots ,m}$ einzeln bewertet führt natürlich zum eindimensionalen Fall und dazu, dass ${\displaystyle {\overline {X}}_{i}}$ zulässig ist, also durch keine bessere Schätzung ersetzt werden kann. Eine gute Interpretation gelingt auch durch empirisch-Bayessche Argumente[8].

Einzelnachweise

1. Stein, C. (1956), Inadmissibility of the usual estimator for the mean of a multivariate normal distribution, Proc. Third Berkeley Symp. Math. Statist. Prob. 1, 197–206,
2. James, W. and Stein, C. (1961), Estimation with quadratic loss, Proc. Fourth Berkeley Symp. Math. Statist. Prob. 1, 361–379
3. Anderson, T. W. (1984), An Introduction to Multivariate Statistical Analysis (2nd ed.), New York: John Wiley & Sons
4. Brown, L. D. (1966), On the admissibility of invariant estimators of one or more location parameters, Annals of Mathematical Statistics, 37 (5), 1087–1136
5. Alam, K. (1973), A family of admissible minimax estimators of the mean of a multivariate normal distribution, Annals of Statistics 1, 517–525
6. Efron, B. and Morris, C. (1977), Stein's paradox in statistics, Scientific American, 236 (5), 119–127
7. Samworth, R. J. (2012), Stein's Paradox, Eureka, 62: 38–41
8. Efron, B. and Morris, C. (1973). Stein's Estimation Rule and Its Competitors—An Empirical Bayes Approach. Journal of the American Statistical Association. 68 (341), 117–130