Smits Paradoxon

In d​er klassischen mathematischen Statistik gilt, salopp formuliert: Je größer d​ie Stichprobe, d​esto besser d​ie Schätzung (genauer s​iehe Hauptsatz d​er mathematischen Statistik). In d​er Statistik zufälliger Prozesse i​st es jedoch möglich – u​nd wird d​ann in d​er Regel a​ls paradox empfunden –, d​ass eine Schätzung d​urch Vergrößerung d​es Stichprobenumfangs schlechter wird. S. J. Wilenkin w​ar der erste, d​em das 1959 auffiel,[1] d​och waren i​n seiner Arbeit Fehler, s​o dass J.C. Smit 1961[2] d​er Namensgeber d​es Paradoxons wurde.

Das Paradoxon

Sei ${\displaystyle X_{t}}$ ein schwach stationärer zufälliger Prozess mit unbekanntem konstanten Erwartungswert ${\displaystyle \mathrm {E} X_{t}=m}$ und (bekannter) Kovarianzfunktion ${\displaystyle r(t-s)}$. Der Prozess kann für ${\displaystyle t\in T\subset \mathbb {R} }$ beobachtet werden. Seien ${\displaystyle \quad x_{t_{1}},\cdots ,x_{t_{n}};\quad t_{i}\in T\quad n}$ (diskrete) Beobachtungen und ${\displaystyle x_{t},t\in T}$ die kontinuierliche Beobachtung des Prozesses über das gesamte ${\displaystyle T}$. Dann sind

${\displaystyle {\hat {m}}={\frac {1}{n}}\sum _{i=1}^{n}x_{t_{i}};\quad \quad {\tilde {m}}={\frac {1}{|T|}}\int _{T}x_{t}\mathrm {d} t}$

erwartungstreue Schätzungen für ${\displaystyle m}$. Intuitiv scheint klar zu sein, dass ${\displaystyle {\tilde {m}}}$ besser ist als ${\displaystyle {\hat {m}}}$, weil es mehr Informationen ausnutzt, nämlich Informationen aus ganz ${\displaystyle T}$, während ${\displaystyle {\hat {m}}}$ nur punktuelle Informationen nutzt. Doch schon für einfache Spezielfälle zeigt sich das Gegenteil: ${\displaystyle {\hat {m}}}$ ist besser als ${\displaystyle {\tilde {m}}}$, wenn man die Varianz der Schätzer als Kriterium nimmt:

${\displaystyle \operatorname {Var} ({\hat {m}})={\frac {1}{n^{2}}}\sum _{i,j=1}^{n}r(t_{i}-t_{j});\quad \operatorname {Var} ({\tilde {m}})={\frac {1}{|T|^{2}}}\int _{T}\int _{T}r(t-s)\mathrm {d} t\mathrm {d} s}$

Beispiel

Sei ${\displaystyle T=[-1,1];\quad r(t-s)=\mathrm {e} ^{-|t-s|};\quad t_{1}=-1,\quad t_{2}=-0{,}5,\quad t_{3}=0,\quad t_{4}=0{,}5,\quad t_{5}=1}$, d. h. ${\displaystyle n=5}$ diskrete Beobachtungsstellen. Dann ergibt sich ${\displaystyle \operatorname {Var} ({\hat {m}})=0{,}529;\quad \operatorname {Var} ({\tilde {m}})=0{,}568)}$, d. h. ${\displaystyle {\hat {m}}}$ ist besser als ${\displaystyle {\tilde {m}}}$. Wenn man weitere Beobachtungen zwischen den bisherigen Stellen mit einbezieht, d. h. bei ${\displaystyle t_{6}=-0{,}75,\quad t_{7}=-0{,}25,\quad t_{8}=0{,}25,\quad t_{9}=0{,}75}$, dann verschlechtert sich die Varianz von ${\displaystyle {\hat {m}}}$ von ${\displaystyle 0{,}529}$ auf ${\displaystyle 0{,}542}$, d. h, eine „Verdichtung“ der Beobachtungen führt zu einem schlechteren Ergebnis.

Auflösung des Paradoxons

Die Schätzung ${\displaystyle {\tilde {m}}}$ ist für ${\displaystyle m}$ nicht die beste lineare erwartungstreue Schätzung (englisch Best Linear Unbiased Estimator, kurz BLUE), ${\displaystyle {\hat {m}}}$ wird also mit einer nicht-optimalen Schätzung verglichen. Die BLUE für ${\displaystyle m}$ ergibt sich nach einem Satz von Grenander[3] in Form eines Stieltjesintegrales ${\displaystyle {\tilde {m}}^{*}=\int _{T}x_{t}\mathrm {d} G^{*}(t);\quad \int _{T}\mathrm {d} G^{*}(t)=1}$ als Lösung der Integralgleichung ${\displaystyle \int _{T}r(t-s)\mathrm {d} G^{*}(t)=c}$ mit ${\displaystyle c=\operatorname {Var} ({\tilde {m}}^{*})}$.

Fortsetzung Beispiel

Siehe auch.[4] Mit d​en gleichen Setzungen w​ie in obigem Beispiel ergibt sich

${\displaystyle {\tilde {m}}^{*}={\frac {1}{4}}[x_{-1}+\int _{-1}^{1}x_{t}\mathrm {d} t+x_{+1}];\quad \operatorname {Var} ({\tilde {m}}^{*})=0{,}500}$.

${\displaystyle {\tilde {m}}^{*}}$ legt im Gegensatz zu ${\displaystyle {\tilde {m}}}$ Extragewichte auf den Rand des Beobachtungsintervalles (${\displaystyle t=-1,t=+1}$). Die diskrete Fünf-Punkte-Schätzung ${\displaystyle {\hat {m}}}$ approximiert diese Randgewichtung besser als ${\displaystyle {\tilde {m}}}$ und ist damit auf natürliche Weise der bessere Schätzer.

Praktische Bedeutung

Das für stochastische Prozesse geschilderte Phänomen g​ilt auch für zufällige Felder. Insbesondere i​n der Geostatistik i​st es wichtig z​u wissen, d​ass eine Netzverdichtung i​n Geoinformationssystemen keineswegs automatisch z​u besseren Schätzergebnissen führt.[5]

Einzelnachweise

1. S. J. Wilenkin: Ob ocenke srednego v stacionarnych processach. In: Teorija Verojatnost. IV, 1959, S. 451–453.
2. J. C. Smit: Estimation of the mean of a stationary stochastic process by equidistant observations. In: Trabojos de estadistica. 12, 1961, S. 35–45.
3. U. Grenander: Stochastic processes and statistical inference. In: Arkiv för Matematik. 1, 1950, S. 195–277.
4. W. Näther: Effective Observation of Random Fields. (= Teubner-Texte zur Mathematik. Band 72). Teubner Verlag, Leipzig 1985.
5. W. Näther: Gute und böse Beispiele aus der Versuchsplanung für stochastische Prozesse und Felder. In: Schriftenreihe des Institutes für Markscheidewesen und Geodäsie an der TU Bergakademie Freiberg. Heft 2, 2004, S. 8–19.