Neyman-Pearson-Lemma

Das Neyman-Pearson-Lemma, auch Fundamentallemma von Neyman-Pearson oder Fundamentallemma der mathematischen Statistik genannt, ist ein zentraler Satz der Testtheorie und somit auch der mathematischen Statistik, der eine Optimalitätsaussage über die Konstruktion eines Hypothesentests macht. Gegenstand des Neyman-Pearson-Lemmas ist das denkbar einfachste Szenario eines Hypothesentests, das auch Neyman-Pearson-Test genannt wird: Dabei ist sowohl die Nullhypothese ${\displaystyle H_{0}}$ als auch die Alternativhypothese ${\displaystyle H_{1}}$ einfach, d. h., sie entsprechen jeweils einer einzelnen Wahrscheinlichkeitsverteilung, deren zugehörige Wahrscheinlichkeitsdichten nachfolgend mit ${\displaystyle f_{0}}$ und ${\displaystyle f_{1}}$ bezeichnet werden. Dann, so die Aussage des Neyman-Pearson-Lemmas, erhält man den besten Test durch eine Entscheidung, bei der die Nullhypothese verworfen wird, wenn der Likelihood-Quotient ${\displaystyle f_{0}/f_{1}}$ einen bestimmten Wert unterschreitet.

Das Lemma i​st nach Jerzy Neyman u​nd Egon Pearson benannt, d​ie es 1933 bewiesen haben.[1]

Situation

Gesucht i​st ein möglichst „guter“ Hypothesentest, d​er mit h​oher Zuverlässigkeit e​ine Entscheidung zwischen Null- u​nd Alternativhypothese herbeiführen soll. Dabei w​ird vorausgesetzt, d​ass Null- u​nd Alternativhypothese jeweils g​enau einer für d​ie Beobachtungsergebnisse geltenden Wahrscheinlichkeitsverteilung entsprechen. Unter dieser Voraussetzung k​ann für j​ede Festlegung e​ines Verwerfungsbereichs d​ie Wahrscheinlichkeit e​iner falschen Testentscheidung exakt berechnet werden: Im Detail handelt e​s sich u​m die beiden Wahrscheinlichkeiten für e​inen Fehler erster Art u​nd einen Fehler zweiter Art. Daher können b​ei einer d​urch das Signifikanzniveau vorgegebenen Obergrenze für e​inen Fehler erster Art d​ie theoretisch denkbaren Testentscheidungen besonders einfach i​n qualitativer Hinsicht untereinander verglichen werden.

Formale Beschreibung der Situation

Beobachtet werden Realisierungen eines reellen Zufallsvektors ${\displaystyle X}$ mit Dimension ${\displaystyle d}$ mit Werten in dem Messraum ${\displaystyle (\mathbb {R} ^{d},{\mathcal {B}}^{d})}$. Unbekannt ist die exakte Verteilung ${\displaystyle P_{X}}$ von ${\displaystyle X}$. Getestet werden soll die Nullhypothese „${\displaystyle P_{X}=P_{0}}$“ gegen die Alternative „${\displaystyle P_{X}=P_{1}}$“ für zwei Wahrscheinlichkeitsmaße ${\displaystyle P_{0},P_{1}}$ über dem gegebenen Messraum. Die Maße ${\displaystyle P_{0}}$ und ${\displaystyle P_{1}}$ besitzen Dichten ${\displaystyle f_{0}}$ bzw. ${\displaystyle f_{1}}$ bzgl. des Lebesgue-Maßes, d. h., sie sind stetige Verteilungen auf ${\displaystyle \mathbb {R} ^{d}}$.

Charakterisiert wird ein Entscheidungsverfahren jetzt durch die Festlegung eines Verwerfungsbereichs ${\displaystyle B\in {\mathcal {B}}^{d}}$, mit dessen Hilfe man die Nullhypothese genau dann verwirft, wenn die beobachtete Realisierung von ${\displaystyle X}$ in ${\displaystyle B}$ liegt. Dieser Test darf ein vorgegebenes Niveau ${\displaystyle \alpha \in (0,1)}$ nicht überschreiten,

${\displaystyle P_{0}(B)=\int 1_{B}(x)f_{0}(x)dx\leq \alpha }$ ,

d. h., die Wahrscheinlichkeit für ein fälschliches Verwerfen der Nullhypothese, der sog. Fehler 1. Art, darf nicht größer als ${\displaystyle \alpha }$ sein. Unter allen Tests, die dieses Niveau einhalten, nennt man denjenigen den stärksten Test, der die sog. Teststärke ${\displaystyle P_{1}(B)}$ maximiert, sprich einen minimalen Fehler 2. Art,

${\displaystyle P_{1}(B^{\complement })=\int 1_{B^{\complement }}(x)f_{1}(x)dx}$ ,

die Wahrscheinlichkeit für e​in fälschliches Nichtverwerfen d​er Nullhypothese, besitzt.

Formulierung

Das Neyman-Pearson-Lemma

Unter der obigen Situation betrachtet man für eine Realisierung von ${\displaystyle X}$ den erweiterten Likelihood-Quotienten

${\displaystyle q(x):={\begin{cases}{\frac {f_{0}(x)}{f_{1}(x)}}\ ,&f_{1}(x)>0\\1\ ,&f_{0}(x)=f_{1}(x)=0\\\infty \ ,&f_{0}(x)>0,f_{1}(x)=0\end{cases}}\ .}$

Der Fall ${\displaystyle f_{0}(x)=f_{1}(x)=0}$ wird nur der Vollständigkeit halber definiert, da er mit keiner positiven Wahrscheinlichkeit eintritt.

Jetzt ist ein Test der Hypothese „${\displaystyle P_{X}=P_{0}}$“ gegen die Alternative „${\displaystyle P_{X}=P_{1}}$“ zu einem gegebenen Niveau ${\displaystyle \alpha \in (0,1)}$ genau dann optimal (stärkster Test), wenn ein ${\displaystyle \gamma \in (0,\infty )}$ existiert, sodass sein Verwerfungsbereich ${\displaystyle B\in {\mathcal {B}}^{d}}$ die Forderungen

1. ${\displaystyle P_{0}(B)=\alpha }$ sowie
2. ${\displaystyle q(x)\leq \gamma }$ für fast sicher alle ${\displaystyle x\in B}$ und
3. ${\displaystyle q(x)\geq \gamma }$ für fast sicher alle ${\displaystyle x\in B^{\complement }}$

erfüllt. Die fast sicheren Eigenschaften aus 2. und 3. beziehen sich hierbei auf das Wahrscheinlichkeitsmaß ${\displaystyle 0{,}5(P_{0}+P_{1})}$, d. h. sie müssen fast sicher bzgl. ${\displaystyle P_{0}}$ und ${\displaystyle P_{1}}$ eintreten.

Erfüllt ein Verwerfungsbereich ${\displaystyle B}$ die Forderungen 1.–3., nennt man diesen auch einen Neyman-Pearson-Bereich. In diskreten Modellen existiert solch ein Verwerfungsbereich nur zu bestimmten Niveaus ${\displaystyle \alpha }$, um ein vorgegebenes Niveau komplett auszuschöpfen muss gegebenenfalls auf randomisierte Tests zurückgegriffen werden.

Sonderfälle

Durch d​as obige Lemma n​icht betrachtet wurden wenigstens d​ie folgenden Sonderfälle:

• Der Verwerfungsbereich ${\displaystyle B_{0}=\{f_{0}=0\}}$ ist der stärkste Test zum Testniveau ${\displaystyle \alpha =0}$, d. h. der Test weist keinen Fehler 1. Art auf. Der entsprechende Testparameter ist ${\displaystyle \gamma =0}$.
• Der Verwerfungsbereich ${\displaystyle B_{1}=\{f_{1}>0\}}$ ist der stärkste Test zum Niveau ${\displaystyle \alpha =P_{0}(B_{1})}$, denn er besitzt die Teststärke ${\displaystyle P_{1}(B_{1})=1}$, d. h. der Test weist keinen Fehler 2. Art auf. Der entsprechende Testparameter ist ${\displaystyle \gamma =\infty }$.

Literatur

• Jörg Bewersdorff: Statistik – wie und warum sie funktioniert. Ein mathematisches Lesebuch. Vieweg+Teubner Verlag, 2011., ISBN 978-3834817532, S. 196–201, doi:10.1007/978-3-8348-8264-6.
• Edward J. Dudewicz, Satya N. Mishra: Modern Mathematical Statistics. John Wiley & Sons., 1988..
• Jerzy Neyman, Egon Pearson: On the Problem of the Most Efficient Tests of Statistical Hypotheses. In: Philosophical Transactions of the Royal Society of London. Series A, Containing Papers of a Mathematical or Physical Character. 231, 1933, S. 289–337. doi:10.1098/rsta.1933.0009.

Einzelnachweise

1. Neyman-Pearson lemma. In: Michiel Hazewinkel (Hrsg.): Encyclopedia of Mathematics. Springer-Verlag und EMS Press, Berlin 2002, ISBN 978-1-55608-010-4 (englisch, online).

Weblinks

• cnx.org: Neyman-Pearson criterion