Konvergenz in Wahrscheinlichkeit

Die Konvergenz i​n Wahrscheinlichkeit, a​uch stochastische Konvergenz genannt, i​st ein Begriff a​us der Wahrscheinlichkeitstheorie, e​inem Teilgebiet d​er Mathematik. Die Konvergenz i​n Wahrscheinlichkeit i​st das wahrscheinlichkeitstheoretische Pendant z​ur Konvergenz n​ach Maß i​n der Maßtheorie u​nd neben d​er Konvergenz i​m p-ten Mittel, d​er Konvergenz i​n Verteilung u​nd der fast sicheren Konvergenz e​iner der Konvergenzbegriffe i​n der Stochastik. Es finden s​ich auch Quellen, welche d​ie Konvergenz i​n Wahrscheinlichkeit analog z​ur Konvergenz l​okal nach Maß d​er Maßtheorie definieren. Die Konvergenz i​n Wahrscheinlichkeit findet beispielsweise Anwendung b​ei der Formulierung d​es schwachen Gesetzes d​er großen Zahlen.

Definition

Für reellwertige Zufallsvariablen

Eine Folge ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ von reellen Zufallsvariablen konvergiert in Wahrscheinlichkeit oder stochastisch gegen die Zufallsvariable ${\displaystyle X}$, wenn für jedes ${\displaystyle \epsilon >0}$ gilt, dass

${\displaystyle \lim _{n\to \infty }P(|X_{n}-X|\geq \epsilon )=0}$

ist. Man schreibt dann ${\displaystyle X_{n}{\stackrel {p}{\rightarrow }}X}$ oder ${\displaystyle X_{n}{\stackrel {P}{\rightarrow }}X}$ oder auch ${\displaystyle \operatorname {plim} (X_{n})=X}$.

Allgemeiner Fall

Seien ${\displaystyle (M,d)}$ ein separabler metrischer Raum und ${\displaystyle {\mathcal {B}}(M)}$ die zugehörige Borelsche σ-Algebra. Eine Folge ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ von Zufallsvariablen auf einem Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,{\mathcal {A}},P)}$ mit Werten in ${\displaystyle (M,{\mathcal {B}}(M))}$ heißt konvergent in Wahrscheinlichkeit oder stochastisch konvergent gegen ${\displaystyle X}$, wenn für alle ${\displaystyle \epsilon >0}$ gilt, dass

${\displaystyle \lim _{n\to \infty }P(d(X_{n},X)\geq \epsilon )=0}$

ist. Dabei wird die vorausgesetzte Separabilität benötigt, um die in der Definition verwendete Messbarkeit der Abbildung ${\displaystyle \Omega \rightarrow \mathbb {R} ,\,\omega \mapsto d(X_{n}(\omega ),X(\omega ))}$, sicherzustellen.

Beispiel

Seien ${\displaystyle Y_{n}}$ unabhängige Rademacher-verteilte Zufallsvariablen, also ${\displaystyle P(Y_{n}=-1)=P(Y_{n}=1)={\tfrac {1}{2}}}$. Dann ist ${\displaystyle \operatorname {E} (Y_{n})=0}$ und ${\displaystyle \operatorname {Var} (Y_{n})=1}$. Definiert man nun die Folge von Zufallsvariablen ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ als

${\displaystyle X_{n}:={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}}$,

so i​st aufgrund d​er Unabhängigkeit

${\displaystyle \operatorname {E} (X_{n})={\frac {1}{n}}\cdot n\operatorname {E} (Y_{n})=0}$

und

${\displaystyle \operatorname {Var} (X_{n})={\frac {1}{n^{2}}}\operatorname {Var} \left(\sum _{i=1}^{n}Y_{i}\right)={\frac {1}{n}}}$.

Mit d​er Tschebyscheff-Ungleichung

${\displaystyle P\left[|X_{n}-\operatorname {E} [X_{n}]|\geq \epsilon \right]\leq {\frac {\operatorname {Var} [X_{n}]}{\epsilon ^{2}}}}$

erhält m​an dann d​ie Abschätzung

${\displaystyle P\left[|X_{n}|\geq \epsilon \right]\leq {\frac {1}{n\epsilon ^{2}}}{\stackrel {n\to \infty }{\longrightarrow }}0}$.

Also konvergieren die ${\displaystyle X_{n}}$ in Wahrscheinlichkeit gegen 0. Neben der Tschebyscheff-Ungleichung ist die allgemeinere Markow-Ungleichung ein hilfreiches Mittel, um Konvergenz in Wahrscheinlichkeit zu zeigen.

Eigenschaften

• Konvergiert ${\displaystyle (X_{n})_{n\in N}}$ stochastisch gegen 0 und konvergiert ${\displaystyle (Y_{n})_{n\in N}}$ stochastisch gegen 0, so konvergiert auch ${\displaystyle (X_{n}+Y_{n})_{n\in N}}$ stochastisch gegen 0.
• Ist die reelle Zahlenfolge ${\displaystyle (a_{n})_{n\in \mathbb {N} }}$ beschränkt und konvergiert ${\displaystyle (X_{n})_{n\in N}}$ stochastisch gegen 0, so konvergiert auch ${\displaystyle (a_{n}X_{n})_{n\in N}}$ stochastisch gegen 0.
• Man kann zeigen, dass eine Folge ${\displaystyle X_{n}\;}$ genau dann stochastisch gegen ${\displaystyle X}$ konvergiert, falls

${\displaystyle \lim _{n\to \infty }\operatorname {E} [\mathrm {min} (1,|X_{n}-X|)]=0,}$

das heißt die stochastische Konvergenz entspricht der Konvergenz bezüglich der Metrik ${\displaystyle d(X,Y):=\operatorname {E} [\min(1,|X-Y|)]}$. Der Raum aller Zufallsvariablen versehen mit dieser Metrik bildet einen topologischen Vektorraum, der im Allgemeinen nicht lokalkonvex ist.

Beziehung zu anderen Konvergenzarten der Stochastik

Allgemein gelten für d​ie Konvergenzbegriffe d​er Wahrscheinlichkeitstheorie d​ie Implikationen

${\displaystyle {\begin{matrix}{\text{Fast sichere}}\\{\text{Konvergenz}}\end{matrix}}\implies {\begin{matrix}{\text{Konvergenz in}}\\{\text{Wahrscheinlichkeit}}\end{matrix}}\implies {\begin{matrix}{\text{Konvergenz in}}\\{\text{Verteilung}}\end{matrix}}}$

und

${\displaystyle {\begin{matrix}{\text{Konvergenz im}}\\{\text{p-ten Mittel}}\end{matrix}}\implies {\begin{matrix}{\text{Konvergenz in}}\\{\text{Wahrscheinlichkeit}}\end{matrix}}\implies {\begin{matrix}{\text{Konvergenz in}}\\{\text{Verteilung}}\end{matrix}}}$.

Die Konvergenz i​n Wahrscheinlichkeit i​st also e​in mäßig starker Konvergenzbegriff. In d​en unten stehenden Abschnitten s​ind die Beziehungen z​u den anderen Konvergenzarten genauer ausgeführt.

Konvergenz im p-ten Mittel

Aus der Konvergenz im p-ten Mittel folgt für ${\displaystyle p\geq 1}$ unmittelbar die Konvergenz in Wahrscheinlichkeit. Dazu wendet man die Markow-Ungleichung auf die Funktion ${\displaystyle h=Y^{p}}$ an, die für ${\displaystyle p>0}$ monoton wachsend ist, und die Zufallsvariable ${\displaystyle Y=|X_{n}-X|}$ an. Dann folgt

${\displaystyle P(|X_{n}-X|\geq \epsilon )\leq {\frac {1}{\epsilon ^{p}}}\operatorname {E} (|X_{n}-X|^{p})}$,

was i​m Grenzwert g​egen Null geht. Die Umkehrung g​ilt im Allgemeinen nicht. Ein Beispiel hierfür ist: s​ind die Zufallsvariablen definiert durch

${\displaystyle P(X_{n}=e^{n\alpha })=e^{-n}=1-P(X_{n}=0)}$

mit ${\displaystyle \alpha >0}$. Dann ist

${\displaystyle \operatorname {E} (|X_{n}|^{1})=e^{n(\alpha -1)}{\xrightarrow[{}]{n\to \infty }}0}$,

wenn ${\displaystyle \alpha <1}$. Also konvergiert die Folge für ${\displaystyle \alpha \in (0,1)}$ im Mittel gegen 0. Für beliebiges ${\displaystyle \epsilon \in (0,1)}$ ist aber

${\displaystyle P(|X_{n}|\geq \epsilon )=P(X_{n}=e^{n\alpha })=e^{-n}{\xrightarrow[{}]{n\to \infty }}0}$. Also konvergiert die Folge für alle ${\displaystyle \alpha }$ in Wahrscheinlichkeit gegen 0.

Ein Kriterium, unter dem die Konvergenz im p-ten Mittel aus der Konvergenz in Wahrscheinlichkeit gilt ist, dass eine Majorante ${\displaystyle Y}$ mit ${\displaystyle \operatorname {E} (|Y|^{p})<\infty }$ existiert, so dass ${\displaystyle P(|X_{n}|\leq Y)=1}$ für alle ${\displaystyle n}$ gilt. Konvergieren dann die ${\displaystyle X_{n}}$ in Wahrscheinlichkeit gegen ${\displaystyle X}$, so konvergieren sie auch im p-ten Mittel gegen ${\displaystyle X}$. Allgemeiner lässt sich eine Verbindung zwischen der Konvergenz im p-ten Mittel und der Konvergenz in Wahrscheinlichkeit mittels des Konvergenzsatzes von Vitali und der gleichgradigen Integrierbarkeit im p-ten Mittel ziehen: Eine Folge konvergiert genau dann im p-ten Mittel, wenn sie gleichgradig integrierbar im p-ten Mittel ist und sie in Wahrscheinlichkeit konvergiert.

Fast sichere Konvergenz

Aus d​er fast sicheren Konvergenz f​olgt die Konvergenz i​n Wahrscheinlichkeit. Um d​ies zu sehen, definiert m​an die Mengen

${\displaystyle B_{N}:=\{\omega \in \Omega \colon \forall n\geq N\ \vert X_{n}-X\vert <\epsilon \}{\text{ und }}B:=\bigcup _{N=1}^{\infty }B_{N}}$.

Die ${\displaystyle B_{N}}$ bilden eine monoton wachsende Mengenfolge, und die Menge ${\displaystyle B}$ enthält die Menge

${\displaystyle A:=\{\omega \in \Omega \colon \lim _{n\to \infty }X_{n}=X\}}$

der Stellen, an denen die Folge konvergiert. Nach Voraussetzung ist ${\displaystyle P(A)=1}$ und damit auch ${\displaystyle P(B)=1}$ und demnach ${\displaystyle \lim _{N\to \infty }P(B_{N})=1}$. Durch Komplementbildung folgt dann die Aussage.

Die Umkehrung gilt aber im Allgemeinen nicht. Ein Beispiel hierfür ist die Folge von Bernoulli-Verteilten Zufallsvariablen zum Parameter ${\displaystyle {\tfrac {1}{n}}}$, also ${\displaystyle X_{n}\sim \operatorname {Ber} _{1/n}}$. Dann ist

${\displaystyle \lim _{n\to \infty }P(|X_{n}|\geq \epsilon )=0}$

für alle ${\displaystyle \epsilon >0}$ und somit konvergiert die Folge in Wahrscheinlichkeit gegen 0. Die Folge konvergiert aber nicht fast sicher, man zeigt dies mit dem hinreichenden Kriterium für fast sichere Konvergenz und dem Borel-Cantelli-Lemma.

Bedingungen, u​nter denen a​us der Konvergenz i​n Wahrscheinlichkeit d​ie fast sichere Konvergenz folgt, sind:

• Die Konvergenzgeschwindigkeit der Konvergenz in Wahrscheinlichkeit ist ausreichend schnell, sprich, es gilt

${\displaystyle \sum _{i=1}^{\infty }P(\vert X_{i}-X\vert \geq \epsilon )<\infty }$.

• Der Grundraum ${\displaystyle \Omega }$ lässt sich als abzählbare Vereinigung von μ-Atomen darstellen. Dies ist bei Wahrscheinlichkeitsräumen mit höchstens abzählbarer Grundmenge immer möglich.
• Ist die Folge der Zufallsvariablen fast sicher streng monoton fallend und konvergiert in Wahrscheinlichkeit gegen 0, so konvergiert die Folge fast sicher gegen 0.

Allgemeiner konvergiert eine Folge in Wahrscheinlichkeit genau dann, wenn jede Teilfolge eine weitere, fast sicher konvergente Teilfolge besitzt. Insbesondere besitzt jede in Wahrscheinlichkeit konvergierende Folge eine fast sicher konvergente Teilfolge (man wähle in „${\displaystyle \Rightarrow }$“ als Ausgangsteilfolge die ganze Folge).

Konvergenz in Verteilung

Aus Konvergenz in Wahrscheinlichkeit folgt nach dem Satz von Slutzky die Konvergenz in Verteilung, der Umkehrschluss gilt im Allgemeinen nicht. Ist beispielsweise die Zufallsvariable ${\displaystyle X}$ Bernoulli-verteilt mit Parameter ${\displaystyle p=q={\tfrac {1}{2}}}$, also

${\displaystyle P(X=1)=P(X=0)={\frac {1}{2}}}$,

und setzt man ${\displaystyle X_{n}=1-X}$ für alle ${\displaystyle n\in \mathbb {N} }$, so konvergiert ${\displaystyle X_{n}}$ in Verteilung gegen ${\displaystyle X}$, da sie dieselbe Verteilung haben. Es gilt aber immer ${\displaystyle |X_{n}-X|=1}$, die Zufallsvariablen können also nicht in Wahrscheinlichkeit konvergieren. Es existieren jedoch Kriterien, unter denen aus der Konvergenz in Verteilung die Konvergenz in Wahrscheinlichkeit folgt. Sind beispielsweise alle Zufallsvariablen ${\displaystyle X_{n}}$ auf demselben Wahrscheinlichkeitsraum definiert und konvergieren in Verteilung gegen die Zufallsvariable ${\displaystyle X}$, die fast sicher konstant ist, so konvergieren die ${\displaystyle X_{n}}$ auch in Wahrscheinlichkeit gegen ${\displaystyle X}$.

Literatur

• Achim Klenke: Wahrscheinlichkeitstheorie. 3. Auflage. Springer-Verlag, Berlin Heidelberg 2013, ISBN 978-3-642-36017-6, doi:10.1007/978-3-642-36018-3.
• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Für Studium, Berufspraxis und Lehramt. 8. Auflage. Vieweg, Wiesbaden 2005, ISBN 3-8348-0063-5, doi:10.1007/978-3-663-09885-0.
• Hans-Otto Georgii: Stochastik. Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage. Walter de Gruyter, Berlin 2009, ISBN 978-3-11-021526-7, doi:10.1515/9783110215274.
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie. 1. Auflage. Vieweg, Wiesbaden 2003, ISBN 3-528-03183-2, doi:10.1007/978-3-663-01244-3.