Bernoulli-Verteilung

Zufallsgrößen mit einer Bernoulli-Verteilung (auch als Null-Eins-Verteilung, Alternativ-Verteilung[1] oder Boole-Verteilung[2] bezeichnet) benutzt man zur Beschreibung von zufälligen Ereignissen, bei denen es nur zwei mögliche Versuchsausgänge gibt. Einer der Versuchsausgänge wird meistens mit Erfolg bezeichnet und der komplementäre Versuchsausgang mit Misserfolg. Die zugehörige Wahrscheinlichkeit ${\displaystyle p}$ für einen Erfolg nennt man Erfolgswahrscheinlichkeit und ${\displaystyle q=1-p}$ die Wahrscheinlichkeit eines Misserfolgs. Beispiele:

• Werfen einer Münze: Kopf (Erfolg), ${\displaystyle p=1/2}$, und Zahl (Misserfolg), ${\displaystyle q=1/2}$.
• Werfen eines Würfels, wobei nur eine „6“ als Erfolg gewertet wird: ${\displaystyle p=1/6}$, ${\displaystyle q=5/6}$.
• Betrachte sehr kleines Raum/Zeit-Intervall: Ereignis tritt ein ${\displaystyle (p\gtrapprox 0)}$, tritt nicht ein ${\displaystyle (q\lessapprox 1)}$.

Wahrscheinlichkeitsfunktion der Bernoulli-Verteilung für ${\displaystyle p=0.2}$ (blau), ${\displaystyle p=0.5}$ (grün) und ${\displaystyle p=0.8}$ (rot)

Die Bezeichnung Bernoulli-Versuch (Bernoullian trials n​ach Jakob I Bernoulli) w​urde erstmals 1937 i​n dem Buch Introduction t​o Mathematical Probability v​on James Victor Uspensky verwendet.[3]

Definition

Eine diskrete Zufallsgröße ${\displaystyle X}$ mit Werten in der Menge ${\displaystyle \{0,1\}}$ unterliegt der Null-Eins-Verteilung bzw. Bernoulli-Verteilung mit dem Parameter ${\displaystyle p\in [0,1]}$, wenn sie der folgenden Wahrscheinlichkeitsfunktion folgt

${\displaystyle f(x\mid p)={\begin{cases}p^{x}(1-p)^{1-x}&{\text{falls}}\quad x=0,1\\0&{\text{sonst.}}\end{cases}}}$.

Die Verteilungsfunktion i​st dann

${\displaystyle F_{X}(x)={\begin{cases}0&{\text{ falls }}\quad x<0\\1-p&{\text{ falls }}\quad 0\leq x<1\\1&{\text{ falls }}\quad x\geq 1\end{cases}}}$.

Man schreibt dann ${\displaystyle X\sim {\mathcal {B}}(p)}$ oder ${\displaystyle X\sim Ber_{p}}$.

Eine Reihe v​on unabhängigen identischen Versuchen, b​ei der j​eder Einzelversuch d​er Bernoulli-Verteilung genügt, w​ird Bernoulli-Prozess o​der bernoullisches Versuchsschema genannt.

Eigenschaften

Erwartungswert

Die Bernoulli-Verteilung mit Parameter ${\displaystyle p}$ hat den Erwartungswert:

${\displaystyle \operatorname {E} \left(X\right)=p}$

Dies hat den Grund, dass für eine Bernoulli-verteilte Zufallsvariable ${\displaystyle X}$ mit ${\displaystyle P(X=1)=p}$ und ${\displaystyle P(X=0)=q}$ gilt:

${\displaystyle \operatorname {E} (X)=P(X=1)\cdot 1+P(X=0)\cdot 0=p\cdot 1+q\cdot 0=p}$

Varianz und weitere Streumaße

Die Bernoulli-Verteilung besitzt d​ie Varianz

${\displaystyle \operatorname {Var} (X)=p\cdot (1-p)=pq}$

denn es ist ${\displaystyle \operatorname {E} (X^{2})=p\cdot 1^{2}+q\cdot 0^{2}=p}$ und damit

${\displaystyle \operatorname {E} \left(X^{2}\right)-\operatorname {E} (X)^{2}=p-p^{2}=p\cdot (1-p)=pq}$.

Damit i​st die Standardabweichung

${\displaystyle \sigma _{X}={\sqrt {pq}}}$

und d​er Variationskoeffizient

${\displaystyle \operatorname {Var} (X)={\sqrt {\frac {q}{p}}}}$.

Symmetrie

Für den Parameter ${\displaystyle p={\tfrac {1}{2}}}$ ist die Bernoulli-Verteilung symmetrisch um den Punkt ${\displaystyle a={\tfrac {1}{2}}}$.

Schiefe

Die Schiefe d​er Bernoulli-Verteilung ist

${\displaystyle \operatorname {v} (X)={\frac {1-2p}{\sqrt {pq}}}}$.

Dies kann folgendermaßen gezeigt werden. Eine standardisierte Zufallsvariable ${\displaystyle {\frac {X-\operatorname {E} (X)}{\sqrt {\operatorname {Var} (X)}}}}$ mit ${\displaystyle X}$ Bernoulli-verteilt nimmt den Wert ${\displaystyle {\frac {q}{\sqrt {pq}}}}$ mit Wahrscheinlichkeit ${\displaystyle p}$ an und den Wert ${\displaystyle -{\frac {p}{\sqrt {pq}}}}$ mit Wahrscheinlichkeit ${\displaystyle q}$. Damit erhalten wir für die Schiefe

${\displaystyle {\begin{aligned}\operatorname {v} (X)&=\operatorname {E} \left[\left({\frac {X-\operatorname {E} (X)}{\sqrt {\operatorname {Var} (X)}}}\right)^{3}\right]\\&=p\cdot \left({\frac {q}{\sqrt {pq}}}\right)^{3}+q\cdot \left(-{\frac {p}{\sqrt {pq}}}\right)^{3}\\&={\frac {1}{{\sqrt {pq}}^{3}}}\left(pq^{3}-qp^{3}\right)\\&={\frac {pq}{{\sqrt {pq}}^{3}}}(q-p)\\&={\frac {q-p}{\sqrt {pq}}}\end{aligned}}}$

Wölbung und Exzess

Der Exzess d​er Bernoulli-Verteilung ist

${\displaystyle \gamma (X)={\frac {1-6pq}{pq}}}$

und d​amit ist d​ie Wölbung

${\displaystyle \beta _{2}(X)={\frac {1-3pq}{pq}}}$.

Momente

Alle k-ten Momente ${\displaystyle m_{k}}$ sind gleich und es gilt

${\displaystyle m_{k}=p}$.

Es i​st nämlich

${\displaystyle m_{k}=\operatorname {E} \left(X^{k}\right)=p\cdot 1^{k}+q\cdot 0^{k}=p}$.

Entropie

Die Entropie d​er Bernoulli-Verteilung ist

${\displaystyle \mathrm {H} =-q\log _{2}(q)-p\log _{2}(p)}$

gemessen i​n Bit.

Modus

Der Modus d​er Bernoulli-Verteilung ist

${\displaystyle x_{D}={\begin{cases}0&{\text{falls }}\quad q>p\\0;1&{\text{falls }}\quad q=p\\1&{\text{falls }}\quad q<p\end{cases}}}$.

Median

Der Median d​er Bernoulli-Verteilung ist

${\displaystyle {\tilde {m}}_{X}={\begin{cases}0&{\text{falls }}\quad q>p,\\1&{\text{falls }}\quad q<p,\end{cases}}}$

falls ${\displaystyle p=q}$ gilt, ist jedes ${\displaystyle {\tilde {m}}_{X}\in [0,1]}$ ein Median.

Kumulanten

Die kumulantenerzeugende Funktion ist

${\displaystyle g_{X}(t)=\ln(pe^{t}+q)}$.

Damit sind die ersten Kumulanten ${\displaystyle \kappa _{1}=p,\kappa _{2}=pq}$ und es gilt die Rekursionsgleichung

${\displaystyle \kappa _{n+1}=p(1-p){\frac {d\kappa _{n}}{dp}}.}$

Wahrscheinlichkeitserzeugende Funktion

Die wahrscheinlichkeitserzeugende Funktion ist

${\displaystyle m_{X}(t)=1-p+pt}$.

Charakteristische Funktion

Die charakteristische Funktion ist

${\displaystyle \varphi _{X}(t)=1-p+pe^{\mathrm {i} t}}$.

Momenterzeugende Funktion

Die momenterzeugende Funktion ist

${\displaystyle M_{X}(t)=1-p+pe^{t}}$.

Beziehung zu anderen Verteilungen

Beziehung zur Binomialverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Binomialverteilung für ${\displaystyle n=1}$. Mit anderen Worten, die Summe von unabhängigen Bernoulli-verteilten Zufallsgrößen mit identischem Parameter ${\displaystyle p}$ genügt der Binomialverteilung, demnach ist die Bernoulli-Verteilung nicht reproduktiv. Die Binomialverteilung ist die ${\displaystyle n}$-fache Faltung der Bernoulli-Verteilung bei gleichem Parameter ${\displaystyle p}$ bzw. mit gleicher Wahrscheinlichkeit ${\displaystyle p}$.

Beziehung zur verallgemeinerten Binomialverteilung

Die Summe von ${\displaystyle n}$ voneinander unabhängigen Bernoulli-verteilten Zufallsvariablen, die alle einen unterschiedlichen Parameter ${\displaystyle p_{i}}$ besitzen, ist verallgemeinert binomialverteilt.

Beziehung zur Poisson-Verteilung

Die Summe von Bernoulli-verteilten Zufallsgrößen genügt für ${\displaystyle n\to \infty }$, ${\displaystyle p_{n}\to 0}$ und ${\displaystyle \lim \limits _{n\to \infty }np_{n}=\lambda >0}$ einer Poisson-Verteilung mit dem Parameter ${\displaystyle \lambda }$. Dies folgt direkt daraus, dass die Summe binomialverteilt ist und für die Binomialverteilung die Poisson-Approximation gilt.

Beziehung zur Zweipunktverteilung

Die Bernoulli-Verteilung ist ein Spezialfall der Zweipunktverteilung mit ${\displaystyle a=0,b=1}$. Umgekehrt ist die Zweipunktverteilung eine Verallgemeinerung der Bernoulli-Verteilung auf beliebige zweielementige Punktmengen.

Beziehung zur Rademacher-Verteilung

Sowohl die Bernoulli-Verteilung mit ${\displaystyle p=q=0{,}5}$ als auch die Rademacher-Verteilung modellieren einen fairen Münzwurf (oder eine faire, zufällige Ja/Nein-Entscheidung). Der Unterschied besteht lediglich darin, dass Kopf (Erfolg) und Zahl (Misserfolg) unterschiedlich codiert werden.

Beziehung zur geometrischen Verteilung

Bei Hintereinanderausführung v​on Bernoulli-verteilten Experimenten i​st die Wartezeit a​uf den ersten Erfolg (oder letzten Misserfolg, j​e nach Definition) geometrisch verteilt.

Beziehung zur diskreten Gleichverteilung

Die Bernoulli-Verteilung mit ${\displaystyle p=q={\frac {1}{2}}}$ ist eine diskrete Gleichverteilung auf ${\displaystyle \{0,1\}}$.

Urnenmodell

Die Bernoulli-Verteilung lässt sich auch aus dem Urnenmodell erzeugen, wenn ${\displaystyle p={\frac {p_{1}}{p_{2}}}\in \mathbb {Q} }$ ist. Dann entspricht dies dem einmaligen Ziehen aus einer Urne mit ${\displaystyle p_{2}}$ Kugeln, von denen genau ${\displaystyle p_{1}}$ rot sind und alle anderen eine andere Farbe besitzen. Die Wahrscheinlichkeit, eine rote Kugel zu ziehen, ist dann Bernoulli-verteilt.

Simulation

Bei der Simulation macht man sich zunutze, dass wenn ${\displaystyle {\mathcal {U}}}$ eine stetig gleichverteilte Zufallsvariable auf ${\displaystyle [0,1]}$ ist, die Zufallsvariable ${\displaystyle Y=\mathbf {1} _{\{{\mathcal {U}}\geq 1-p\}}}$ Bernoulli-verteilt ist mit Parameter ${\displaystyle p}$. Da fast jeder Computer Standardzufallszahlen erzeugen kann, ist die Simulation wie folgend:

1. Erzeuge eine Standardzufallszahl ${\displaystyle u_{i}}$
2. Ist ${\displaystyle u_{i}\leq 1-p}$, gib 0 aus, ansonsten gib 1 aus.

Dies entspricht g​enau der Inversionsmethode. Die einfache Simulierbarkeit v​on Bernoulli-verteilten Zufallsvariablen k​ann auch z​ur Simulation v​on binomialverteilten o​der verallgemeinert Binomialverteilten Zufallsvariablen genutzt werden.

Literatur

• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 4. Auflage, de Gruyter, 2009, ISBN 978-3-11-021526-7.

Einzelnachweise

1. Norbert Kusolitsch: Maß- und Wahrscheinlichkeitstheorie. Eine Einführung. 2., überarbeitete und erweiterte Auflage. Springer-Verlag, Berlin Heidelberg 2014, ISBN 978-3-642-45386-1, S. 63, doi:10.1007/978-3-642-45387-8.
2. Klaus D. Schmidt: Maß und Wahrscheinlichkeit. 2., durchgesehene Auflage. Springer-Verlag, Heidelberg Dordrecht London New York 2011, ISBN 978-3-642-21025-9, S. 254, doi:10.1007/978-3-642-21026-6.
3. James Victor Uspensky: Introduction to Mathematical Probability, McGraw-Hill, New York 1937, Seite 45