Absorbierender Zustand

Absorbierende Zustände s​ind ein Begriff a​us der Theorie d​er Markow-Ketten, welche wiederum spezielle stochastische Prozesse i​n der Wahrscheinlichkeitstheorie sind. Absorbierend werden diejenigen Zustände genannt, welche n​ach dem Betreten n​ie wieder verlassen werden können.

Definition

Gegeben sei eine homogene Markowkette in diskreter Zeit mit höchstens abzählbarem Zustandsraum ${\displaystyle Z}$. Dann heißt eine Teilmenge ${\displaystyle A\subset Z}$ absorbierend, genau dann wenn

${\displaystyle P(X_{n+1}\in Z\setminus A\mid X_{n}\in A)=0}$

gilt. Ist ${\displaystyle A=\{k\}}$ einelementig, also

${\displaystyle P(X_{n+1}\in Z\setminus \{k\}\mid X_{n}=k)=0}$,

dann wird der Zustand ${\displaystyle k}$ absorbierender Zustand genannt. Weiter heißen

${\displaystyle \tau _{A}^{i}:=\min\{n\in \mathbb {N} :X_{n}\in A{\text{ und }}X_{0}=i\}}$

Ersteintrittszeitpunkt i​n die absorbierende Menge und

${\displaystyle a_{i}:=P(\tau _{A}^{i}<\infty )}$

die Absorptionswahrscheinlichkeit.

Berechnung der Absorptionswahrscheinlichkeiten

Sei eine homogene Markow-Kette mit Zustandsraum ${\displaystyle Z}$ und mehreren absorbierenden Mengen gegeben. Zur Berechnung der Absorptionswahrscheinlichkeiten in einer absorbierenden Menge ${\displaystyle A}$ bietet sich folgender Ansatz an: vereinige alle absorbierenden Mengen außer ${\displaystyle A}$ in der Menge ${\displaystyle B}$ und betrachte für alle ${\displaystyle i\in Z\setminus (A\cup B)}$

${\displaystyle {\begin{aligned}P(\tau _{A}^{i}<N+1)&=\sum _{j\in Z}p_{ij}P(\tau _{A}^{j}<N)\\\Rightarrow a_{i}&=\sum _{j\in Z}p_{ij}a_{j}{\text{ für }}\ N\to \infty .\end{aligned}}}$

Dies entspricht im Falle eines endlichen Zustandsraumes genau einer Lösung des Rechtseigenvektorproblems zum Eigenwert 1 der Übergangsmatrix. Im Allgemeinen ist die Lösung nicht eindeutig. Dies wird erreicht durch Hinzunahme der Randbedingungen ${\displaystyle a_{i}=1}$ falls ${\displaystyle i\in A}$ (bei Start im absorbierenden Zustand wurde bereits absorbiert) und ${\displaystyle a_{i}=0}$ falls ${\displaystyle i\in B}$ (bei Start in einem anderen absorbierenden Zustand kann ${\displaystyle A}$ nie erreicht werden).

Will man nun wissen, in welchem Zustand ${\displaystyle k\in A}$ absorbiert wird, so führen analoge Überlegungen wie oben zu der zusätzlichen Nebenbedingung ${\displaystyle a_{i}=1}$ falls ${\displaystyle i=k}$ und ${\displaystyle a_{i}=0}$ falls ${\displaystyle \ i\in A\setminus \{k\}}$.

Beispiele

Betrachte die folgende Übergangsmatrix, welche eine homogene Markow-Kette auf dem Zustandsraum ${\displaystyle Z=\{1,2,3,4,5\}}$ darstellt. Es gibt zwei absorbierende Mengen: der Zustand ${\displaystyle \{1\}=A}$ und die Menge ${\displaystyle B=\{4,5\}}$. Zustand 1 wird nur von Zustand 2 mit Wahrscheinlichkeit 0.1 erreicht, Zustände 4 und 5 nur von den Zuständen 2 (mit Wahrscheinlichkeit 0.1) oder von 3 (mit Wahrscheinlichkeit 0.5).

${\displaystyle P={\begin{bmatrix}1&0&0&0&0\\0{,}1&0&0{,}8&0{,}1&0\\0&0{,}5&0&0&0{,}5\\0&0&0&0&1\\0&0&0&1&0\end{bmatrix}}}$

Der Eigenraum ist dann ${\displaystyle \operatorname {span} ((-11,-1,0,1,1)^{T};(12,2,1,0,0)^{T})}$ Wir interessieren uns nun für die Absorptionswahrscheinlichkeit in dem Zustand 1. Daher suchen wir nun einen Vektor, der ${\displaystyle a_{1}=1}$ erfüllt und ${\displaystyle a_{4}=a_{5}=0}$. Der zweite Vektor im Spann erfüllt die zweite Bedingung, die erste wird durch Normierung des Vektors erhalten. Damit ist ${\displaystyle a=(a_{i})_{i=1\cdots 5}=(1,1/6,1/12,0,0)^{T}}$ der Vektor, welcher als i-te Komponente die Absorptionswahrscheinlichkeit bei Start in i im Zustand 1 enthält. Will man nun die Absorptionswahrscheinlichkeit in ${\displaystyle A={4,5}}$ berechnen, so muss man ${\displaystyle a_{1}=0}$ und ${\displaystyle a_{4}=a_{5}=1}$ fordern. Daraus folgt dann ${\displaystyle a=(a_{i})_{i=1\cdots 5}=(0,5/6,11/12,1,1)}$. Schön zu sehen ist hier, dass sich die Absorptionswahrscheinlichkeiten zu eins aufsummieren, heißt das egal wo man startet, man immer entweder im Zustand 1 oder in den Zuständen 4 und 5 absorbiert wird.

Ist man nun an der Absorptionswahrscheinlichkeit im Zustand 4 interessiert, so liefert das direkte Ansetzen des Gleichungssystems und der Nebenbedingungen ${\displaystyle a_{1}=a_{5}=0,a_{4}=1}$ und

${\displaystyle {\begin{aligned}-a_{2}&+0{,}8a_{3}&=-0{,}1\\0{,}5a_{2}&-a_{3}&=0.\end{aligned}}}$

Daraus ergibt sich die Lösung ${\displaystyle a=(a_{i})_{i=1\cdots 5}=(0,1/6,1/12,1,0)}$.

Verwendung

Absorbierende Zustände sind insbesondere in der Populationsdynamik und in der Modellierung von Spielen interessant. In der Populationsdynamik lassen sich die Zeitschritte einer Markow-Kette als Generationen auffassen, der Zustandsraum sind dann die lebenden Individuen. Hier wäre ein absorbierender Zustand die 0, also die Tatsache, dass die Spezies ausgestorben ist. Damit sind in diesem Fall Aussterbewahrscheinlichkeit und Absorptionswahrscheinlichkeit in der 0 äquivalent. Typisches Beispiel ist hier der Galton-Watson-Prozess. Einige Glücksspiele lassen sich auch gut mithilfe von Markow-Ketten untersuchen. Dabei entspricht der Zeitpunkt der Spielrunde und der Zustandsraum dem Geld eines Spielers. Ein absorbierender Zustand wäre hier wieder die 0 (Pleite des Spielers) oder der Gesamteinsatz (Pleite des anderen Spielers). Damit ist die Absorptionswahrscheinlichkeit die Gewinn/Verlustwahrscheinlichkeit.

Literatur

• Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. 8. Auflage, Vieweg, 2005. ISBN 978-3-834-80063-3
• Hans-Otto Georgii: Stochastik: Einführung in die Wahrscheinlichkeitstheorie und Statistik, 4. Auflage, de Gruyter, 2009. ISBN 978-3-110-21526-7
• Christian Hesse: Angewandte Wahrscheinlichkeitstheorie: eine fundierte Einführung mit über 500 realitätsnahen Beispielen und Aufgaben, Vieweg, Braunschweig/Wiesbaden 2003, ISBN 978-3-528-03183-1.