Kolmogorow-Sinai-Entropie

Die Kolmogorow-Sinai-Entropie i​st eine Invariante maßerhaltender Abbildungen i​m mathematischen Teilgebiet d​er dynamischen Systeme. Sie verallgemeinert d​en aus d​er Wahrscheinlichkeitstheorie (und ursprünglich d​er Thermodynamik) bekannten Entropie-Begriff. Die Entropie s​oll messen, w​ie viel Information m​an mit j​edem neuen Schritt d​es dynamischen Systems erhält. Ihre Definition g​eht auf Andrei Kolmogorow zurück, a​ber erst Jakow Sinai gelang Ende d​er 1950er Jahre d​er Nachweis d​er Nichttrivialität dieser Invariante. Unter anderem dafür erhielt Sinai 2014 d​en Abelpreis.

Intuitiv m​isst die Kolmogorow-Sinai-Entropie d​ie Chaotizität dynamischer Systeme. Sie i​st trivial, d. h., i​hr Wert i​st Null, für nicht-chaotische Abbildungen w​ie zum Beispiel Drehungen.

Sie w​ird auch a​ls maßtheoretische Entropie o​der metrische Entropie o​der abgekürzt a​ls KS-Entropie bezeichnet.

Definition

Es sei ${\displaystyle (X,\Sigma ,P)}$ ein Wahrscheinlichkeitsraum und ${\displaystyle f\colon X\to X}$ eine maßerhaltende Abbildung.

Bekanntlich wird in der Wahrscheinlichkeitstheorie die Entropie einer Partition ${\displaystyle Q}$ (d. h. einer disjunkten Zerlegung ${\displaystyle X=Q_{1}\cup \ldots \cup Q_{r}}$) definiert durch

${\displaystyle H(Q):=-\sum _{i=1}^{r}P(Q_{i})\log P(Q_{i})}$.

Die Entropie von ${\displaystyle f}$ bzgl. der Partition ${\displaystyle Q}$ ist dann definiert als

${\displaystyle h(f,Q):=\lim _{N\rightarrow \infty }{\frac {1}{N}}H\left(\bigvee _{n=0}^{N}f^{-n}Q\right)}$,

wobei

${\displaystyle \bigvee _{n=0}^{N}f^{-n}Q=\left\{Q_{i_{0}}\cap f^{-1}Q_{i_{1}}\cap \cdots \cap f^{-N}Q_{i_{N}}{\text{ mit }}i_{\ell }=1,\ldots ,k,\ \ell =0,\ldots ,N,\ P\left(Q_{i_{0}}\cap f^{-1}Q_{i_{1}}\cap \cdots \cap f^{-N}Q_{i_{N}}\right)>0\right\}}$.

(Die Existenz d​es Grenzwertes i​st die Aussage d​es Satzes v​on Shannon-MacMillan.)

Schließlich ist die Kolmogorow-Sinai-Entropie der maßerhaltenden Abbildung ${\displaystyle f}$ definiert als das Supremum von ${\displaystyle h(f,Q)}$ über alle Partitionen ${\displaystyle Q}$:

${\displaystyle h(f)=\sup _{Q}h(f,Q).}$

Erzeugende Partitionen (Satz von Sinai)

Der Satz v​on Sinai besagt, d​ass man d​ie Kolmogorow-Sinai-Entropie effektiv berechnen kann, mittels erzeugender Partitionen.

Definition: Eine erzeugende Partition eines maßerhaltenden dynamischen Systems ${\displaystyle (X,\Sigma ,P,f)}$ ist eine endliche Zerlegung ${\displaystyle X=Q_{1}\cup \ldots \cup Q_{r}}$, so dass ${\displaystyle \Sigma }$ die kleinste σ-Algebra ist, die alle ${\displaystyle f^{n}Q_{i}}$ (${\displaystyle n\in \mathbb {Z} ,i\in \left\{1,\ldots ,r\right\}}$) enthält.

Satz (Sinai): Wenn ${\displaystyle Q}$ erzeugende Partition eines maßerhaltenden dynamischen Systems ${\displaystyle (X,\Sigma ,P,f)}$ ist, dann ist

${\displaystyle h(f)=h(f,Q)}$.

Beispiele

• Für eine Drehung des Kreises (oder allgemeiner des n-dimensionalen Torus) ist die Entropie trivial[1]:

${\displaystyle h(f)=0}$.

• Für die durch eine ganzzahlige unimodulare Matrix ${\displaystyle A\in GL(n,\mathbb {Z} )}$ definierte Selbstabbildung ${\displaystyle f\colon T^{n}\to T^{n}}$ des n-dimensionalen Torus ${\displaystyle T^{n}=\mathbb {R} ^{n}/\mathbb {Z} ^{n}}$ ist

${\displaystyle h(f)=\sum _{\mid \lambda _{i}\mid >1}\log(\mid \lambda _{i}\mid )}$,

wobei ${\displaystyle \lambda _{1},\ldots ,\lambda _{n}}$ die Eigenwerte von ${\displaystyle A}$ (ggf. entsprechend ihrer Vielfachheit gezählt) sind. Dies wurde 1959 von Sinai bewiesen und war das erste Beispiel einer Abbildung nichttrivialer Entropie.[2]

Literatur

• P. Billingsley: Ergodic Theory and Information. J. Wiley, 1965.
• I.P. Cornfeld, S.F. Fomin, Ya.G. Sinai: Ergodic Theory. Springer, 1981.
• A.N. Kolmogorov: New Metric Invariant of Transitive Dynamical Systems and Endomorphisms of Lebesgue Spaces. In: Doklady of Russian Academy of Sciences. 119, Nr. 5, 1958 S. 861–864.
• A.N. Kolmogorov: Entropy per unit time as a metric invariant of automorphism. In: Doklady of Russian Academy of Sciences. 124, 1959, S. 754–755.
• E. Lindenstrauss, Y. Peres, W. Schlag: Bernoulli convolutions and intermediate values for entropy of K-partitions. In: J. Anal. Math. 87, 2002, S. 337–367.
• W. Parry: Entropy and Generators in Ergodic Theory. W.A. Benjamin, Inc., New York/Amsterdam 1969.
• Ya.G. Sinai: On the Notion of Entropy of a Dynamical System. In: Doklady of Russian Academy of Sciences. 124, 1959, S. 768–771.
• P. Walters: An Introduction to Ergodic Theory. Springer, New York/Berlin, 1969-

Weblinks

• The entropy of a dynamical System. (Populärwissenschaftliche Darstellung aus Anlaß des Abelpreises für Sinai)
• Sinai: Kolmogorov-Sinai entropy. Scholarpedia.

Einzelnachweise

1. Katok-Hasselblatt: Introduction to the modern theory of dynamical systems. ( = Encyclopedia of Mathematics and its Applications. 54). Cambridge University Press, Cambridge, 1995, ISBN 0-521-34187-6, Abschnitt 4.4
2. Sinai: On the concept of entropy for a dynamic system. In: Dokl. Akad. Nauk SSSR. 124, 1959 (russisch).