Information (Physik)

Mit d​em Begriff d​er Information i​st in d​er statistischen Physik e​ine anschauliche Verknüpfung zwischen Entropie (hier: fehlende Information o​der Informationsentropie) u​nd Wahrscheinlichkeit für e​ine Interpretation d​es Entropiebegriffs möglich.[1] Die fehlende Information e​ines Systems i​st die Information, d​ie benötigt wird, u​m zu beschreiben, i​n welchem Zustand s​ich ein System befindet.

Dieser Artikel wurde in die Qualitätssicherung der Redaktion Physik eingetragen. Wenn du dich mit dem Thema auskennst, bist du herzlich eingeladen, dich an der Prüfung und möglichen Verbesserung des Artikels zu beteiligen. Der Meinungsaustausch darüber findet derzeit nicht auf der Artikeldiskussionsseite, sondern auf der Qualitätssicherungs-Seite der Physik statt.

Die fehlende Information e​ines abgeschlossenen Systems i​st die gewichtete Summe d​er Logarithmen d​er Zustandswahrscheinlichkeiten

${\displaystyle I=-k\sum _{i=1}^{n}p_{i}\ln(p_{i})\ ,}$

wobei die ${\displaystyle p_{i}\,}$ die Wahrscheinlichkeiten der ${\displaystyle n}$ Zustände des Systems sind.

Als Informationsentropie ${\displaystyle S}$ wird die fehlende Information bezeichnet, die beschreibt, in welchem Zustand sich ein willkürlich herausgegriffener Repräsentant eines Ensembles befindet.

Setzt man ${\displaystyle k=\ln(2)^{-1}}$, so ergibt sich der Informationsgehalt aus der Informationstheorie in der Einheit Shannon bzw. Bit. Für ${\displaystyle k=1}$ erhält man den Informationsgehalt in der Einheit Nit bzw. Nat. In der Statistischen Physik benutzt man ${\displaystyle k}$ die Boltzmann-Konstante ${\displaystyle k=k_{\mathrm {B} }}$ als Proportionalitätsfaktor, weil dann die Informationsentropie eines Ensembles mit der thermodynamischen Entropie übereinstimmt.

Das Gleichgewichtssystem i​st in diesem Sprachgebrauch d​as System m​it dem Maximum a​n fehlender Information.

Mikrokanonisches Ensemble

→ Hauptartikel: Mikrokanonisches Ensemble

Im mikrokanonischen Ensemble sind alle Zustände gleich häufig vertreten. Gibt es für den makroskopischen Zustand ${\displaystyle (E,N,V,\dots )}$, bei dem z. B. ${\displaystyle E}$ die Energie, ${\displaystyle N}$ die Teilchenzahl und ${\displaystyle V}$ das Volumen sind, eine Anzahl ${\displaystyle W(E,\dots )}$ mikroskopischer Zustände, so sind folglich die Energieniveaus ${\displaystyle E_{n}\,}$ mit den Wahrscheinlichkeiten ${\displaystyle p_{n}=1/W(E,\dots )}$ vertreten.

Die Informationsentropie beträgt dann

${\displaystyle S\;=\;-k_{\mathrm {B} }\sum _{n}{\frac {1}{W(E_{n})}}\,\ln \left({\frac {1}{W(E_{n})}}\right)\ ,}$

beziehungsweise für eine bestimmte Energie ${\displaystyle E_{n}}$

${\displaystyle S\;=\;-k_{\mathrm {B} }\ln \left({\frac {1}{W(E_{n})}}\right)\;=\;k_{\mathrm {B} }\ln(W)\ .}$

Kanonisches Ensemble

→ Hauptartikel: Kanonisches Ensemble

Für das kanonische Ensemble sind die Wahrscheinlichkeiten für verschiedene Energien ${\displaystyle p_{n}={\frac {1}{Z}}\exp \left(-\beta E_{n}\right)}$. Und die Informationsentropie beträgt

${\displaystyle S\;=\;-k_{\mathrm {B} }\sum _{n}p_{n}\,\left(-\ln(Z)-\beta E_{n}\right)\;=\;-k_{\mathrm {B} }\left(-\ln(Z)-\beta \sum _{n}p_{n}\,E_{n})\right)\;=\;-{\frac {F-U}{T}}\ ,}$

wobei ${\displaystyle F}$ die Freie Energie und ${\displaystyle U}$ die Innere Energie sind.

Literatur

• Kerson Huang: Introduction to Statistical Physics. CRC Press, Boca Raton 2010, ISBN 978-1-4200-7902-9.
• W. Dieterich, Oliver Schlotterer: Statistische Mechanik. (PDF; 2,4 MB) Vorlesung im WS 2004/5. Fachbereich Physik, Universität Konstanz, Februar 2009, S. 57–61, abgerufen am 21. Januar 2012.
• Horst Völz: Das ist Information. Shaker Verlag, Aachen 2017. ISBN 978-3-8440-5587-0.
• Horst Völz: Weltbeschreibung. Raum, Zeit, Temperatur und Information – Aspekte, Standpunkte, Debatten. Shaker Verlag, Aachen 2018, ISBN 978-3-8440-6323-3.
• Wolfgang Raible: “Information”, Ein Schlüsselbegriff für Natur- und Kulturwissenschaften. (PDF; 1,43 MB) Kolloqium an der Universität Freiburg. Heidelberger Akademie der Wissenschaften, 16. Mai 2009, S. 4, abgerufen am 2. März 2021.

Einzelnachweise

1. P. Hägele: Was hat Entropie mit Information zu tun? In: Vorlesungsscript der Universität Ulm. 3. August 2004, S. 7, abgerufen am 7. März 2021.