Differentielle Entropie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.[1]

Definition

Eine kontinuierliche Zufallsvariable ${\displaystyle X}$ kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit ${\displaystyle P(\cdot )}$ für einen bestimmten Wert ${\displaystyle x_{0}}$ gleich Null:

${\displaystyle P(X=x_{0})=\lim _{\varepsilon \to 0}\varepsilon f_{X}(x_{0})=0}$

Und somit der Informationsgehalt eines jeden Werts unendlich:

${\displaystyle \lim _{p_{x}\to 0}I(p_{x})=-\lim _{p_{x}\to 0}\log _{2}(p_{x})=\infty }$

Sei ${\displaystyle X}$ eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion ${\displaystyle f_{X}}$, dann ist ihre differentielle Entropie definiert als

${\displaystyle h(X)=-\int _{-\infty }^{+\infty }f_{X}(x)\log f_{X}(x)\,{\text{d}}x=E[-\log f_{X}(x)]}$

Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.

Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.

Eigenschaften

• Die differentielle Entropie ist verschiebungsinvariant, d. h. ${\displaystyle h(X+c)=h(X)}$ für konstante ${\displaystyle c}$. Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
• Für die Skalierung gilt: ${\displaystyle h(A{\textbf {X}})=h({\textbf {X}})+\log _{2}(|A|)}$ mit dem Zufallsvektor ${\displaystyle {\textbf {X}}\in \mathbb {R} ^{n}}$ und dem Betrag der Determinante ${\displaystyle |A|}$.

Differentielle Entropie für verschiedene Verteilungen

Für eine gegebene Varianz ${\displaystyle \sigma _{x}^{2}}$ besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).

Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.

Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie

Verteilung	Wahrscheinlichkeitsdichtefunktion	Differentielle Entropie (in Bit)	Träger
Gleichverteilung	${\displaystyle f(x)={\frac {1}{2a}}}$	${\displaystyle \log _{2}(2a)}$	${\displaystyle [-a,+a]}$
Normalverteilung	${\displaystyle f(x)={\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\right)}$	${\displaystyle {\frac {1}{2}}\log _{2}(2\pi e\sigma _{x}^{2})}$	${\displaystyle (-\infty ,\infty )}$
Laplace-Verteilung	${\displaystyle f(x)={\frac {1}{{\sqrt {2}}\sigma _{x}}}\exp \left(-{\frac {{\sqrt {2}}|x-\mu |}{\sigma _{x}}}\right)}$	${\displaystyle {\frac {1}{2}}\log _{2}(2e^{2}\sigma _{x}^{2})}$	${\displaystyle (-\infty ,\infty )}$
Symmetrische Dreiecksverteilung	${\displaystyle f(x)={\begin{cases}{\frac {1}{a}}\left(1-{\frac {|x|}{a}}\right)&\forall \;|x|\leq a\\0&\forall \;|x|>a\end{cases}}}$	${\displaystyle {\frac {1}{2}}\log _{2}(6e\sigma _{x}^{2})}$	${\displaystyle [0,1]}$

Literatur

• Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. John Wiley & Sons, 1991, ISBN 0-471-06259-6, S. 224–238.
• Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
• Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 1. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2011, ISBN 978-3-8348-0880-6.

Weblinks

• Differential Entropy, Wolfram Mathworld
• Informations- und Codierungstheorie (abgerufen am 2. Februar 2018)
• Entropie différentielle (abgerufen am 2. Februar 2018)

Einzelnachweise

1. Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).