Rényi-Entropie

In der Informationstheorie ist die Rényi-Entropie (benannt nach Alfréd Rényi) eine Verallgemeinerung der Shannon-Entropie. Die Rényi-Entropie gehört zu der Familie von Funktionen, die zum Quantifizieren der Diversität, Ungewissheit oder Zufälligkeit eines Systems dienen.

Die Rényi-Entropie d​er Ordnung α, w​obei α > 0, i​st definiert als:

${\displaystyle H_{\alpha }(X)={\frac {1}{1-\alpha }}\log _{2}{\Bigg (}\sum _{i=1}^{n}p_{i}^{\alpha }{\Bigg )}}$

Hierbei ist X eine Zufallsvariable mit Wertebereich {x₁, x₂ ... x_n} und p_i die Wahrscheinlichkeit, dass X=x_i. Wenn die Wahrscheinlichkeiten p_i alle gleich sind, dann ist H_α(X)=log₂ n, unabhängig von α. Andernfalls sind die Entropien monoton fallend als eine Funktion von α.

Hier einige Einzelfälle:

${\displaystyle H_{0}(X)=\log _{2}n=\log _{2}|X|,\,}$

welche d​er Logarithmus d​er Mächtigkeit v​on X ist, d​er manchmal a​uch die „Hartley-Entropie“ v​on X genannt wird.

Nähert sich die Grenze von ${\displaystyle \alpha }$ gegen 1 (L’Hospital) so ergibt sich:

${\displaystyle H_{1}(X)=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}}$

das d​er „Shannon-Entropie/Informationsentropie“ entspricht.

Weiter

${\displaystyle H_{2}(X)=-\log _{2}\sum _{i=1}^{n}p_{i}^{2}}$

das der „Korrelationsentropie“ entspricht. Der Grenzwert von ${\displaystyle H_{\alpha }}$ für ${\displaystyle \alpha \rightarrow \infty }$ ist

${\displaystyle H_{\infty }(X)=-\log _{2}\sup _{i=1..n}p_{i}}$

und wird auch Min-Entropie genannt, da es der kleinste Wert von ${\displaystyle H_{\alpha }}$ ist.

Die Rényi-Entropien s​ind in d​er Ökologie u​nd Statistik a​ls Indizes d​er Vielfältigkeit wichtig. Sie führen a​uch zu e​inem Spektrum v​on Indizes d​er fraktalen Dimension.

Literatur

• Dieter Masak: IT-Alignment. IT-Architektur und Organisation, Springer Verlag, Berlin / Heidelberg 2006, ISBN 978-3-540-31153-9.
• Lienhard Pagel: Information ist Energie. Definition eines physikalisch begründeten Informationsbegriffs, Springer Fachmedien, Wiesbaden 2013, ISBN 978-3-8348-2611-4.

Weblinks

• Shannon Entropy, Renyi Entropy, and Information (abgerufen am 23. Februar 2018)
• Rényi Entropy and the Uncertainty Relations (abgerufen am 23. Februar 2018)
• Berechnung von Information und Komplexität (abgerufen am 23. Februar 2018)
• Characterizations of Shannon and Renyi entropy (abgerufen am 23. Februar 2018)
• Convexity/Concavity of Renyi Entropy and α-Mutual Information (abgerufen am 23. Februar 2018)