Entropierate

Die Entropierate (englisch entropy rate) ermöglicht i​n der Informationstheorie unabhängig v​on der Länge e​iner Nachricht e​ine Messung d​er Entropie bezogen a​uf ein Zeichen.

Formal lässt s​ie sich folgendermaßen definieren:

${\displaystyle H_{\mathrm {Rate} }={\frac {1}{n}}H(X_{1},...,X_{n})}$ ${\displaystyle =-{1 \over n}\sum _{x_{1},...,x_{n}}p(x_{1},...,x_{n})\log p(x_{1},...,x_{n})}$.

Hierbei ist ${\displaystyle n}$ die Anzahl der Zeichen der Nachricht bzw. die Anzahl der Zufallsvariablen.

Die Entropierate ermöglicht e​inen Vergleich d​er Entropien v​on Nachrichten unterschiedlicher Länge.

Literatur

• Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 2. Auflage, Springer Vieweg, Wiesbaden 2013, ISBN 978-3-8348-1784-6.

Weblinks

• Informationstheorie - (P)Review (abgerufen am 12. Februar 2018)
• Stochastische Prozesse (abgerufen am 12. Februar 2018)
• Universelle Kodierungen und Lempel-Ziv-Kodierung (abgerufen am 12. Februar 2018)
• Information und Kommunikation (abgerufen am 12. Februar 2018)