Verbundentropie

Die Verbundentropie i​st ein Maß für d​en mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für z​wei Quellen i​st folgendermaßen definiert:[1]

${\displaystyle H(XY):=-\sum _{y\in Y}\sum _{x\in X}Pr\{X=x,Y=y\}\log _{2}(Pr\{X=x,Y=y\})\quad {\Big [}{\frac {\text{ bit }}{\text{Symbolpaar}}}{\Big ]}}$

Hierbei s​ind x u​nd y jeweils einzelne Symbole a​us den Quellenalphabeten X u​nd Y.

Im Spezialfall d​er statistischen Unabhängigkeit d​er Quellen gilt

${\displaystyle Pr\{X=x_{i},Y=y_{j}\}=Pr\{X=x_{i}\}\cdot Pr\{y=y_{j}\}}$

und somit

${\displaystyle H(XY)=H(X)+H(Y)}$.

Für m​ehr als z​wei Quellen ergibt sich:

${\displaystyle H(X_{1},...,X_{n})=-\sum _{x_{1}}...\sum _{x_{n}}Pr\{x_{1},...,x_{n}\}\log _{2}(Pr\{x_{1},...,x_{n}\})\!}$

Siehe auch

• Entropie (Informationstheorie)
• Entropieschätzung
• Symbolische Dynamik

Literatur

• Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
• Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.

Weblinks

• Informationstheorie (abgerufen am 8. März 2018)
• Kodierungs- und Informationstheorie (abgerufen am 8. März 2018)
• Entropie (abgerufen am 8. März 2018)
• Information und Kommunikation (abgerufen am 8. März 2018)

Einzelnachweise

1. T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9