Kullback-Leibler-Divergenz

Die Begriffe Kullback-Leibler-Divergenz (kurz KL-Divergenz) u​nd Kullback-Leibler-Abstand (auch Kullback-Leibler-Entropie o​der Kullback-Leibler-Information, n​ach Solomon Kullback u​nd Richard Leibler; englisch Information Gain) bezeichnen e​in Maß für d​ie Unterschiedlichkeit zweier Wahrscheinlichkeitsverteilungen. Typischerweise repräsentiert d​abei eine d​er Verteilungen empirische Beobachtungen o​der eine präzise Wahrscheinlichkeitsverteilung, während d​ie andere e​in Modell o​der eine Approximation darstellt.

Die KL-Divergenz w​ird auch relative Entropie genannt, w​obei der Begriff relative Entropie gelegentlich a​uch für d​ie Transinformation verwendet wird.

Formal lässt sich die KL-Divergenz für die Wahrscheinlichkeitsfunktionen ${\displaystyle P}$ und ${\displaystyle Q}$ diskreter Werte folgendermaßen bestimmen:

${\displaystyle D(P\|Q)=KL(P,Q)=\sum _{x\in X}P(x)\cdot \log {P(x) \over Q(x)}}$

Werden die Verteilungen ${\displaystyle P}$ und ${\displaystyle Q}$ für kontinuierliche Werte durch die Wahrscheinlichkeitsdichtefunktionen ${\displaystyle p}$ und ${\displaystyle q}$ dargestellt, wird hingegen ein Integral berechnet:

${\displaystyle D(P\|Q)=\int _{-\infty }^{\infty }p(x)\cdot \log {\frac {p(x)}{q(x)}}\;\mathrm {d} x}$

Die Kullback-Leibler-Divergenz gibt aus informationstheoretischer Sicht an, wie viel Platz pro Zeichen im Mittel verschwendet wird, wenn eine auf ${\displaystyle Q}$ basierende Kodierung auf eine Informationsquelle angewendet wird, die der tatsächlichen Verteilung ${\displaystyle P}$ folgt. Somit besteht ein Zusammenhang zur Kanalkapazität. Mathematisch ist dies verträglich mit der Aussage, dass die KL-Divergenz ${\displaystyle \geq 0}$ ist und Gleichheit nur dann gilt, wenn P und Q identisch sind.

Die konkrete Wahl der Basis des Logarithmus in der Berechnung hängt dabei davon ab, in welcher Informationseinheit gerechnet werden soll. In der Praxis gibt man die KL-Divergenz häufig in Bit bzw. Shannon an und verwendet dafür die Basis 2, seltener werden auch Nit (Basis ${\displaystyle e}$) und Ban (Basis 10) gebraucht.

Anstatt der Kullback-Leibler-Divergenz wird auch oft die Kreuzentropie verwendet. Diese liefert qualitativ vergleichbare Werte, kann jedoch ohne die genaue Kenntnis von ${\displaystyle P}$ geschätzt werden. In praktischen Anwendungen ist dies vorteilhaft, da die tatsächliche Hintergrundverteilung der Beobachtungsdaten meist unbekannt ist.

Obwohl die Kullback-Leibler-Divergenz teilweise auch als Kullback-Leibler-Distanz bezeichnet wird, erfüllt sie eine fundamentale Anforderung an Distanzmaße nicht: Sie ist nicht symmetrisch, es gilt also im Allgemeinen ${\displaystyle D(P\|Q)\neq D(Q\|P)}$. Um Symmetrie herzustellen, kann alternativ die Summe der beiden Divergenzen verwendet werden, die offensichtlich symmetrisch ist:

${\displaystyle D_{2}(P\|Q)=D_{2}(Q\|P)=D(P\|Q)+D(Q\|P)}$

Multivariate Normalverteilungen

Für zwei Mehrdimensionale Normalverteilungen (mit Dimension ${\displaystyle k}$), mit Mittelwerten ${\displaystyle \mu _{0},\mu _{1}}$ und (nicht-singulären) Kovarianzmatrizen ${\displaystyle \Sigma _{0},\Sigma _{1}}$ ist die Kullback-Leibler-Divergenz gegeben durch:[1]

${\displaystyle D_{\text{KL}}({\mathcal {N}}_{0}\parallel {\mathcal {N}}_{1})={\frac {1}{2}}\left(\operatorname {Spur} \left(\Sigma _{1}^{-1}\Sigma _{0}\right)+(\mu _{1}-\mu _{0})^{\mathsf {T}}\Sigma _{1}^{-1}(\mu _{1}-\mu _{0})-k+\log \left({\frac {\det \Sigma _{1}}{\det \Sigma _{0}}}\right)\right).}$

Belege

• S. Kullback, R. A. Leibler: On information and sufficiency. In: Annals of Mathematical Statistics. Band 22, Nr. 1, März 1951, S. 79–86.
• S. Kullback: Information theory and statistics. Hrsg.: John Wiley & Sons. 1959.

Einzelnachweise

1. J. Duchi: Derivations for Linear Algebra and Optimization. S. 13.