Kreuzentropie

Die Kreuzentropie i​st in d​er Informationstheorie u​nd der mathematischen Statistik e​in Maß für d​ie Qualität e​ines Modells für e​ine Wahrscheinlichkeitsverteilung. Eine Minimierung d​er Kreuzentropie i​n Bezug a​uf die Modellparameter k​ommt einer Maximierung d​er Log-Likelihood-Funktion gleich.

Definition

Sei ${\displaystyle X}$ eine Zufallsvariable mit Zielmenge ${\displaystyle \Omega }$, die gemäß ${\displaystyle P}$ verteilt ist. Es sei weiter ${\displaystyle Q}$ eine Verteilung auf demselben Ereignisraum.

Dann i​st die Kreuzentropie definiert durch:

${\displaystyle H(X;P;Q)=H(X)+D(P\Vert Q)}$

Hierbei bezeichne ${\displaystyle H(X)}$ die Entropie von ${\displaystyle X}$ und ${\displaystyle D(P\|Q)}$ die Kullback-Leibler-Divergenz der beiden Verteilungen.

Äquivalente Formulierung

Durch Einsetzen der beiden Definitionsgleichungen ${\displaystyle H(X)=-\sum _{x\in X}P(x)\log P(x)}$ und ${\displaystyle D(P\|Q)=\sum _{x\in X}P(x)\cdot \log {\frac {P(x)}{Q(x)}}}$ ergibt sich nach Vereinfachung im diskreten Fall

${\displaystyle H(X;P;Q)=-\sum _{x\in \Omega }P(X=x)\cdot \log Q(X=x)\,.}$

und im stetigen Fall (mit Dichtefunktionen ${\displaystyle p}$ und ${\displaystyle q}$)

${\displaystyle H(X;P;Q)=-\int _{\Omega }p(x)\cdot \log q(x)\mathrm {d} x}$

Schätzung

Zwar hat die Kreuzentropie eine vergleichbare Aussagekraft wie die reine Kullback-Leibler-Divergenz, erstere lässt sich jedoch auch ohne genaue Kenntnis von ${\displaystyle P}$ schätzen. In der praktischen Anwendung ist daher ${\displaystyle Q}$ meist eine Approximation einer unbekannten Verteilung ${\displaystyle P}$.

Nach obiger Gleichung gilt:

${\displaystyle H(X;P;Q)=E_{P}(-\log Q(X))}$

Wobei ${\displaystyle E}$ den Erwartungswert gemäß der Verteilung ${\displaystyle P}$ bezeichne.

Sind nun ${\displaystyle x_{1};\dots ;x_{n}\in \Omega }$ Realisierungen von ${\displaystyle X}$, d. h. eine unabhängig und identisch gemäß ${\displaystyle P}$ verteilte Stichprobe, so ist also

${\displaystyle {\hat {H}}(Q;n)=-{\frac {1}{n}}\sum _{i=1}^{n}\log Q(x_{i})}$

ein erwartungstreuer Schätzer für d​ie Kreuzentropie (siehe Importance Sampling).

Zusammenhang mit Log-Likelihood-Funktion

Gegeben sei ein Modell mit Parametern ${\displaystyle \theta }$ und (Ausgabe-)Wahrscheinlichkeitsdichte ${\displaystyle q_{\theta }}$ welches die Wahrscheinlichkeitsdichte ${\displaystyle p_{\mathrm {data} }}$ annähern soll. Der wahre Wert der Parameter[1] ${\displaystyle \theta }$ maximiert die erwartete Log-Likelihood-Funktion ${\displaystyle E[\log(q_{\theta }(x)]=\int _{\Omega }dxp_{\mathrm {data} }(x)\log q_{\theta }(x)=-H(X;p_{\mathrm {data} },q_{\theta }).}$

Diese Gleichungen können mithilfe von Stichproben genähert werden: ${\displaystyle E[\log(q_{\theta }(x)]\approx {\widehat {\mathbf {E} }}_{n}[\log q_{\theta }(x);p_{\mathrm {data} }]={\frac {1}{n}}\sum _{i=1}^{n}\log q_{\theta }(x_{i})=-{\hat {H}}(X;p_{\mathrm {data} },q_{\theta })}$, wobei die Näherung wie unter Importance Sampling dargestellt folgt. Beachte, das Auftreten der Log-Likelihood-Funktion ${\displaystyle l=\sum _{i}\log q_{\theta }(x_{i})}$ in der Näherung, wobei die Skalierung ${\displaystyle {\frac {1}{n}}}$ die Lage des Maximums nicht verändert.

Abgeleitete Größen

Die Größe ${\displaystyle 2^{H(X;P;Q)}}$ beziehungsweise ${\displaystyle 2^{H(X)}}$ wird auch als Perplexität bezeichnet. Sie wird vor allem in der Spracherkennung verwendet.

Literatur

• Rubinstein, Reuven Y. / Kroese, Dirk P.: The Cross-Entropy Method - A Unified Approach to Combinatorial Optimization, Monte-Carlo Simulation and Machine Learning. Springer Verlag 2004, ISBN 978-0-387-21240-1.

Weblinks

• Statistische Sprachmodelle Universität München (PDF; 531 kB)

Einzelnachweise

1. Denis Conniffe: Expected Maximum Log Likelihood Estimation. In: The Statistician. Band 36, Nr. 4, 1987, ISSN 0039-0526, S. 317, doi:10.2307/2348828.