Verallgemeinerte lineare Modelle

Verallgemeinerte lineare Modelle[1] (VLM), auch generalisierte lineare Modelle (GLM oder GLiM) sind in der Statistik eine von John Nelder und Robert Wedderburn (1972) eingeführte wichtige Klasse von nichtlinearen Modellen, die eine Verallgemeinerung des klassischen linearen Regressionsmodells in der Regressionsanalyse darstellt.[2] Während man in klassischen linearen Modellen annimmt, dass die Störgröße (die unbeobachtbare Zufallskomponente) normalverteilt ist, kann sie in GLMs eine Verteilung aus der Klasse der Exponentialfamilie besitzen. Diese Verteilungsklasse beinhaltet neben der Normalverteilung auch die Binomial-, Poisson-, Gamma- und inverse Gaußverteilung. Damit bietet die Verwendung der Exponentialfamilie in verallgemeinerten linearen Modellen ein einheitliches Rahmenwerk für diese Verteilungen. Die große Klasse von vektorverallgemeinerten linearen Modellen (englisch vector generalized linear models, kurz VGLMs) beinhaltet die Klasse der verallgemeinerten linearen Modelle als Spezialfall. Ebenso in dieser großen Modellklasse enthalten sind loglineare Modelle für kategoriale Daten und das Modell der Poisson-Regression für Zähldaten.[3] Um die Einschränkungen der verallgemeinerten linearen Modelle und verallgemeinerten additiven Modelle zu überwinden, wurden sogenannte Verallgemeinerte additive Modelle für Lage-, Skalen- und Formparameter entwickelt.

Begriffsklärung

Verallgemeinerte lineare Modelle s​ind nicht m​it dem allgemeinen linearen Modell z​u verwechseln, dessen natürliche englische Abkürzung ebenfalls GLM ist, a​ber im Gegensatz z​u verallgemeinerten linearen Modellen v​on der Voraussetzung e​iner normalverteilten Antwortvariablen ausgeht. In vielen statistischen Programmpaketen werden – d​a die Abkürzung GLM s​chon für d​as allgemeine linearen Modell belegt i​st – z​ur besseren Unterscheidung andere Abkürzungen w​ie VLM bzw. GLZ für englisch GeneraLiZed linear models (in STATISTICA) o​der GzLM für englisch GeneraLiZed Linear Models (in SPSS) verwendet. Manche Autoren verwenden z​u besseren Unterscheidung s​tatt der Abkürzung GLM d​ie Abkürzung GLiM.

Ebenso s​ind verallgemeinerte lineare Modelle n​icht mit d​em verallgemeinerten linearen Regressionsmodell d​er verallgemeinerten Kleinste-Quadrate-Schätzung (VKQ-Schätzung) z​u verwechseln, b​ei der jedoch e​ine verallgemeinerte Struktur bzgl. d​er Störgrößen vorliegt.

Modellkomponenten

Die Modellklasse d​er verallgemeinerten linearen Modelle besteht a​us drei Komponenten:

• Zufallskomponente: Wie bei den klassischen linearen Modellen nimmt man unabhängige Zufallsvariablen ${\displaystyle Y_{1},Y_{2},\ldots ,Y_{n}}$ mit Erwartungswert ${\displaystyle \operatorname {E} (Y_{i})=\mu _{i}}$ an, die eine Dichtefunktion aus der Exponentialfamilie (z. B. eine Binomial-, Poisson-, oder Gamma-Verteilung) besitzen.

• Systematische Komponente: Gegeben ist der Kovariablenvektor ${\displaystyle \mathbf {x} _{i}^{\top }=(1,x_{i1},\ldots ,x_{ik})_{(k+1\times 1)}}$ (siehe Das klassische Modell der linearen Mehrfachregression), der die Verteilung der ${\displaystyle Y_{i}}$ nur durch eine lineare Funktion beeinflusst. Diese lineare Funktion heißt linearer Prädiktor und ist in der multiplen linearen Regression in folgender Form gegeben:

${\displaystyle \eta _{i}=\beta _{0}+x_{i1}\beta _{1}+x_{i2}\beta _{2}+\dotsc +x_{ik}\beta _{k}=\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }}}$. Hier erkennt man, dass der lineare Prädiktor den Vektor der Regressionskoeffizienten ${\displaystyle {\boldsymbol {\beta }}=\left(\beta _{0}\,\beta _{1},\dots ,\beta _{k}\right)^{\top }}$ in das Modell miteinführt.

• Kopplungsfunktion: Für ein verallgemeinertes lineares Modell ist eine (oft nichtlineare[4]) Kopplungsfunktion ${\displaystyle g(\cdot )}$ vorhanden, die die durch den linearen Prädiktor ${\displaystyle \eta _{i}}$ beschriebene systematische Komponente und die durch den Erwartungswert ${\displaystyle \mu =\operatorname {E} (Y_{i})}$ der Antwortvariablen beschriebene stochastische Komponente der Verteilung von ${\displaystyle Y_{i}}$ koppelt: ${\displaystyle g(\mu )=\eta _{i}}$. Die Umkehrfunktion der Kopplungsfunktion, die sogenannte Antwortfunktion ${\displaystyle h(\cdot )}$ überführt die Linearkombination der erklärenden Variablen in den (bedingten) Erwartungswert ${\displaystyle \mu =\operatorname {E} (Y_{i})}$: ${\displaystyle \mu _{i}=h(\eta _{i})}$.[5]

Verteilungen aus der Familie der verallgemeinerten linearen Modelle

In d​ie Modellklasse d​er verallgemeinerten lineare Modelle lassen s​ich einbetten d​ie Normalverteilung, Binomial-Verteilung, Poisson-Verteilung, Gammaverteilung u​nd die Inverse Normalverteilung, Bernoulli-Verteilung, Skalierte Poisson-Verteilung, Skalierte Binomial-Verteilung, Skalierte negative Binomial-Verteilung.[6]

Exponentialfamilie

Die Verteilung einer Antwortvariablen ${\displaystyle Y_{i}}$ gehört zur eindimensionalen Exponentialfamilie, wenn sich die Dichtefunktion bzw. Wahrscheinlichkeitsfunktion in folgender Form schreiben lässt:[7]

${\displaystyle f(y_{i}\mid \theta _{i})=\exp \left({\frac {y_{i}\theta _{i}-b(\theta _{i})}{\phi }}\cdot w_{i}+c(y_{i},\phi ,w_{i})\right)}$.

Hierbei sind:

• ${\displaystyle y_{i}}$ die Beobachtungswerte der Antwortvariablen (bekannt)
• ${\displaystyle w_{i}}$ die spezifizierten Gewichte (bekannt)
• ${\displaystyle b(\theta _{i})}$ eine vorspezifizierte zweifach differenzierbare Funktion (bekannt)
• ${\displaystyle \theta _{i}}$ der reellwertige Verteilungsparameter der Dichte; der sogenannte kanonische (natürliche) Parameter (unbekannt)
• ${\displaystyle \phi }$ ein vom Erwartungswert unabhängiger Skalenparameter (auch Streuungsparameter genannt), der für die Varianz relevant ist (bekannt)
• und ${\displaystyle c(y_{i},\phi ,w_{i})}$ eine geeignete Funktion zur Normierung der Dichte (Normalisierungskonstante) und die nicht von ${\displaystyle \theta _{i}}$ abhängt (bekannt)

Für die Funktion ${\displaystyle b(\theta _{i})}$ ist notwendig, dass ${\displaystyle f(y_{i}\mid \theta _{i})}$ normalisiert werden kann und die erste ${\displaystyle b^{\prime }(\theta _{i})={\frac {\mathrm {d} \,b(\theta _{i})}{\mathrm {d} \,\theta _{i}}}}$ und zweite Ableitung ${\displaystyle b^{\prime \prime }(\theta _{i})={\frac {\mathrm {d} ^{2}\,b(\theta _{i})}{\mathrm {d} \,\theta _{i}^{2}}}}$ existiert. Die zweite Ableitung ${\displaystyle b^{\prime \prime }(\theta _{i})}$ bestimmt neben dem Skalenparameter ${\displaystyle \phi }$ die Varianz der Verteilung und wird daher als Varianzfunktion bezeichnet. Für alle Verteilungen der Exponentialfamilie gilt:[8]

1. ${\displaystyle \operatorname {E} (Y_{i})=\mu =b^{\prime }(\theta _{i})}$
2. ${\displaystyle \operatorname {Var} (Y_{i})=\sigma ^{2}=\phi \cdot b^{\prime \prime }(\theta _{i})/w_{i}}$

Der Parameter ${\displaystyle \phi }$ ist nicht primär von Interesse und wird daher als Störparameter betrachtet. Beispiele für Verteilungen, die zur Exponentialfamilie gehören:

Verteilung ${\displaystyle \operatorname {E} (Y_{i})=\mu }$	Kanonischer Parameter ${\displaystyle \theta _{i}}$	Skalenparameter ${\displaystyle \phi }$	vorspezifizierte Funktion ${\displaystyle a(\phi )}$	vorspezifizierte Funktion ${\displaystyle b(\theta _{i})}$	Normalisierungskonstante ${\displaystyle c(y_{i},\phi ,w_{i})}$	Wahrscheinlichkeitsfunktion ${\displaystyle f(y_{i})}$
Normalverteilung	${\displaystyle \mu }$	${\displaystyle \sigma ^{2}}$	${\displaystyle \phi }$	${\displaystyle {\frac {\theta _{i}^{2}}{2}}}$	${\displaystyle {\frac {-y_{i}^{2}}{2\phi }}-\log \left({\sqrt {2\pi \phi }}\right)}$	${\displaystyle {\frac {1}{\sqrt {2\pi \sigma ^{2}}}}\exp \left(-{\frac {(y_{i}-\mu )^{2}}{2\sigma ^{2}}}\right)}$
Bernoulli-Verteilung	${\displaystyle \log \left({\frac {\mu }{1-\mu }}\right)}$	${\displaystyle -}$	${\displaystyle 1}$	${\displaystyle \log(1+e^{\theta _{i}})}$	${\displaystyle 0}$	${\displaystyle \mu ^{y_{i}}(1-\mu )^{1-y_{i}}\,}$ mit ${\displaystyle y_{i}=0{\text{ oder }}1}$
Binomialverteilung	${\displaystyle \log \left({\frac {\mu }{n-\mu }}\right)}$	${\displaystyle -}$	${\displaystyle 1}$	${\displaystyle n\log(1+e^{\theta _{i}})}$	${\displaystyle \log {\binom {n}{y_{i}}}}$	${\displaystyle {\binom {n}{y_{i}}}\left({\frac {\mu }{n}}\right)^{y_{i}}\left(1-{\frac {\mu }{n}}\right)^{n-y_{i}}\;}$ mit ${\displaystyle \;y=0,1,\ldots ,n}$
Poisson-Verteilung	${\displaystyle \log(\mu )}$	${\displaystyle -}$	${\displaystyle 1}$	${\displaystyle \exp(\theta _{i})}$	${\displaystyle -\log(y_{i}!)}$	${\displaystyle {\frac {\mu ^{y_{i}}}{y_{i}!}}\exp(-\mu )}$ mit ${\displaystyle y_{i}=0,1,\ldots }$

Literatur

• John Nelder, Peter McCullagh: Generalized Linear Models, Chapman and Hall/CRC Press, 2. Auflage 1989

Einzelnachweise

1. generalized linear model. Glossary of statistical terms. In: International Statistical Institute. 1. Juni 2011, abgerufen am 4. Juli 2020 (englisch).
2. John Nelder, Robert Wedderburn: Generalized Linear Models. In: Journal of the Royal Statistical Society, Series A (General). 135, 1972, S. 370–384. doi:10.2307/2344614.
3. Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008., S. 513.
4. Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008., S. 514.
5. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 301.
6. Torsten Becker, et al.: Stochastische Risikomodellierung und statistische Methoden. Springer Spektrum, 2016. S. 308.
7. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 301.
8. Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 302.