Kernregression

Unter Kernregression (englisch kernel regression, d​aher auch Kernel-Regression) versteht m​an eine Reihe nichtparametrischer statistischer Methoden, b​ei denen d​ie Abhängigkeit e​iner zufälligen Größe v​on Ausgangsdaten mittels Kerndichteschätzung geschätzt wird. Die Art d​er Abhängigkeit, dargestellt d​urch die Regressionskurve, w​ird im Gegensatz z​ur linearen Regression n​icht als linear festgelegt. Der Vorteil i​st eine bessere Anpassung a​n die Daten i​m Falle nichtlinearer Zusammenhänge. Abhängig davon, o​b die Ausgangsdaten selbst zufällig s​ind oder nicht, unterscheidet m​an zwischen Random-Design- u​nd Fixed-Design-Ansätzen. Das grundlegende Verfahren w​urde 1964 unabhängig voneinander v​on Geoffrey Watson u​nd Elisbar Nadaraia (englische Transkription: Elizbar Nadaraya) vorgeschlagen.

Eindimensionale Kernregression

Kerndichteschätzer

Dotplot, Histogramm und Kerndichteschätzer der Variablen LSTAT des Boston-Housing-Datensatzes.

Ein Kerndichteschätzer ${\displaystyle {\hat {f}}}$ zur Bandweite ${\displaystyle h>0}$ ist eine Schätzung der unbekannten Dichtefunktion ${\displaystyle f}$ einer Variablen. Ist ${\displaystyle x_{1},\ldots ,x_{n}}$ eine Stichprobe, ${\displaystyle K}$ ein Kern, so ist die Kerndichteschätzung definiert als:

${\displaystyle {\hat {f}}(x)={\frac {1}{n}}\sum _{j=1}^{n}K_{h}(x-x_{j})={\frac {1}{nh}}\sum _{j=1}^{n}K\left({\frac {x-x_{j}}{h}}\right)}$.

Wie die Grafik rechts zeigt, ist die Wahl der Bandbreite ${\displaystyle h}$ entscheidend für die Qualität der Approximation.

→ Hauptartikel: Kerndichteschätzer

Typische Kerne mit
unbeschränktem Träger		Träger ${\displaystyle [-1;1]}$
Kern	${\displaystyle K(u)\,}$	Kern	${\displaystyle K(u)I(|u|\leq 1)}$
Gauß-Kern	${\displaystyle {\tfrac {1}{\sqrt {2\pi }}}\exp(-{\tfrac {1}{2}}u^{2})}$	Gleichverteilungs- oder Rechteckskern	${\displaystyle {\tfrac {1}{2}}}$
Cauchy-Kern	${\displaystyle {\tfrac {1}{\pi (1+u^{2})}}}$	Dreieck-Kern	${\displaystyle (1-|u|)}$
Picard-Kern	${\displaystyle {\tfrac {1}{2}}\exp(-|u|)}$	Kosinus-Kern	${\displaystyle {\tfrac {\pi }{4}}\cos({\tfrac {\pi }{2}}u)}$
		Epanechnikov-Kern (p=1) quartischer Kern (p=2) Triweight-Kern (p=3)	${\displaystyle C_{p}(1-u^{2})^{p}}$ ${\displaystyle C_{p}=3/4}$ ${\displaystyle C_{p}=15/16}$ ${\displaystyle C_{p}=35/32}$

Nadaraya-Watson-Schätzer

Lineare Regression (schwarz) und Nadaraya-Watson-Schätzer mit verschiedenen Bandweiten (rot: mittel, grün: groß und blau: klein)

Der Nadaraya-Watson-Schätzer schätzt eine unbekannte Regressionsfunktion ${\displaystyle m(x)}$ aus den Beobachtungsdaten ${\displaystyle (x_{1},y_{1}),\dots ,(x_{n},y_{n})}$ als[1][2]

${\displaystyle {\hat {m}}(x)={\frac {\sum _{i=1}^{n}y_{i}K_{h}(x-x_{i})}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}}$

mit ${\displaystyle K_{h}(u)=1/hK(u/h)}$ und einem Kern ${\displaystyle K}$ und einer Bandweite ${\displaystyle h>0}$. Die Funktion ${\displaystyle K_{h}}$ ist dabei eine Funktion, die Beobachtungen nahe ${\displaystyle x}$ ein großes Gewicht und Beobachtungen weit entfernt von ${\displaystyle x}$ ein kleines Gewicht zuordnet. Die Bandweite legt fest, in welchem Bereich um ${\displaystyle x}$ die Beobachtungen ein großes Gewicht haben.

Während d​ie Wahl d​es Kerns m​eist recht f​rei erfolgen kann, h​at die Wahl d​er Bandweite e​inen großen Einfluss a​uf die Glattheit d​es Schätzers. Die Grafik rechts zeigt, d​ass eine große Bandweite (grün) z​u einer glatteren Schätzung führt a​ls die Wahl e​iner kleinen Bandweite (blau).

Ableitung

Die Idee d​es Nadaraya-Watson-Schätzers beruht darauf, d​ass die unbekannte Regressionsfunktion

${\displaystyle Y=m(X)}$

mit Hilfe des bedingten Erwartungswertes durch die gemeinsame Dichte ${\displaystyle f(x,y)}$ und die Randdichte ${\displaystyle f_{X}(x)}$ dargestellt wird.

${\displaystyle m(x)=\operatorname {E} (Y\mid X=x)=\int y{\frac {f(x,y)}{f_{X}(x)}}\,\mathrm {d} y={\frac {\int yf(x,y)\,\mathrm {d} y}{f_{X}(x)}}}$

Die unbekannten Dichten ${\displaystyle f(x,y)}$ und ${\displaystyle f_{X}(x)}$ werden mit Hilfe einer Kerndichteschätzung geschätzt. Zur Berechnung der gemeinsamen Dichte aus den Beobachtungen wird ein bivariater Kerndichteschätzer mit Produktkern ${\displaystyle K(x,y)=K(x)K(y)}$ und Bandweiten ${\displaystyle g}$ und ${\displaystyle h}$ genutzt:

${\displaystyle {\widehat {f_{g,h}}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{g}(y-y_{i})}$.

Es folgt

${\displaystyle \int yK_{h}\left(x-x_{i}\right)\,\mathrm {d} y={\frac {1}{n}}\sum _{i=1}^{n}y_{i}K_{h}(x-x_{i})}$

und mittels Kerndichteschätzung für ${\displaystyle f_{X}(x)}$ der Nadaraya-Watson-Schätzer.

Eigenschaften

Gewichte ${\displaystyle W_{hi}(x)}$ für verschiedene ${\displaystyle x}$, ${\displaystyle i}$ und Bandweiten ${\displaystyle h}$.

1. Wie im Fall der linearen Regression kann der Nadaraya-Watson-Schätzer auch als Linearkombination der ${\displaystyle y_{i}}$ mit Gewichtsfunktionen ${\displaystyle W_{hi}}$ geschrieben werden:

${\displaystyle {\hat {m}}(x)=\sum _{i=1}^{n}y_{i}W_{hi}(x)}$.

Damit ist der Nadaraya-Watson-Schätzer das (lokal) gewichtete Mittel der Beobachtungswerte ${\displaystyle y_{i}}$, es gilt

${\displaystyle \sum _{i=1}^{n}W_{hi}(x)=1}$.

Die Grafik rechts zeigt die Gewichte für verschiedene Werte von ${\displaystyle x}$ (blau: ${\displaystyle x=10}$, grün: ${\displaystyle x=20}$, rot: ${\displaystyle x=30}$). Das Punktdiagramm unterhalb von Null zeigt die Daten der erklärenden Variable. Je größer die Bandweite ist (durchgezogene Linie vs. gestrichelte Linie), desto mehr Beobachtungen um ${\displaystyle x}$ haben ein Gewicht ungleich null. Je weniger Daten zu Verfügung stehen (rechts), desto stärker müssen die verfügbaren Beobachtungen gewichtet werden.

2. Die mittlere quadratische Abweichung ergibt s​ich approximativ als

${\displaystyle \operatorname {MSE} ({\hat {m}}(x))\approx \underbrace {h^{4}B^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}V} _{={\text{Varianz}}}}$

mit ${\displaystyle B}$ und ${\displaystyle V}$ unabhängig von ${\displaystyle n}$ und ${\displaystyle h}$. Damit ist die Konvergenz langsamer als bei der linearen Regression, d. h. mit der gleichen Zahl von Beobachtungen kann der Vorhersagewert in der linearen Regression präziser geschätzt werden als beim Nadaraya-Watson-Schätzer.

Dabei i​st die quadrierte Verzerrung (englisch bias) d​es Nadaraya-Watson-Schätzers

${\displaystyle \operatorname {Bias} ^{2}({\hat {m}}(x))={\frac {h^{4}}{4}}{\left(m''(x)+2{\frac {m'(x)f'_{X}(x)}{f_{X}(x)}}\right)}^{2}\mu _{2}^{2}(K)}$

mit ${\displaystyle m'(x)}$ und ${\displaystyle m''(x)}$ die erste bzw. zweite Ableitung der unbekannten Regressionsfunktion, ${\displaystyle f'_{X}(x)}$ die erste Ableitung der Dichte ${\displaystyle f_{X}(x)}$ und ${\displaystyle \mu _{2}(K)=\int u^{2}K(u)\mathrm {d} \,u}$.

Und d​ie Varianz d​es Schätzers

${\displaystyle \operatorname {Var} ({\hat {m}}(x))={\frac {1}{nh}}{\frac {\sigma ^{2}(x)}{f_{X}(x)}}|K|_{2}^{2}}$

mit ${\displaystyle \sigma ^{2}(x)=\operatorname {Var} (Y\mid X=x)}$ und ${\displaystyle |K|_{2}=\int K^{2}(u)\,\mathrm {d} u}$.

Bandweitenwahl

Resubstitution und Leave-One-Out Kreuzvalidierung für die Bandweite des Nadaraya-Watson Schätzers für das obige Beispiel. Die „optimale“ Bandweite ergibt sich für ca. ${\displaystyle h=0{,}7}$.

Das Hauptproblem bei der Kernregression ist die Wahl einer geeigneten Bandweite ${\displaystyle h}$. Als Basis dient die Minimierung der mittleren quadratische Abweichung

${\displaystyle \operatorname {MSE} ({\hat {m}}(x))=\operatorname {E} \left(({\hat {m}}(x)-m(x))^{2}\right)}$

bzw. deren Approximation. Die Approximation enthält jedoch die zweite Ableitung der unbekannten Regressionsfunktion ${\displaystyle m''(x)}$ sowie die unbekannte Dichtefunktion ${\displaystyle f_{X}(x)}$ und deren Ableitung. Stattdessen wird die datenbasierten gemittelte quadratische Abweichung

${\displaystyle \operatorname {ASE} ({\hat {m}}(x))={\frac {1}{n}}\sum _{i=1}^{n}({\hat {m}}(x)-y_{i})^{2}}$

minimiert. Da zur Schätzung von ${\displaystyle {\hat {m}}(x)}$ der Wert von ${\displaystyle y_{i}}$ genutzt wird, führt eine Bandweite ${\displaystyle h=0}$ zu einem ${\displaystyle \operatorname {ASE} ({\hat {m}}(x))=0}$ (Resubstitution Schätzung). Daher wird eine Leave-One-Out-Kreuzvalidierung durchgeführt, d. h. zur Berechnung des Schätzwertes ${\displaystyle {\hat {m}}(x_{i})}$ werden alle Beobachtungen herangezogen außer der i-ten. Damit wird der ${\displaystyle \operatorname {ASE} ({\hat {m}}(x))}$ für verschiedene Bandweiten berechnet. Die Bandweite, die einen minimalen ASE ergibt, wird dann zur Schätzung der unbekannten Regressionsfunktion genommen.

Konfidenzbänder

Nach der Schätzung der Regressionsfunktion ${\displaystyle {\hat {m}}(x)}$ stellt sich die Frage, wie weit diese von der wahren Funktion ${\displaystyle m(x)}$ abweicht. Die Arbeit von Bickel und Rosenblatt (1973)[3] liefert zwei Theoreme für punktweise Konfidenzbänder und gleichmäßige Konfidenzbänder.

Neben der Information über die Abweichung zwischen ${\displaystyle {\hat {m}}(x)}$ und ${\displaystyle m(x)}$ liefern die Konfidenzbänder einen Hinweis darauf, ob ein mögliches parametrisches Regressionsmodell, z. B. eine lineare Regression, zu den Daten passt. Liegt der geschätzte Verlauf der Regressionsfunktion des parametrischen Regressionsmodells außerhalb der Konfidenzbänder, so ist dies ein Hinweis darauf, dass das parametrische Regressionsmodell nicht zu den Daten passt. Ein formaler Test ist mit Hilfe von Bootstrapping-Verfahren möglich.

Lineare Regression (schwarz) und Nadaraya-Watson-Schätzer (rot) mit optimaler Bandweite und punktweisen 95%-Konfidenzband.

Punktweise Konfidenzbänder: Unter bestimmten Voraussetzungen konvergiert i​n Verteilung

${\displaystyle n^{2/5}\left({\hat {m}}(x)-m(x)\right)\longrightarrow {\mathcal {N}}(B(x),V(x))}$

mit ${\displaystyle h=cn^{1/5}}$, ${\displaystyle B(x)=c\mu _{2}(K)\left({\tfrac {m''(x)}{2}}+{\tfrac {m'(x)f'_{X}(x)}{f_{X}(x)}}\right)}$ und ${\displaystyle V(x)={\tfrac {\sigma (x)|K|_{2}^{2}}{cf_{X}(x)}}}$.

Wenn die Bandweite klein genug ist, dann kann die asymptotische Verzerrung ${\displaystyle B(x)}$ vernachlässigt werden gegen die asymptotische Varianz ${\displaystyle V(x)}$. Damit können approximative ${\displaystyle 1-\alpha }$ Konfidenzbänder berechnet werden

${\displaystyle {\hat {m}}(x)\pm z_{1-\alpha /2}{\sqrt {\frac {|K|_{2}^{2}{\hat {\sigma }}^{2}(x)}{nh{\hat {f}}_{X}(x)}}}}$

mit ${\displaystyle z_{1-\alpha /2}}$ das ${\displaystyle 1-\alpha /2}$ Quantil der Standardnormalverteilung. Die unbekannte Dichte ${\displaystyle f_{x}(x)}$ wird dabei mit einer Kerndichteschätzung ${\displaystyle {\hat {f}}_{X}(x)}$ geschätzt und ${\displaystyle \sigma ^{2}(x)}$ mit

${\displaystyle {\hat {\sigma }}^{2}(x)={\frac {1}{n}}\sum _{i=1}^{n}W_{hi}(x)\left(y_{i}-{\hat {m}}(x)\right)^{2}}$.

Die Grafik rechts z​eigt den Nadaraya-Watson-Schätzer m​it punktweisen 95% Konfidenzband (rote Linien). Die schwarze lineare Regressionsgerade l​iegt in verschiedenen Bereichen deutlich außerhalb d​er Konfidenzbandes. Dies i​st ein Hinweis darauf, d​ass ein lineares Regressionsmodell h​ier nicht angemessen ist.

Gleichmäßige Konfidenzbänder: Unter etwas stärkeren Voraussetzungen als zuvor und mit ${\displaystyle x\in [0;1]}$, ${\displaystyle h=n^{-\kappa }}$ mit ${\displaystyle 1/5<\kappa <1/2}$ und für Kerne mit Träger in ${\displaystyle [-1;1]}$ konvergiert

${\displaystyle P\left(|{\hat {m}}(x)-m(x)|\leq z_{n,\alpha }{\sqrt {\frac {|K|_{2}^{2}{\hat {\sigma }}^{2}(x)}{nh{\hat {f}}_{X}(x)}}}\right)\longrightarrow 1-\alpha }$

mit

${\displaystyle z_{n,\alpha }={\sqrt {{\frac {1}{\sqrt {2\kappa \log(n)}}}\left(\log \left({\frac {1}{2\pi }}{\frac {|K'|_{2}}{|K|_{2}}}\right)^{1/2}-\log \left(-{\frac {1}{2}}\log(1-\alpha )\right)\right)+{\sqrt {2\kappa \log(n)}}}}}$.

Die Bedingung ${\displaystyle x\in [0;1]}$ ist keine Einschränkung, da die Daten ${\displaystyle x_{i}}$ erst auf das Intervall ${\displaystyle [0;1]}$ transformiert werden können. Danach wird das Konfidenzband berechnet und wieder zurücktransformiert auf die Originaldaten.

Gasser-Müller-Schätzer

Im Fixed-Design-Fall mit ${\displaystyle a=x_{1}\leq x_{2}\leq \dots \leq x_{n}=b}$ ist die Dichte ${\displaystyle f_{X}(x)}$ bekannt, muss also nicht geschätzt werden. Dies vereinfacht sowohl die Berechnungen als auch die mathematische Behandlung des Schätzers. Für diesen Fall wurde der Gasser-Müller-Schätzer definiert als[4]

${\displaystyle {\hat {m}}^{GM}(x)=\sum _{i=1}^{n}y_{i}W_{hi}^{GM}(x)}$

mit

${\displaystyle W_{hi}^{GM}(x)=n\int _{s_{i-1}}^{s_{i}}K_{h}(x-u)\,\mathrm {d} u}$

und ${\displaystyle s_{0}=a}$, ${\displaystyle s_{n+1}=b}$ und ${\displaystyle s_{i}=(x_{i}+x_{i-1})/2}$.

Eigenschaften

1. Der Gasser-Müller Schätzer i​st wie d​er Nadaraya-Watson-Schätzer e​in linearer Schätzer u​nd die Summe d​er Gewichtsfunktionen i​st eins.

2. Für d​ie mittlere quadratische Abweichung gilt:

${\displaystyle \operatorname {MSE} ({\hat {m}}^{GM}(x))\approx \underbrace {{\frac {h^{4}}{4}}\mu _{2}^{2}(K)(m''(x))^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}\|K\|_{2}^{2}} _{={\text{Varianz}}}}$.

Lokal polynomiale Kernregression

Lokale Approximationen für den Nadaraya-Watson-Schätzer (lokal konstant) und den lokal linearen Schätzer an ausgewählten Datenpunkten. Die Grafik ist eingeschränkt auf Bereich ${\displaystyle [1{,}5;5]}$ der x-Werte (also linker Rand der Daten), die Berechnungen wurden jedoch mit allen Daten durchgeführt.

Der Nadaraya-Watson Schätzer k​ann als Lösung d​es folgenden lokalen Minimierungsproblem geschrieben werden:

${\displaystyle \min _{\beta _{0}^{(0)}}\sum _{i=1}^{n}\left(y_{i}-\beta _{0}^{(0)}\right)^{2}K_{h}(x-x_{i})}$,

d .h. für jedes ${\displaystyle x}$ wird ein lokal konstanter Wert ${\displaystyle \beta _{0}^{(0)}}$ bestimmt, der gleich dem Wert des Nadaraya-Watson Schätzer ${\displaystyle {\hat {m}}(x)}$ an der Stelle ${\displaystyle x}$ ist.

Anstelle e​iner lokalen Konstanten k​ann auch e​in Polynom verwendet werden:

${\displaystyle \min _{\beta _{0}^{(p)},\dots ,\beta _{p}^{(p)}}\sum _{i=1}^{n}(y_{i}-\beta _{0}^{(p)}-\beta _{1}^{(p)}(x_{i}-x)-\dots -\beta _{p}^{(p)}(x_{i}-x)^{p})^{2}K_{h}(x-x_{i})}$,

d. h. der unbekannten Regressionswert wird durch ein lokales Polynom approximiert. Die lokal polynomiale Kernregression ${\displaystyle m_{p}(x)}$ ergibt sich an jeder Stelle durch

${\displaystyle m_{p}(x)={\hat {\beta }}_{0}^{(p)}}$.

Die Grafik rechts zeigt an ausgewählten Stellen ${\displaystyle x}$ die verwendeten lokalen Polynome. Der Nadaraya-Watson Schätzer (rot) nutzt lokal konstanten Funktionen ${\displaystyle \beta _{0}^{(0)}}$. Die lokal lineare Kernregression (blau) nutzt lokal lineare Funktionen ${\displaystyle \beta _{0}^{(1)}+\beta _{1}^{(1)}({\tilde {x}}-x)}$ an der Stelle ${\displaystyle x}$. Die ausgewählten Stellen ${\displaystyle x}$ sind in der Grafik mit Datenpunkten identisch. Die senkrechten grauen Linien verbinden die lokalen Polynome mit dem zugehörigen x-Wert (Datenpunkt). Der Schnittpunkt mit dem roten bzw. blauen Polynom ergibt den Schätzwert an der entsprechenden Stelle ${\displaystyle x}$ für den Nadaraya-Watson Schätzer und die lokal lineare Kernregression.

Vorteile und Eigenschaften

Die l​okal polynomiale Regression bietet gegenüber d​em Nadaraya-Watson Schätzer einige Vorteile:

• Im Allgemeinen wird das lokal konstante ${\displaystyle \beta _{0}^{(0)}}$ von Beobachtungswerten beeinflusst die sowohl links als auch rechts vom Wert ${\displaystyle x}$ liegen. An den Rändern funktioniert das jedoch nicht und dies führt zu Randeffekten (englisch boundary effects). Die lokal polynomiale Kernregression approximiert jedoch lokal mit einem Polynom und kann dieses Problem vermeiden.
• Um die ${\displaystyle v}$te Ableitung zu schätzen, könnte man einfach den Nadaraya-Watson entsprechend oft ableiten. Mit der lokal polynomialen Kernregression ergibt sich jedoch ein deutlich eleganterer Weg:

${\displaystyle m_{p}^{(v)}(x)=v!{\hat {\beta }}_{v}^{(p)}}$

Meist wird ${\displaystyle p=v+1}$ oder ${\displaystyle p=v+3}$ benutzt. Ungerade Ordnungen ${\displaystyle p}$ sind besser als gerade Ordnungen.

• Wie im Fall der linearen Regression und des Nadaraya-Watson-Schätzer kann auch die lokal polynomiale Kernregression auch als Linearkombination der ${\displaystyle y_{i}}$ mit Gewichtsfunktionen ${\displaystyle W_{hi}^{(p)}}$ geschrieben werden:

${\displaystyle {\hat {m}}_{p}(x)=\sum _{i=1}^{n}y_{i}W_{hi}^{(p)}(x)}$.

Schätzung der Regressionsparameter

Definiert m​an die folgenden Matrizen:

${\displaystyle {\mathcal {X}}={\begin{pmatrix}1&(x_{1}-x)&\cdots &(x_{1}-x)^{p}\\1&(x_{2}-x)&\cdots &(x_{2}-x)^{p}\\\vdots &\vdots &&\vdots \\1&(x_{n}-x)&\cdots &(x_{n}-x)^{p}\end{pmatrix}}}$, ${\displaystyle {\mathcal {Y}}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}}$

und

${\displaystyle {\mathcal {W}}={\begin{pmatrix}K_{h}(x-x_{1})&0&\cdots &0\\0&K_{h}(x-x_{2})&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &K_{h}(x-x_{n})\end{pmatrix}}}$

so ergeben sich die Schätzung der Regressionsparameter ${\displaystyle \beta =(\beta _{0}^{(p)},\dots ,\beta _{p}^{(p)})^{T}}$ als

${\displaystyle {\hat {\beta }}=\left({\mathcal {X}}^{T}{\mathcal {W}}{\mathcal {X}}\right)^{-1}{\mathcal {X}}^{T}{\mathcal {W}}{\mathcal {Y}}}$.

Die für d​ie Ableitung notwendigen Koeffizienten werden i​m Schätzverfahren a​lso automatisch m​it berechnet!

Um d​ie Schätzung praktisch durchzuführen, berechnet man

${\displaystyle S_{j}=\sum _{i=1}^{n}K_{h}(x-x_{i})(x_{i}-x)^{j}}$

${\displaystyle T_{j}=\sum _{i=1}^{n}K_{h}(x-x_{i})(x_{i}-x)^{j}y_{i}}$

und berechnet

${\displaystyle {\hat {\beta }}={\begin{pmatrix}S_{0}&S_{1}&\cdots &S_{p}\\S_{1}&S_{2}&\cdots &S_{p+1}\\\vdots &\vdots &\ddots &\vdots \\S_{p}&S_{p+1}&\cdots &S_{2p}\end{pmatrix}}^{-1}{\begin{pmatrix}T_{0}\\T_{1}\\\vdots \\T_{p}\end{pmatrix}}}$

Lokal lineare Kernregression

Verschiedene lokale Regressionsmethoden: Nadaraya-Watson (rot), Lokal-linear (blau) und LOWESS (grün) und lineare Regression (schwarz).

Eines der bekanntesten lokal linearen Regressionsmodelle (${\displaystyle p=1}$) ist der lokal gewichtete Regression-Streudiagramm-Glätter, abgekürzt mit LOESS oder veraltet LOWESS (englisch für locally weighted scatterplot smoothing, deutsch lokal gewichtete Streudiagrammglättung).[5] Der LOWESS ist jedoch keine lokal-lineare Kernregression, denn

• die Regressionsgewichte werden robust geschätzt und
• die Bandweite variiert mit ${\displaystyle x}$.

Die Grafik rechts z​eigt zwei verschiedene Methoden d​er Kernregression: Lokal konstant (rot, Nadaraya-Watson) u​nd lokal linear (blau). Insbesondere a​n den Rändern approximiert d​ie lokal lineare Kernregression d​ie Daten e​twas besser.

Die l​okal lineare Kernregression ergibt s​ich als

${\displaystyle {\hat {m}}_{1}(x)={\frac {T_{0}S_{2}-T_{1}S_{1}}{S_{0}S_{2}-S_{1}^{2}}}}$.

Die mittlere quadratische Abweichung d​er lokal linearen Regression ergibt sich, w​ie beim Nadaraya-Watson-Schätzer, als

${\displaystyle \operatorname {MSE} ({\hat {m}}_{1}(x))\approx \underbrace {h^{4}B^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}V} _{={\text{Varianz}}}}$

mit

${\displaystyle \operatorname {Bias} ^{2}({\hat {m}}_{1}(x))={\frac {h^{4}}{4}}\left(m''(x)\right)^{2}\mu _{2}^{2}(K)}$

und die Varianz ist identisch zur Varianz des Nadaraya-Watson-Schätzers ${\displaystyle \operatorname {Var} ({\hat {m}}(x))}$. Die einfachere Form der Verzerrung macht die lokal lineare Kernregression attraktiver für praktische Zwecke.

Einzelnachweise

1. Elizbar A. Nadaraya: On estimating regression. In: Theory of Probability and its Applications. Band 9, Nr. 1, 1964, S. 141–142, doi:10.1137/1109020.
2. Geoffrey S. Watson: Smooth Regression Analysis. In: Sankhyā: The Indian Journal of Statistics, Series A. Band 26, Nr. 4, Dezember 1964, S. 359–372.
3. Bickel, Rosenblatt (1973) On some global measures of the deviations of density function estimators, Annals of Statistics 1, S. 1071–1095
4. Theo Gasser, Hans-Georg Müller: Estimating Regression Functions and Their Derivatives by the Kernel Method. In: Scandinavian Journal of Statistics. Band 11, Nr. 3, 1984, S. 171–185.
5. W.S. Cleveland: Robust Locally Weighted Regression and Smoothing Scatterplots. In: Journal of the American Statistical Association. Band 74, Nr. 368, Dezember 1979, S. 829–836, JSTOR:2286407.

Literatur

• Jianqing Fan, Irene Gijbels: Local Polynomial Modelling and Its Applications. Chapman and Hall/CRC, 1996, ISBN 978-0-412-98321-4.
• Wolfgang Härdle, Marlene Müller, Stefan Sperlich, Axel Werwatz: Nonparametric and Semiparametric Models. Springer Verlag, Berlin, Heidelberg 2004, ISBN 978-3-540-20722-1 (hu-berlin.de).
• Tristen Hayfield, Jeffrey S. Racine: Nonparametric Econometrics: The np Package. In: Journal of Statistical Software. Band 27, Nr. 5, 2008 (jstatsoft.org).
• M.P. Wand, M.C. Jones: Kernel Smoothing. Chapman and Hall/CRC, 1994, ISBN 978-0-412-55270-0.