Verallgemeinerte Kleinste-Quadrate-Schätzung

In d​er Statistik i​st die Verallgemeinerte Kleinste-Quadrate-Schätzung (kurz VKQ-Schätzung), verallgemeinerte Methode d​er kleinsten Quadrate, k​urz VMKQ (englisch generalized l​east squares, k​urz GLS) e​ine Prozedur, u​m unbekannte wahre Regressionsparameter i​n einer linearen Regressionsgleichung, u​nter problematischen Voraussetzungen (vorliegen v​on Autokorrelation u​nd Heteroskedastizität), effizient z​u schätzen. Die VKQ-Methode k​ann benutzt werden, u​m bei e​inem Modell m​it einer allgemeinen Störgrößenstruktur zielführend e​ine lineare Regression durchzuführen. Eine verallgemeinerte Störgrößenstruktur l​iegt vor, w​enn ein bestimmter Grad a​n Korrelation zwischen d​en Residuen u​nd eine n​icht konstante Störgrößenvarianz zulässig sind. In diesen Fällen können d​ie gewöhnliche Kleinste-Quadrate-Schätzung u​nd die gewichtete Kleinste-Quadrate-Schätzung statistisch ineffizient s​ein oder s​ogar zu falschen Resultaten d​er statistischen Inferenz führen. Aus diesem Grund wird, u​m valide Resultate d​er statistischen Inferenz z​u erhalten, e​ine Transformation d​es klassischen linearen Modells durchgeführt, d​urch welche d​ie benötigten Annahmen für d​ie statistische Inferenz weiterhin erfüllt sind. Die VKQ-Methode minimiert i​m Gegensatz z​ur gewöhnlichen Methode d​er kleinsten Quadrate e​ine gewichtete Residuenquadratsumme. Sie w​urde von Alexander Aitken entwickelt u​nd 1934 veröffentlicht u​nd wird d​aher auch Aitken-Schätzung genannt.

Geschichte

Carl Friedrich Gauß

Alexander Aitken

Am Neujahrstag 1801 entdeckte d​er italienische Astronom Giuseppe Piazzi d​en Zwergplaneten Ceres. 40 Tage l​ang konnte e​r die Bahn verfolgen, d​ann verschwand Ceres hinter d​er Sonne. Im Laufe d​es Jahres versuchten v​iele Wissenschaftler erfolglos, anhand v​on Piazzis Beobachtungen d​ie Bahn z​u berechnen – u​nter der Annahme e​iner Kreisbahn, d​enn nur für solche konnten damals d​ie Bahnelemente a​us beobachteten Himmelspositionen mathematisch ermittelt werden. Der 24-jährige Gauß hingegen konnte a​uch elliptische Bahnen a​us drei Einzelbeobachtungen berechnen. Da a​ber deutlich m​ehr Bahnpunkte vorlagen, wandte e​r seine Methode d​er kleinsten Quadrate an, u​m so d​ie Genauigkeit z​u erhöhen. Als Franz Xaver v​on Zach u​nd Heinrich Wilhelm Olbers i​m Dezember 1801 d​en Kleinplaneten g​enau an d​em von Gauß vorhergesagten Ort wiederfanden, w​ar das n​icht nur e​in großer Erfolg für Gauß’ Methode: Piazzis Ruf, d​er aufgrund seiner n​icht zu e​iner Kreisbahn passen wollenden Bahnpunkte s​tark gelitten hatte, w​ar ebenfalls wiederhergestellt.[1]

Den Grundstein d​er verallgemeinerten Methode d​er kleinsten Quadrate l​egte Gauß s​chon 1795 i​m Alter v​on 18 Jahren. Basis w​ar eine Idee v​on Pierre-Simon Laplace, d​ie Beträge v​on Fehlern aufzusummieren, s​o dass s​ich die Fehler z​u Null addieren. Gauß n​ahm stattdessen d​ie Fehlerquadrate u​nd konnte d​ie Nullsummen-Anforderung a​n die Fehler weglassen. Unabhängig d​avon entwickelte d​er Franzose Adrien-Marie Legendre dieselbe Methode erstmals i​m Jahr 1805 a​m Schluss e​ines kleinen Werkes über d​ie Berechnung d​er Kometenbahnen[2] u​nd veröffentlichte e​ine zweite Abhandlung darüber i​m Jahr 1810. Von i​hm stammt d​er Name Méthode d​es moindres carrés (Methode d​er kleinsten Quadrate).

1809 publizierte Gauß d​ann im zweiten Band seines himmelsmechanischen Werkes Theoria m​otus corporum coelestium i​n sectionibus conicis s​olem ambientium (Theorie d​er Bewegung d​er Himmelskörper, welche i​n Kegelschnitten d​ie Sonne umlaufen) s​ein Verfahren,[3] inklusive d​er Normalgleichungen u​nd des Gaußschen Eliminationsverfahrens.[4] Dabei erwähnte er, d​ass er e​s schon v​or Legendre entdeckt u​nd benutzt habe, w​as zu e​inem Prioritätsstreit zwischen d​en beiden führte. Die Methode d​er kleinsten Quadrate w​urde nun schnell d​as Standardverfahren z​ur Behandlung v​on astronomischen o​der geodätischen Datensätzen.

Gauß benutzte d​ann das Verfahren intensiv b​ei seiner Vermessung d​es Königreichs Hannover d​urch Triangulation. 1821 u​nd 1823 erschien d​ie zweiteilige Arbeit s​owie 1826 e​ine Ergänzung z​ur Theoria combinationis observationum erroribus minimis obnoxiae (Theorie d​er den kleinsten Fehlern unterworfenen Kombination d​er Beobachtungen),[5] i​n denen Gauß e​ine Begründung liefern konnte, weshalb s​ein Verfahren i​m Vergleich z​u den anderen s​o erfolgreich war: Die Methode d​er kleinsten Quadrate i​st in e​iner breiten Hinsicht optimal, a​lso besser a​ls andere Methoden. Die genaue Aussage i​st als d​er Satz v​on Gauß-Markow bekannt, d​a die Arbeit v​on Gauß w​enig Beachtung f​and und schließlich i​m 20. Jahrhundert v​on Andrei Andrejewitsch Markow wiederentdeckt u​nd bekannt gemacht wurde. Die Theoria Combinationis enthält ferner wesentliche Fortschritte b​eim effizienten Lösen d​er auftretenden linearen Gleichungssysteme, w​ie das Gauß-Seidel-Verfahren u​nd die LR-Zerlegung.[6]

Schließlich veröffentlichte Alexander Aitken 1935 e​ine Arbeit, i​n der e​r das Konzept d​er verallgemeinerten kleinsten Quadrate u​nd den v​iel verwendeten verallgemeinerten kleinsten Quadrate-Schätzer einführte.[7] Ebenso bewies e​r dort, d​ass dieser v​on ihm eingeführte Schätzer Beste Lineare Erwartungstreue Schätzfunktion, k​urz BLES (englisch Best Linear Unbiased Estimator, kurz: BLUE) ist, d. h. i​n der Klasse d​er linearen erwartungstreuen Schätzern derjenige m​it der kleinsten Kovarianzmatrix ist. Aitken wendete außerdem d​ie statistischen Methoden a​uf die Theorie d​er linearen Modelle a​n und entwickelte d​ie Notation, d​ie man heutzutage a​ls Standard-Vektor-Matrix-Notation betrachtet.[8] Aitken veröffentlichte zusammen m​it einem seiner Studenten namens Harold Silverstone e​ine Arbeit, i​n der s​ie die untere Grenze d​er Varianz e​ines Schätzers einführten,[9] a​uch bekannt a​ls Cramér-Rao-Ungleichung. Im Gegensatz z​u Vorgängern f​and er e​inen effizienten Weg, u​m das Problem e​iner nicht konstanten Varianz u​nd korrelierten Störtermen z​u lösen. Die verallgemeinerte Kleinste-Quadrate-Schätzung b​aut auf d​er Gauß-Markov-Theorie a​uf und spielt i​mmer noch e​ine große Rolle i​n theoretischen u​nd praktischen Aspekten d​er statistischen Inferenz i​n verallgemeinerten linearen (multiplen) Regressionsmodellen.[10]

Ausgangslage

Da viele Variablen des Interesses nicht nur von einer unabhängigen Variablen abhängen, betrachten wir eine abhängige Variable, die durch mehrere unabhängige Variablen erklärt werden soll. Zum Beispiel ist die Gesamtproduktion einer Volkswirtschaft von dessen Kapitaleinsatz, Arbeitseinsatz und dessen Fläche abhängig. Solch eine multiple Abhängigkeit kommt der Realität viel näher und man gibt die Annahme der einfachen linearen Regression auf, bei der die Variable des Interesses nur von einer Variablen abhängt. Um solch eine multiple Abhängigkeit zu modellieren, betrachten wir als Ausgangslage ein typisches multiples lineares Regressionsmodell mit gegebenen Daten ${\displaystyle \{y_{t},x_{tk}\}_{t=1,\dots ,T,k=1,\dots ,K}}$ für ${\displaystyle T}$ statistische Einheiten. Hierbei ist zu beachten, dass wir zusätzlich zur Dimension der unabhängigen Variablen auch eine zeitliche Dimension integrieren, wodurch sich ein lineares Gleichungssystem ergibt was sich auch matriziell darstellen lässt. Der Zusammenhang zwischen der abhängigen Variablen und den unabhängigen Variablen kann wie folgt dargestellt werden

${\displaystyle y_{t}=x_{t1}\beta _{1}+x_{t2}\beta _{2}+\ldots +x_{tK}\beta _{K}+\varepsilon _{t}=\mathbf {x} _{t}^{\top }{\boldsymbol {\beta }}+\varepsilon _{t},\quad t=1,2,\dotsc ,T}$.

In Vektor-Matrix-Form auch

${\displaystyle {\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{T}\end{pmatrix}}_{(T\times 1)}\;=\;{\begin{pmatrix}x_{11}&x_{12}&\cdots &x_{1k}&\cdots &x_{1K}\\x_{21}&x_{22}&\cdots &x_{2k}&\cdots &x_{2K}\\\vdots &\vdots &\ddots &\vdots &\ddots &\vdots \\x_{T1}&x_{T2}&\cdots &x_{Tk}&\cdots &x_{TK}\end{pmatrix}}_{(T\times K)}\;\cdot \;{\begin{pmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{K}\end{pmatrix}}_{(K\times 1)}\;+\;{\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{T}\end{pmatrix}}_{(T\times 1)}}$

oder i​n kompakter Schreibweise

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$

Hier stellt ${\displaystyle {\boldsymbol {\beta }}}$ einen Vektor von unbekannten Regressionsparametern dar, die mithilfe der Daten geschätzt werden müssen. Des Weiteren wird angenommen, dass die Störgrößen im Mittel null sind: ${\displaystyle \mathbb {E} ({\boldsymbol {\boldsymbol {\varepsilon }}})=\mathbf {0} }$, was bedeutet, dass wir davon ausgehen können, dass unser Modell im Mittel korrekt ist. Für gewöhnlich stellt man an ein solches Modell die Anforderung, dass die Gauß-Markow-Annahmen gelten sollen. Dies soll hier aber nicht der Fall sein, da man nicht opportunistisch von problematischen Voraussetzungen ausgeht. Aus diesem Grund wird ein Modell betrachtet, bei dem eine allgemeine Störgrößenstruktur zulässig ist.

Das verallgemeinerte lineare Regressionsmodell (VLR)

Weiterhin wird für das Modell angenommen, dass der Erwartungswert von ${\displaystyle \mathbf {y} }$ linear in ${\displaystyle {\boldsymbol {\beta }}}$ ist. Die Matrix ${\displaystyle \mathbf {\Phi } }$ stellt die Kovarianzmatrix der Störgrößen dar, wobei ${\displaystyle \mathbf {\Psi } }$ als eine beliebige bekannte reelle nichtsinguläre positiv definite ${\displaystyle T\times T}$ Matrix angenommen wird und ${\displaystyle \sigma ^{2}}$ ein noch unbekannter Skalar darstellt. Die Besonderheit im Gegensatz zur gewöhnlichen Methode der kleinsten Quadrate ist, dass Heteroskedastizität (d. h., dass die Varianz der Störterme bedingt auf die erklärenden Variablen nicht konstant ist) und Autokorrelation (d. h. ein Korrelieren der Störterme) erlaubt ist:

1. Die Varianz der Störgrößen könnte heteroskedastisch sein:

   ${\displaystyle \operatorname {Cov} [{\boldsymbol {\varepsilon }}]=\mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi } \neq \sigma ^{2}\mathbf {I} _{T}}$

   Wenn die Varianz der Residuen (und somit die Varianz der erklärten Variablen selbst) für alle Ausprägungen der Regressoren nicht unterschiedlich ist, liegt Homoskedastizität ((Residuen-)Varianzhomogenität) vor. Falls diese Annahme verletzt ist spricht man von Heteroskedastizität.

2. Die Störgrößen könnten voneinander nicht unabhängige Zufallsvariablen sein, d. h. autokorreliert sein:

   ${\displaystyle \forall \;t\neq s:\mathbb {E} (\varepsilon _{t}\varepsilon _{s})\neq 0}$.

   D. h., die Annahme der Abwesenheit von Autokorrelation könnte verletzt sein.

Für die Matrix ${\displaystyle {\boldsymbol {\Phi }}}$ gibt es je nach Kontext unterschiedliche Definitionen. Bei Vorliegen von Heteroskedastizität nimmt sie folgende Form an[11]

${\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}{\boldsymbol {\Psi }}=\sigma ^{2}{\begin{pmatrix}w_{11}&0&\cdots &0\\0&w_{22}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &w_{TT}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}^{2}&0&\cdots &0\\0&\sigma _{22}^{2}&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma _{TT}^{2}\end{pmatrix}}}$

und b​ei Vorliegen v​on Autokorrelation d​ie Form

${\displaystyle {\boldsymbol {\Phi }}=\sigma ^{2}{\boldsymbol {\Psi }}=\sigma ^{2}{\begin{pmatrix}1&a_{1}&\cdots &a_{T-1}\\a_{1}&1&\cdots &a_{T-2}\\\vdots &\vdots &\ddots &\vdots \\a_{T-1}&a_{T-2}&\cdots &1\end{pmatrix}}}$.

Ein Modell der Form ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$ mit ${\displaystyle {\boldsymbol {\varepsilon }}\sim (\mathbf {0} ,\sigma ^{2}{\boldsymbol {\Psi }})}$, wobei ${\displaystyle \operatorname {Rang} ({\boldsymbol {\Psi }})=T}$ heißt verallgemeinertes (multiples) lineares Regressionsmodell (mit fixen Regressoren), kurz VLR.[12] Es ist dabei zu beachten, dass sich ${\displaystyle \sigma ^{2}}$ immer als konstanter Faktor aus der Matrix ziehen lässt. Das Skalar ${\displaystyle \sigma ^{2}}$ stellt einen beliebigen konstanten Proportionalitätsfaktor[13] dar. Manchmal ist es nützlich – insbesondere bei Heteroskedastizität – anzunehmen, dass ${\displaystyle \sigma ^{2}=1}$. Die Annahme ist äquivalent zur Aussage, dass die Kovarianzmatrix ${\displaystyle \mathbf {\Psi } }$ vollständig bekannt ist. Wenn man ${\displaystyle \mathbf {\Phi } =\sigma ^{2}\mathbf {\Psi } }$ schreibt, wobei ${\displaystyle \mathbf {\Psi } }$ bekannt ist und ${\displaystyle \sigma ^{2}}$ unbekannt ist dann sagt man damit, dass es nicht notwendig ist anzunehmen, dass die Kovarianzmatrix ${\displaystyle \mathbf {\Phi } }$ vollständig bekannt sein muss; es ist ausreichend anzunehmen, dass ${\displaystyle \mathbf {\Psi } }$ bekannt ist (die Matrix die man erhält, nachdem man einen beliebigen unbekannten Skalierungsparameter ${\displaystyle \sigma ^{2}}$ herauszieht).[14] Man kann das verallgemeinerte lineare Regressionsmodell mit heteroskedastischer Störgrößenkovarianzmatrix ${\displaystyle \mathbf {\Phi }$ :=\sigma ^{2}\mathbf {\Psi } } durch geeignete Wahl von ${\displaystyle \mathbf {\Psi } }$ auf das gewöhnliche multiple Regressionsmodell mit homoskedastischer Störgrößenkovarianzmatrix ${\displaystyle \mathbf {\Sigma }$ :=\sigma ^{2}\mathbf {I} } zurückführen.

Die Auswirkungen der Anwendung der gewöhnlichen Methode der kleinsten Quadrate (KQ)

Auswirkungen auf Eigenschaften der Punktschätzer

Als einen ersten naiven Ansatz nehmen wir an, der Kleinste-Quadrate-Schätzer ${\displaystyle \mathbf {b} }$, der durch die Minimierung der Residuenquadratsumme gewonnen wird, wäre ein zielführender Kandidat für den Punktschätzer für ${\displaystyle {\boldsymbol {\beta }}}$ bei einem Modell mit einer allgemeinen Störgrößenstruktur; dann ist der Residualvektor gegeben durch ${\displaystyle {\boldsymbol {\varepsilon }}=\mathbf {y} -\mathbf {X} \mathbf {b} }$. Es wird jedoch ersichtlich, dass der Punktschätzer ${\displaystyle {\boldsymbol {\beta }}}$ für bei einem Modell mit allgemeiner Störgrößenstruktur zwar erwartungstreu, aber nicht mehr effizient ist. Beim naiven Ansatz ist die Kovarianzmatrix nicht mehr gleich ${\displaystyle \sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$, sondern sie ist gegeben durch

${\displaystyle {\begin{aligned}\operatorname {Cov} ({\hat {\boldsymbol {\beta }}})&=\mathbb {E} \left((\mathbf {b} -\mathbb {E} (\mathbf {b} ))(\mathbf {b} -\mathbb {E} (\mathbf {b} ))^{\top }\right)=\mathbb {E} \left((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top }\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\right)=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbb {E} (\mathbf {\boldsymbol {\varepsilon }} {\boldsymbol {\varepsilon }}^{\top })\mathbf {\mathbf {X} } (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\Phi }}\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }(\sigma ^{2}{\boldsymbol {\Psi }})\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}\\&\neq \sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}.\end{aligned}}}$

Dies resultiert vor allem daraus, dass eine nichtkonstante Störgrößenvarianz (Heteroskedastizität) zulässig ist. Wenn man nämlich davon ausgeht, dass keine Heteroskedastizität gegeben ist (${\displaystyle {\boldsymbol {\Psi }}=\mathbf {I} }$), dann ergibt sich wieder die Kovarianzmatrix der gewöhnlichen Methode der kleinsten Quadrate (${\displaystyle \operatorname {Cov} (\mathbf {b} )=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$).

Bei Vorliegen e​iner nichtskalaren Einheits-Kovarianzmatrix lässt s​ich zeigen, d​ass die Eigenschaft d​er Erwartungstreue d​es Kleinste-Quadrate-Schätzers weiterhin erfüllt ist, jedoch i​st sie n​icht mehr für d​ie Varianz d​er Störgrößen erfüllt. Für d​ie Varianz d​er Störgrößen g​ilt nämlich, d​ass sie k​eine Erwartungstreue Schätzung d​er Varianz d​er Störgrößen ist[15]

${\displaystyle \mathbb {E} ({\hat {\sigma }}^{2})=\sigma ^{2}{\frac {\operatorname {Spur} ({\boldsymbol {\Psi }}(\mathbf {I} -(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }))}{T-K}}\neq \sigma ^{2}}$.

Sie ist somit ein verzerrter Schätzer für die wahre Varianz ${\displaystyle \sigma ^{2}}$.[16]

Auswirkungen auf Hypothesentests

Eine wichtige Auswirkung ergibt sich für die Intervallschätzung und Prozeduren der Hypothesentests. Die Resultate der statistischen Inferenz sind nicht länger gültig, da die oben dargestellten Resultate für die Kovarianzmatrix von ${\displaystyle \mathbf {b} }$ implizieren, dass wir fälschlicherweise ${\displaystyle {\hat {\sigma }}^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$ benutzen um ${\displaystyle \sigma ^{2}(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {\Psi }}\mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$ zu schätzen. Da dies ein verzerrter Schätzer ist, führt dies zu nicht validen Resultaten der statistischen Inferenz. Eine weitere Konsequenz für die Inferenz ist, dass die benötigte Teststatistik für allgemeine lineare Hypothesen nicht mehr F-verteilt ist. Aus diesem Grund sollte man die Intervallschätzung auf dem verallgemeinerten Kleinste-Quadrate-Schätzer aufbauen[17] oder robuste Standardfehler à la Eicker-Huber-White Standardfehler benutzen.

Gewinnung des verallgemeinerten Kleinste-Quadrate-Schätzers (VKQ)

Aus obigen ersten naiven Ansatz wird deutlich, dass die Methode der kleinsten Quadrate bei einer allgemeinen Störgrößenstruktur nicht zielführend ist, da sie zu Ineffizienzen führt. Aus diesem Grund besteht die Notwendigkeit diese Ineffizienzen zu beseitigen, indem das Verfahren der verallgemeinerten Methode der kleinsten Quadrate angewandt wird. Die verallgemeinerte Methode der kleinsten Quadrate schätzt ${\displaystyle {\boldsymbol {\beta }}}$, indem der quadrierte Mahalanobis-Abstand des Residualvektors minimiert wird:

${\displaystyle {\boldsymbol {\hat {\beta }}}={\underset {\mathbf {b} }{\rm {arg\,min}}}\,(\mathbf {y} -\mathbf {X} \mathbf {b} )^{\top }\,\mathbf {\Psi } ^{-1}(\mathbf {y} -\mathbf {X} \mathbf {b} )}$.[18][19]

Da der Ausdruck eine quadratische Form in ${\displaystyle \mathbf {b} }$ ist, ist das Resultat der Minimierung:

${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}=\left(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {y} }$.

Der Schätzer ${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}}$ heißt verallgemeinerter Kleinste-Quadrate-Schätzer, kurz VKQ-Schätzer oder Aitken-Schätzer (englisch generalized least squares estimator, kurz: GLSE). Die Kovarianzmatrix des verallgemeinerten Kleinste-Quadrate-Schätzers ist gegeben durch:

${\displaystyle \mathbf {\Sigma } _{{\hat {\boldsymbol {\beta }}}_{\text{VKQ}}}=\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}}$.

Der durch das Minimierungsproblem gegebene Punktschätzer für ${\displaystyle {\boldsymbol {\beta }}}$ ist Beste Lineare Erwartungstreue Schätzfunktion (Best Linear Unbiased Estimator). Ein anderer Ansatz um den VKQ-Schätzer zu bekommen ist durch eine Transformation des multiplen linearen Modells.

Transformation des multiplen linearen Modells

Die VKQ-Methode ist äquivalent zu der Anwendung einer linearen Transformation auf die gewöhnliche Methode der kleinsten Quadrate (englisch ordinary least squares, kurz OLS). Der Transformationsfaktor ${\displaystyle \mathbf {\Psi } ={\boldsymbol {P^{-1}}}{\boldsymbol {P^{-1}}}^{\top }}$ kann durch die Cholesky-Zerlegung gewonnen werden. Anschließend werden beide Seiten des Modells ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$ mit ${\displaystyle {\boldsymbol {P}}}$ multipliziert. Das verallgemeinerte lineare Modell lässt sich über die Transformationen ${\displaystyle \mathbf {y} ^{*}={\boldsymbol {P}}\mathbf {y} }$, ${\displaystyle \mathbf {X} ^{*}={\boldsymbol {P}}\mathbf {X} }$, und ${\displaystyle {\boldsymbol {\varepsilon }}^{*}={\boldsymbol {P}}{\boldsymbol {\varepsilon }}}$ in ein klassisches lineares Modell überführen

${\displaystyle \mathbf {y} ^{*}=\mathbf {X} ^{*}{\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}^{*}}$.

Eigenschaften der transformierten Störgrößen

Weiterhin stellt sich die Frage, was die transformierten Störgrößen im Mittel ergeben. In diesem Modell gilt für die transformierten Störgrößen ${\displaystyle {\boldsymbol {\varepsilon }}^{*}}$ ebenfalls, dass sie im Mittel Null ergeben, da

${\displaystyle \mathbb {E} ({\boldsymbol {\varepsilon }}^{*})=\mathbb {E} ({\boldsymbol {P}}{\boldsymbol {\varepsilon }})={\boldsymbol {P}}\mathbb {E} ({\boldsymbol {\varepsilon }})=\mathbf {0} }$.

Die Eigenschaft gewährleistet, d​ass man i​m Mittel d​as wahre Modell schätzt u​nd nicht e​ine verzerrte Form. Für d​ie Kovarianzmatrix d​er transformierten Störgrößen gilt

${\displaystyle \operatorname {Cov} ({\boldsymbol {\varepsilon }}^{*})=\operatorname {Cov} ({\boldsymbol {P}}{\boldsymbol {\varepsilon }})={\boldsymbol {P}}\operatorname {Cov} ({\boldsymbol {\varepsilon }}){\boldsymbol {P}}^{\top }=\sigma ^{2}{\boldsymbol {P}}\mathbf {\Psi } {\boldsymbol {P}}^{\top }}$.

Damit die Homoskedastizitätsannahme erfüllt ist, wird ${\displaystyle {\boldsymbol {P}}\mathbf {\Psi } {\boldsymbol {P}}^{\top }}$ so bestimmt, dass ${\displaystyle {\boldsymbol {P}}\mathbf {\Psi } {\boldsymbol {P}}^{\top }=\mathbf {I} }$, wobei ${\displaystyle \mathbf {I} }$ die Einheitsmatrix darstellt (weil ${\displaystyle \mathbf {\Psi } }$ eine positiv definite Matrix ist existiert immer eine Matrix mit der Eigenschaft ${\displaystyle {\boldsymbol {P}}\mathbf {\Psi } {\boldsymbol {P}}^{\top }=\mathbf {I} }$). Also ist für das transformierte Modell bei dieser Festlegung die Homoskedastizitätsannahme ${\displaystyle \operatorname {Cov} [{\boldsymbol {\varepsilon }}^{*}]=\sigma ^{2}\mathbf {I} }$ und auch alle anderen Gauß-Markov-Annahmen erfüllt. Dadurch, dass man ${\displaystyle {\boldsymbol {P}}\mathbf {\Psi } {\boldsymbol {P}}^{\top }=\mathbf {I} }$ setzt folgt[20]

${\displaystyle \mathbf {\Psi } =({\boldsymbol {P}}^{-1})(({\boldsymbol {P}}^{\top })^{-1})\Leftrightarrow \mathbf {\Psi } ^{-1}={\boldsymbol {P}}^{\top }{\boldsymbol {P}}}$.

Dieses Resultat w​ird später n​och für d​ie Berechnung d​es VKQ-Schätzers benötigt. Da d​as transformierte Modell d​ie Gauß-Markow-Annahmen erfüllt, m​uss der Kleinste-Quadrate-Schätzer dieses Modells gegeben s​ein durch

${\displaystyle {\hat {\boldsymbol {\beta }}}=(({\boldsymbol {P}}\mathbf {X} )^{\top }{\boldsymbol {P}}\mathbf {X} )^{-1}({\boldsymbol {P}}\mathbf {X} )^{\top }({\boldsymbol {P}}\mathbf {y} )=(\mathbf {X^{*}} ^{\top }\mathbf {X} ^{*})^{-1}\mathbf {X^{*}} ^{\top }\mathbf {y} ^{*}}$

und b​este lineare erwartungstreue Schätzfunktion (BLES) sein. Anders ausgedrückt

${\displaystyle {\hat {\boldsymbol {\beta }}}=(\mathbf {X} ^{\top }{\boldsymbol {P}}^{\top }{\boldsymbol {P}}\mathbf {X} )^{-1}\mathbf {X} ^{\top }{\boldsymbol {P}}^{\top }{\boldsymbol {P}}\mathbf {y} }$.

Mithilfe des obigen Resultates für ${\displaystyle \mathbf {\Psi } ^{-1}}$ ergibt sich schließlich bei diesem Ansatz ebenfalls der VKQ-Schätzer

${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}=\left(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {y} }$.

Man k​ann zeigen, d​ass multiplizieren d​er Störgrößenkovarianzmatrix m​it einem Skalar d​en Wert d​es VKQ-Schätzer n​icht ändert:

${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}=\left(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {y} =\left(\mathbf {X} ^{\top }\mathbf {\Phi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {\Phi } ^{-1}\mathbf {y} }$.

gilt.

Störgrößen-Kovarianzmatrix

Die Kovarianzmatrix d​er Störgrößen entspricht b​ei der verallgemeinerten Kleinste-Quadrate-Schätzung

${\displaystyle {\hat {\sigma }}_{\text{VKQ}}^{2}={\frac {(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}_{\text{VKQ}})^{\top }\mathbf {\Psi } ^{-1}(\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}_{\text{VKQ}})}{T-K}}}$.

Maximum-Likelihood-Schätzung (MLS)

Im Falle e​iner nichtskalaren Kovarianzmatrix, w​ie sie b​ei der verallgemeinerten Methode d​er kleinsten Quadrate z​um Einsatz kommt, lässt s​ich die gemeinsame Wahrscheinlichkeitsdichte a​us einer Maximum-Likelihood-Schätzung e​ines klassischen linearen Modells d​er Normalregression schreiben als:

${\displaystyle \prod _{t=1}^{T}f_{t}(y_{t}\mid \mathbf {x} _{t},{\boldsymbol {\beta }},\sigma ^{2})=f(\mathbf {y} \mid \mathbf {X} ,{\boldsymbol {\beta }},\sigma ^{2})=(2\pi \sigma ^{2})^{-{\frac {T}{2}}}|\mathbf {\Psi } |^{-{\frac {1}{2}}}\operatorname {exp} \left\{-{\frac {\left(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right)^{\top }\mathbf {\Psi } ^{-1}\left(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right)}{2\sigma ^{2}}}\right\}}$,

wobei ${\displaystyle |\mathbf {\Psi } |}$ die Determinante von ${\displaystyle \mathbf {\Psi } }$ darstellt.

Erwartungstreue

Der VKQ-Schätzer i​st erwartungstreu, d. h., e​r trifft i​m Mittel d​en wahren Parametervektor, d​a sein Erwartungswert gleich d​em wahren Wert entspricht

${\displaystyle {\begin{aligned}\mathbb {E} ({\hat {\boldsymbol {\beta }}}_{\text{VKQ}})&=\mathbb {E} ((\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {y} )\\&=\mathbb {E} ((\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}))\\&={\boldsymbol {\beta }}+\mathbb {E} ((\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}{\boldsymbol {\varepsilon }})\\&={\boldsymbol {\beta }}.\end{aligned}}}$

Dies impliziert, d​ass keine Verzerrung vorhanden ist. Somit i​st die Verteilung d​es VKQ-Schätzers gegeben durch

${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}\sim {\mathcal {N}}({\boldsymbol {\beta }},\sigma ^{2}(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1})}$ .

Beste lineare erwartungstreue Schätzfunktion (BLES)

Es lässt sich zeigen, dass der VKQ-Schätzer eine beste lineare erwartungstreue Schätzfunktion ist. Ein Schätzer ist „besser“ als ein anderer, wenn er eine kleinere Varianz aufweist, da die Varianz ein Maß für die Unsicherheit ist. Somit ist der beste Schätzer dadurch gekennzeichnet, dass er eine minimale Varianz und somit die geringste Unsicherheit aufweist. Für alle anderen linearen erwartungstreuen Schätzer ${\displaystyle {\hat {\beta }}_{j}}$ gilt somit

${\displaystyle \operatorname {Var} ({{\hat {\beta }}_{\text{VKQ}}}_{i})\leq \operatorname {Var} ({\hat {\beta }}_{j})}$.

Da d​er VKQ-Schätzer BLES ist, bedeutet dies, d​ass er mindestens s​o gut w​ie der gewöhnliche KQ-Schätzer s​ein muss. Die Effizienz dieses Ansatzes w​ird ersichtlich, w​eil die Differenz

${\displaystyle D=\operatorname {Cov} (\mathbf {b} )-\operatorname {Cov} ({\hat {\boldsymbol {\beta }}})=\sigma ^{2}((\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } \mathbf {X} (\mathbf {X} ^{\top }\mathbf {X} )^{-1}-(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1})=\sigma ^{2}\mathbf {A} \mathbf {\Psi } \mathbf {A} ^{\top }}$

positiv semidefinit ist, was bedeutet, dass die Kovarianzmatrix des KQ-Ansatzes (bei Vorliegen von Heteroskedastizität (${\displaystyle \mathbf {\Phi } =\sigma ^{2}\mathbf {\Psi } }$)) die Variation überschätzt und somit „größer“ als die durch die verallgemeinerte Kleinste-Quadrate-Schätzung gewonnene Kovarianzmatrix ist (siehe auch Kovarianzmatrix). Der KQ-Schätzer entspricht dem VKQ-Schätzer wenn die Differenz ${\displaystyle D}$ gleich die Nullmatrix ist, also wenn:

${\displaystyle A:=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }-(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}=\mathbf {0} }$.[21]

Asymptotische Eigenschaften

Eine asymptotische Eigenschaft ist, dass die über ${\displaystyle T}$ Summanden gemittelte Produktsummenmatrix in Wahrscheinlichkeit zu einer positiv definiten, endlichen, nichtsingulären Matrix ${\displaystyle {\boldsymbol {V}}}$ konvergiert:

${\displaystyle \operatorname {plim} \left({\frac {\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} }{T}}\right)={\boldsymbol {V}}}$.

Aus dieser Eigenschaft f​olgt die Konsistenz d​es VKQ-Schätzers u​nd der Varianz d​es VKQ-Schätzers u​nd die Eigenschaft, d​ass der Schätzer i​n Verteilung g​egen eine Normalverteilung konvergiert. Die letzte Eigenschaft i​st für d​ie statistische Inferenz v​on Bedeutung.

Konsistenz

Der VKQ-Schätzer ist unter den bisherigen Annahmen erwartungstreu ${\displaystyle \mathbb {E} ({\hat {\boldsymbol {\beta }}}_{\text{VKQ}})={\boldsymbol {\beta }}}$, wobei die Stichprobengröße ${\displaystyle T}$ keinen Einfluss auf die Unverzerrtheit hat (schwaches Gesetz der großen Zahlen). Ein Schätzer ist genau dann konsistent für den unbekannten Parameter, wenn er in Wahrscheinlichkeit gegen den wahren Wert konvergiert. Die Eigenschaft der Konsistenz bezieht also das Verhalten des Schätzers mit ein, wenn die Anzahl der Beobachtungen größer wird.

Für die Folge ${\displaystyle ({{\hat {\boldsymbol {\beta }}}_{\text{VKQ}}}_{t})_{t\in \mathbb {N} }}$ gilt unter oben genanntem asymptotischem Resultat, dass sie in Wahrscheinlichkeit gegen den wahren Parametervektor konvergiert

${\displaystyle \forall \epsilon >0\colon \lim _{t\to \infty }\mathbb {P} (|{{\hat {\boldsymbol {\beta }}}_{\text{VKQ}}}_{t}-{\boldsymbol {\beta }}|\geq \epsilon )={\boldsymbol {0}}\Leftrightarrow {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}\;{\stackrel {p}{\longrightarrow }}\;\mathbf {\boldsymbol {\beta }} }$,

oder vereinfacht ausgedrückt:

${\displaystyle \operatorname {plim} ({\hat {\boldsymbol {\beta }}}_{\text{VKQ}})={\boldsymbol {\beta }}}$

Der VKQ-Schätzer ist konsistent für ${\displaystyle {\boldsymbol {\beta }}}$. Die Eigenschaft besagt, dass mit steigender Stichprobengröße die Wahrscheinlichkeit, dass der Schätzer ${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}}$ vom wahren Parameter ${\displaystyle {\boldsymbol {\beta }}}$ abweicht, sinkt. Für die Varianz der VKQ-Schätzers gilt ebenfalls, dass sie konsistent für ${\displaystyle \sigma ^{2}}$ ist:

${\displaystyle \operatorname {plim} ({\hat {\sigma }}_{\text{VKQ}}^{2})=\sigma ^{2}}$.

Konvergenz gegen Normalverteilung

Eine weitere Eigenschaft der VKQ-Schätzers ist, dass ${\displaystyle {\sqrt {T}}({\hat {\boldsymbol {\beta }}}_{\text{VKQ}}-{\boldsymbol {\beta }})}$ in Verteilung gegen eine Normalverteilung konvergiert

${\displaystyle {\sqrt {T}}({\hat {\boldsymbol {\beta }}}_{\text{VKQ}}-{\boldsymbol {\beta }})\ {\xrightarrow {d}}\ {\mathcal {N}}\!\left({\boldsymbol {0}},{\sigma }^{2}{\boldsymbol {V}}^{-1}\right)}$.

Diese asymptotische Normalität i​st vor a​llem für d​ie statistische Inferenz v​on Bedeutung.

Prädiktionsmatrix

Die Prädiktionsmatrix d​es VKQ-Schätzers i​st gegeben durch

${\displaystyle P=\mathbf {X} \left(\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\mathbf {\Psi } ^{-1}}$

Es kann gezeigt werden, dass ${\displaystyle P^{2}=P\cdot P=P}$, nicht mehr symmetrisch ist.

Durchführbare verallgemeinerte KQ-Schätzung (GVKQ)

In der Praxis ist die Kovarianzmatrix der Störgrößen ${\displaystyle \mathbf {\Psi } ^{-1}}$ oft unbekannt, sodass die verallgemeinerte Methode der kleinsten Quadrate nicht durchführbar ist. Ein konsistenter Schätzer für ${\displaystyle \mathbf {\Psi } ^{-1}}$ ist gegeben durch ${\displaystyle {\hat {\mathbf {\Psi } }}^{-1}}$.[22] In diesem Fall, bei dem die Matrix ${\displaystyle \mathbf {\Psi } ^{-1}}$ geschätzt werden muss, spricht man auch von der anwendbaren bzw. durchführbaren verallgemeinerten KQ-Schätzung (englisch Feasible Generalized Least Squares, kurz FGLS) oder auch von der geschätzten verallgemeinerten KQ-Schätzung bzw. GVKQ-Schätzung (englisch Estimated Generalised Least Squares, kurz EGLS); dessen Schätzer wird der geschätzte VKQ-Schätzer, kurz GVKQ-Schätzer genannt. Er ist gegeben durch:

${\displaystyle {\boldsymbol {\hat {\hat {\beta }}}}_{\text{GVKQ}}=\left(\mathbf {X} ^{\top }{\hat {\mathbf {\Psi } }}^{-1}\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }{\hat {\mathbf {\Psi } }}^{-1}\mathbf {y} }$.

Dadurch, dass die unbekannte Kovarianzmatrix der Störgrößen ${\displaystyle \mathbf {\Psi } ^{-1}}$ durch eine Schätzung ersetzt wurde, ist der VKQ-Schätzer zu berechnen und man spricht auch von der durchführbaren verallgemeinerten KQ-Schätzung. Es ist wichtig zu erwähnen, dass die Kovarianzmatrix ${\displaystyle \mathbf {\Psi } }$ ${\displaystyle (T(T+1))/2}$ Elemente besitzt und somit nicht durch nur ${\displaystyle T}$ geschätzte Störgrößenvektoren ${\displaystyle {\boldsymbol {\hat {\varepsilon }}}}$ geschätzt werden kann. Aus diesem Grund wird angenommen, dass die Elemente in ${\displaystyle \mathbf {\Psi } }$ Funktionen einer kleinen Anzahl von unbekannten Parametern sind.

Gewichtete kleinste Quadrate (GKQ)

Ein Spezialfall der VKQ-Methode stellt die sogenannte gewichtete Methode der kleinsten Quadrate (englisch weighted least squares, kurz WLS) dar. Sie wird angewendet, wenn alle Elemente neben der Hauptdiagonalen von ${\displaystyle \mathbf {\Psi } }$ Null sind. Diese Methode wird angewendet, wenn die Varianzen der beobachteten Werte nicht konstant sind (d. h., es liegt Heteroskedastizität vor) und keine Korrelation zwischen den beobachteten Störgrößen vorliegt. Das Gewicht der Einheit ${\displaystyle i}$ (${\displaystyle w_{i}}$) ist proportional zum Reziproken der Varianz der endogenen Variablen der Einheit ${\displaystyle i}$.[23] Das Optimalitätskriterium ist die gewichtete Residuenquadratsumme

${\displaystyle GKQ({\boldsymbol {\beta }})={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\sum _{i=1}^{n}{\frac {1}{w_{i}}}(y_{i}-\mathbf {x} _{i}^{\top }{\boldsymbol {\beta }})^{2}=(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\top }\,\mathbf {W} ^{-1}(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})\quad {\text{mit}}\quad \mathbf {W} =\operatorname {diag} (w_{1},\ldots ,w_{n})}$.

Anwendungen

Multiplikative Heteroskedastizität

Falls d​ie Annahme d​er Homoskedastizität n​icht erfüllt ist, d. h. d​ie Diagonalelemente d​er Kovarianzmatrix n​icht identisch sind, ergibt s​ich folgendes Modell:

${\displaystyle y_{t}=\mathbf {x} _{t}^{\top }{\boldsymbol {\beta }}+\varepsilon _{t}\quad t=1,\dotsc ,T}$ mit

${\displaystyle \mathbb {E} ({\boldsymbol {\varepsilon }})=\mathbf {0} \;}$ und ${\displaystyle \;\operatorname {Cov} ({\boldsymbol {\varepsilon }})=\mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi } }$

Allgemeine Kovarianzmatrix b​ei Heteroskedastizität:

${\displaystyle \mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\sigma _{1}^{2}&0&\cdots &0\\0&\sigma _{2}^{2}&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\sigma _{T}^{2}\end{pmatrix}}=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi } }$

Hierbei wird angenommen, dass ${\displaystyle \mathbf {\Psi } }$ eine bekannte, reelle, positiv definite und symmetrische Matrix der Dimension ${\displaystyle T\times T}$ ist.

Falls d​ie spezielle Form d​er multiplikativen Heteroskedastizität vorliegt, n​immt die allgemeine Kovarianzmatrix folgende Form an:

${\displaystyle \mathbb {E} ({\boldsymbol {\varepsilon }}{\boldsymbol {\varepsilon }}^{\top })={\begin{pmatrix}\operatorname {exp} (\mathbf {z} _{1}^{\top }\mathbf {\alpha } )&0&\cdots &0\\0&\operatorname {exp} (\mathbf {z} _{2}^{\top }\mathbf {\alpha } )&\ddots &\vdots \\\vdots &\ddots &\ddots &0\\0&\cdots &0&\operatorname {exp} (\mathbf {z} _{T}^{\top }\mathbf {\alpha } )\end{pmatrix}}=\sigma ^{2}\mathbf {\Psi } =\mathbf {\Phi } }$[24]

Bei Vorliegen dieser Form d​er Heteroskedastizität lässt s​ich die verallgemeinerte Kleinste-Quadrate-Schätzung.

Scheinbar unverbundene Regression

Die scheinbar unverbundene Regression (englisch: seemingly unrelated regression, k​urz SUR), welche e​ine Verallgemeinerung d​es linearen Regressionsmodells ist, beinhaltet e​ine Vielzahl v​on Regressionsgleichungen, d​ie jede i​hre eigene abhängige Variable u​nd potentiell verschiedene erklärende Variablen hat. Jede Gleichung selbst i​st eine valide lineare Regression u​nd kann separat v​on den anderen geschätzt werden. Dadurch ergibt s​ich ein System v​on Gleichungen, welches scheinbar unverbunden genannt wird. Da d​ie Störgrößenkovarianzmatrix d​er scheinbar unverbundenen Regression d​ie Struktur:

${\displaystyle {\begin{aligned}\operatorname {Cov} (\mathbf {e} )=\mathbb {E} (\mathbf {e} \mathbf {e} ^{\top })&={\begin{pmatrix}\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{1}{\boldsymbol {e}}_{N}^{\top })\\\\\vdots &\ddots &\vdots \\\\\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{1}^{\top })&\cdots &\operatorname {E} ({\boldsymbol {e}}_{N}{\boldsymbol {e}}_{N}^{\top })\end{pmatrix}}={\begin{pmatrix}\sigma _{11}\mathbf {I} _{T}&\cdots &\sigma _{1N}\mathbf {I} _{T}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}\mathbf {I} _{T}&\cdots &\sigma _{NN}\mathbf {I} _{T}\end{pmatrix}}={\begin{pmatrix}\sigma _{11}&\cdots &\sigma _{1N}\\\\\vdots &\ddots &\vdots \\\\\sigma _{N1}&\cdots &\sigma _{NN}\end{pmatrix}}\otimes \mathbf {I} _{T}\\\\&=\mathbf {\Sigma } \otimes \mathbf {I} _{T}=\mathbf {\Phi } \end{aligned}}}$

hat, ergibt s​ich bei d​er scheinbar unverbundenen Regression folgender VKQ-Schätzer:

${\displaystyle {\hat {\boldsymbol {\beta }}}_{\text{VKQ}}=\left(\mathbf {X} ^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )\mathbf {y} }$.

Es kann gezeigt werden, dass dieser VKQ-Schätzer äquivalent zum KQ-Schätzer ist, wenn man in obige Formel den Querschnitt ${\displaystyle {\overline {\mathbf {X} }}}$ der Daten einsetzt.

Beweis

${\displaystyle {\begin{aligned}{\hat {\boldsymbol {\beta }}}_{\text{VKQ}}&=\left(\mathbf {X} ^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )\mathbf {y} =\left((\mathbf {I} \otimes {\overline {\mathbf {X} }})^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )(\mathbf {I} \otimes {\overline {\mathbf {X} }})\right)^{-1}(\mathbf {I} \otimes {\overline {\mathbf {X} }})^{\top }(\mathbf {\Sigma } ^{-1}\otimes \mathbf {I} )\mathbf {y} \\&=\left(\mathbf {\Sigma } ^{-1}\otimes {\overline {\mathbf {X} }}^{\top }{\overline {\mathbf {X} }}\right)^{-1}\left(\mathbf {\Sigma } ^{-1}\otimes {\overline {\mathbf {X} }}^{\top }\right)\mathbf {y} =\left(\mathbf {\Sigma } \otimes ({\overline {\mathbf {X} }}^{\top }{\overline {\mathbf {X} }})^{-1}\right)\left(\mathbf {\Sigma } ^{-1}\otimes {\overline {\mathbf {X} }}^{\top }\right)\mathbf {y} \\&=\left(\mathbf {I} \otimes ({\overline {\mathbf {X} }}^{\top }{\overline {\mathbf {X} }})^{-1}{\overline {\mathbf {X} }}^{\top }\right)\mathbf {y} =\left((\mathbf {I} \otimes {\overline {\mathbf {X} }})^{\top }(\mathbf {I} \otimes {\overline {\mathbf {X} }})\right)^{-1}(\mathbf {I} \otimes {\overline {\mathbf {X} }})^{\top }\mathbf {y} \\&=(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} \\&=\mathbf {b} \end{aligned}}}$.

Siehe auch

• Cochrane-Orcutt-Schätzung

Literatur

• George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4
• Takeshi Amemiya: Generalized Least Squares Theory. In: Advanced Econometrics. Harvard University Press, 1985, ISBN 0-674-00560-0.
• John Johnston: Generalized Least-squares. In: Econometric Methods, Second. Auflage, McGraw-Hill, New York 1972, S. 208–242.
• Jan Kmenta: Generalized Linear Regression Model and Its Applications. In: Elements of Econometrics, Second. Auflage, Macmillan, New York 1986, ISBN 0-472-10886-7, S. 607–650.

Einzelnachweise und Anmerkungen

1. Moritz Cantor: Gauß: Karl Friedrich G. In: Allgemeine Deutsche Biographie (ADB). Band 8, Duncker & Humblot, Leipzig 1878, S. 430–445., S. 436.
2. Adrien-Marie Legendre: Nouvelles méthodes pour la détermination des orbites des comètes. Paris 1805, S. 72–80 (Anhang): Sur la Méthode des moindres quarrés.
3. Carl Friedrich Gauß: Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium. Göttingen 1809; Carl Haase (Übers.): Theorie der Bewegung der Himmelskörper, welche in Kegelschnitten die Sonne umlaufen. Hannover 1865.
4. Matrices and determinants
5. Carl Friedrich Gauß: Theoria combinationis observationum erroribus minimis obnoxiae. 2 Tle. Göttingen 1821–1823 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd. 5.); Supplementum Theoria combinationis observationum erroribus minimis obnoxiae. Göttingen 1826/28 (Commentationes Societatis Regiae Scientiarum Gottingensis recentiores, classis mathematicae, Bd. 6.); Anton Börsch Paul Simon (Hrsg.): Abhandlungen zur Methode der kleinsten Quadrate von Carl Friedrich Gauss. In deutscher Sprache. Berlin 1887.
6. Pete Stewart, 21. Juni 1991: Maybe We Should Call It “Lagrangian Elimination”, NA Digest Sunday, June 30, 1991 Volume 91, Issue 26.
7. A. C. Aitken: On Least-squares and Linear Combinations of Observations. In: Proceedings of the Royal Society of Edinburgh. 55, 1934, S. 42–48.
8. Robertnowlan: Alexander Aitken (Seite nicht mehr abrufbar, Suche in Webarchiven)  Info: Der Link wurde automatisch als defekt markiert. Bitte prüfe den Link gemäß Anleitung und entferne dann diesen Hinweis.
9. A. C. Aitken, H. Silverstone: On the Estimation of Statistical Parameters. In: Proceedings of the Royal Society of Edinburgh, 1942, 61, S. 186–194.
10. Takeaki Kariya, Hiroshi Kurata: Generalized Least Squares
11. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 328.
12. Fritz Pokropp: Lineare Regression und Varianzanalyse 2015, ISBN 978-3-486-78668-2, S. 108 (abgerufen über De Gruyter Online).
13. Fritz Pokropp: Lineare Regression und Varianzanalyse 2015, ISBN 978-3-486-78668-2, S. 107 (abgerufen über De Gruyter Online).
14. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 328.
15. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 330.
16. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 341.
17. G. Judge, R. Carter Hill: Introduction to the Theory and Practice of Econometrics. 1998, S. 342.
18. ${\displaystyle \arg \min(\cdot )}$ bezeichnet analog zu ${\displaystyle \arg \max(\cdot )}$(Argument des Maximums) das Argument des Minimums
19. Bei der gewöhnlichen Methode der kleinsten Quadrate wird im Gegensatz zur verallgemeinerten Methode der kleinsten Quadrate eine ungewichtete Fehlerquadratsumme ${\displaystyle (\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})^{\top }(\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }})}$ minimiert
20. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 330.
21. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 331.
22. B. H. Baltagi: Econometrics. 4th ed. Springer, New York 2008.
23. T. Strutz: Data Fitting and Uncertainty (A practical introduction to weighted least squares and beyond). Springer Vieweg, 2016, ISBN 978-3-658-11455-8., chapter 3
24. George G. Judge, R. Carter Hill, W. Griffiths, Helmut Lütkepohl, T. C. Lee. Introduction to the Theory and Practice of Econometrics. 2. Auflage. John Wiley & Sons, New York/ Chichester/ Brisbane/ Toronto/ Singapore 1988, ISBN 0-471-62414-4, S. 366.