Standardfehler des Regressionskoeffizienten

In d​er Statistik i​st der Standardfehler d​es Regressionskoeffizienten e​in Maß für d​ie Variabilität d​es Schätzers für d​en Regressionskoeffizienten. Der Standardfehler d​es Regressionskoeffizienten w​ird benötigt, u​m die Präzision d​er Schätzung d​es Regressionskoeffizienten beurteilen z​u können, e​twa anhand e​ines statistischen Tests o​der eines Konfidenzintervalls.[1]

Die Schätzung e​iner Regressionsgerade w​ird oft s​o angegeben, d​ass unter d​en ermittelten Koeffizienten d​ie Standardfehler i​n Klammern angeführt werden. Damit erreicht m​an eine übersichtliche Darstellung d​er beiden Aspekte, d​er Punktschätzung s​owie einer Angabe d​er Präzision.

Spezialfall: Lineare Einfachregression

In der linearen Einfachregression (nur eine erklärende Variable) ${\displaystyle y_{i}=\beta _{0}+x_{i}\beta _{1}+\varepsilon _{i}}$ ist der (geschätzte) Standardfehler des Regressionskoeffizienten (hier des Anstiegs ${\displaystyle {\hat {\beta }}_{1}}$) gegeben durch die positive Quadratwurzel der geschätzten Varianz von ${\displaystyle {\hat {\beta }}_{1}}$ (siehe auch Lineare Einfachregression#Varianzen der Kleinste-Quadrate-Schätzer):

${\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{1}}=\operatorname {SE} ({\hat {\beta }}_{1})={\sqrt {\frac {{\hat {\sigma }}^{2}}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}}$

mit d​er erwartungstreuen Schätzung d​er Varianz d​er Störgrößen

${\displaystyle {\hat {\sigma }}^{2}={\frac {1}{n-2}}\sum \limits _{i=1}^{n}(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i})^{2}}$,

dessen empirisches Pendant d​as mittlere Residuenquadrat

${\displaystyle MQR={\sqrt {\frac {SQR}{n-2}}}}$

ist. Daher f​olgt für d​en (empirischen) Standardfehler d​es Anstiegs:[2]

${\displaystyle s_{b_{1}}={\sqrt {\frac {MQR}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}}$.

Mit diesem Standardfehler lässt sich die Präzision der Schätzung des Anstiegs ${\displaystyle \beta _{1}}$ beurteilen, z. B. mittels eines Konfidenzintervalls. Ein ${\displaystyle (1-\alpha )}$-Konfidenzintervall für den unbekannten (wahren) Regressionskoeffizienten ${\displaystyle \beta _{1}}$ ist gegeben durch:[3]

${\displaystyle KI_{1-\alpha }(\beta _{1})=\left[b_{1}-s_{b_{1}}t_{1-\alpha /2}(n-2);b_{1}+s_{b_{1}}t_{1-\alpha /2}(n-2)\right]}$,

wobei ${\displaystyle t_{1-\alpha /2}(n-2)}$ das ${\displaystyle (1-\alpha /2)}$-Quantil der studentschen t-Verteilung mit ${\displaystyle (n-2)}$ Freiheitsgraden ist.

Multiple lineare Regression

Gegeben ein typisches multiples lineares Regressionsmodell ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$, mit ${\displaystyle {\boldsymbol {\beta }}}$ dem ${\displaystyle p\times 1}$ Vektor der unbekannten Regressionsparameter, der ${\displaystyle n\times p}$ Versuchsplanmatrix ${\displaystyle \mathbf {X} }$, dem ${\displaystyle n\times 1}$ Vektor der abhängigen Variablen ${\displaystyle \mathbf {y} }$ und dem ${\displaystyle n\times 1}$ Vektor der Störgrößen ${\displaystyle {\boldsymbol {\varepsilon }}}$. Dann ist in der multiplen linearen Regression ist die erwartungstreuen Schätzung der Varianz der Störgrößen in Matrixschreibweise gegeben durch die Residuenquadratsumme adjustiert durch die residualen Freiheitsgrade:

${\displaystyle {\hat {\sigma }}^{2}=SQR/(n-k-1)={\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-k-1}}}$.

Für den Standardfehler der (geschätzten) Regressionskoeffizienten folgt daraus, dass sie gegeben sind durch die Quadratwurzel des ${\displaystyle j}$-ten Diagonalelements der geschätzten Kovarianzmatrix des Kleinste-Quadrate-Schätzers[4]

${\displaystyle \operatorname {SE} ({\hat {\beta }}_{j})={\sqrt {{\hat {\sigma }}^{2}(\mathbf {X} ^{\top }\mathbf {X} )_{jj}^{-1}}}}$.

Eine andere Darstellung mittels d​es Bestimmtheitsmaßes ist[5]

${\displaystyle \operatorname {SE} ({\hat {\beta }}_{j})={\sqrt {\frac {{\tfrac {1}{n-p}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}{(1-{\mathit {R}}_{j}^{2})\sum \nolimits _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})^{2}}}}}$.

Einzelnachweise

1. Axel M. Gressner, Torsten Arndt: Lexikon der Medizinischen Laboratoriumsdiagnostik. Springer-Verlag, 2013., 3. Auflage, S. 2209.
2. Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 313.
3. Werner Timischl: Angewandte Statistik. Eine Einführung für Biologen und Mediziner. 2013, 3. Auflage, S. 327.
4. Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 806
5. Jeffrey Marc Wooldridge: Introductory econometrics: A modern approach. 5. Auflage. Nelson Education, 2015, S. 101.