Regressionsdiagnostik

Die richtige Modellspezifikation ist maßgeblich für eine sinnvolle Interpretation der Ergebnisse einer Regressionsanalyse. Zwei zentrale Herausforderungen stehen dabei im Fokus: Underfitting und Overfitting.

Underfitting – Wenn das Modell zu einfach ist Ein zu simples Modell verfehlt wichtige Zusammenhänge. Typische Ursachen sind übersehene kurvlineare Strukturen oder fehlende Interaktionseffekte zwischen den Variablen. Mithilfe eines Streudiagramms und LOESS-Anpassung lässt sich Underfitting meist schnell und zuverlässig erkennen.

Overfitting – Die Gefahr zu komplexer Modelle Zu viele unwichtige Prädiktoren führen zu Overfitting. Die Folge sind verzerrte Schätzungen und ungenaue Vorhersagen. Ein gutes Modell enthält ausschließlich statistisch relevante Variablen.

Die optimale Balance in der Praxis Ein erfolgreiches Regressionsmodell verbindet theoretisches Wissen mit datenbasierter Analyse. Residuenanalysen und Multikollinearitätsprüfungen können wichtige Werkzeuge zur Findung der idealen Modellspezifikation sein.

Die Messfehlerfreiheit der unabhängigen Variablen (UVs) hat einen direkten Einfluss auf die Qualität der Ergebnisse. Der Begriff der Exogenität spielt hier ebenfalls eine Rolle.

Auswirkungen von Messfehlern – In der einfachen linearen Regression führen Messfehler bei den Prädiktoren zu einer systematischen Unterschätzung der Regressionskoeffizienten. Die Problematik verstärkt sich in multiplen Regressionsmodellen. Hier können Messfehler in einer Variable die Schätzung der Koeffizienten anderer, eigentlich fehlerfrei gemessener Prädiktoren verzerren.

Exogenität und Messfehler – Die Exogenität, also die Unabhängigkeit der Prädiktoren von äußeren Einflüssen, wird durch Messfehler gefährdet. Sind Messfehler mit anderen Variablen korreliert, verletzt dies die Annahme der Exogenität und führt zu verzerrten Schätzungen im gesamten Modell.

Kontrolle und Evaluierung In den Sozialwissenschaften bieten Reliabilitätsanalysen eine Möglichkeit zur Überprüfung der Messfehlerfreiheit. Diese Analysen helfen, die Zuverlässigkeit der Messungen einzuschätzen und potenzielle Fehlerquellen zu identifizieren.

Kriteriums-basierte Ausreißerdiagnostik – Bei der Analyse des Kriteriums stehen verschiedene Residuenarten zur Verfügung. Besonders aussagekräftig sind die studentisierten ausgeschlossenen Residuen. Als Entscheidungsregel gelten Werte, die betragsmäßig über 3 liegen, als potenzielle Ausreißer.

Die Homoskedastizität ist eine statistische Eigenschaft und beschreibt die Gleichmäßigkeit der Residualvarianzen über alle Ausprägungen der Prädiktoren hinweg.

Diagnostik und Erkennung – Die Überprüfung der Homoskedastizität erfolgt primär durch Residuenplots. In diesen Diagrammen werden die korrigierten geschätzten Werte gegen die studentisierten Residuen aufgetragen. Ein gleichmäßiges Streuungsmuster deutet auf Homoskedastizität hin, während trichterförmige oder systematische Muster auf Heteroskedastizität hinweisen.

Auswirkungen von Heteroskedastizität – Heteroskedastische Strukturen beeinflussen die Standardfehler der Schätzung, nicht jedoch die Regressionskoeffizienten selbst. Dies hat direkte Auswirkungen auf die Verlässlichkeit statistischer Tests und Konfidenzintervalle.

Korrekturverfahren – Bei vorliegender Heteroskedastizität stehen verschiedene Korrekturmethoden zur Verfügung. Besonders bewährt haben sich die HC3- und HC4-Korrekturen nach Davidson & MacKinnon bzw. Cribari-Neto. HC3 wird für Standardfälle empfohlen, während HC4 bei nicht-normalverteilten Residuen und ausgeprägten Hebelwerten vorzuziehen ist.

Innerhalb linearer Modelle wird angenommen, dass sich die Residuen unabhängig voneinander verteilen. Diese Annahme ist in den  Sozialwissenschaften verletzt, wenn der  Stichprobenziehung entweder Klumpenstichproben, mehrstufige  Auswahlprozeduren zugrunde liegen oder bei  serieller Abhängigkeit, die bei Einzelfalluntersuchungen auftreten kann (Autokorrelation).

Prüfung der Unabhängigkeit der Residuen:
• Durbin-Watson-Test
Eine Test-Statistik von 2 bedeutet, dass die Residuen vollständig unkorreliert sind. Es gelten Werte zwischen 1 uns 3 – oder konservativer zwischen 1.50 und 2.50 – als akzeptabel.

In Allgemeinen linearen Modellen wird angenommen bzw. vorausgesetzt, dass Residualvariablen in Population sowohl bedingt als auch unbedingt normalverteilt sind. Die Prüfung der Normalität wird in grafischer (heuristischer) Art und Weise über die studentisierten Residuen sichergestellt. Eine Prüfung per Testverfahren erscheint wenig sinnvoll, da die geschätzten Residualwerte systematisch voneinander abhängig sind.

Starke Abweichungen in den diagnostischen Plots können auf Fehlspezifikationen des Modells hinweisen.

Multikollinearität stellt ein Problem in der Regressionsanalyse dar. Diese statistische Konstellation tritt auf, wenn zwischen den Prädiktoren starke multiple Korrelationen bestehen.

Auswirkungen und Konsequenzen – Die Hauptproblematik der Multikollinearität liegt in der Verzerrung der Standardfehler. Diese führt zu unpräzisen Schätzungen der Regressionskoeffizienten. Für die praktische Anwendung bedeutet dies eine reduzierte Verlässlichkeit der statistischen Inferenz.

Diagnostische Verfahren – Zur Quantifizierung der Multikollinearität stehen zwei zentrale Kennwerte zur Verfügung: der Toleranzwert und der Variationsinflationsfaktor (VIF). Die Fachliteratur definiert kritische Schwellenwerte bei einer Toleranz unter 0.10 beziehungsweise einem VIF über 10.

Lösungsstrategien – Für den Umgang mit Multikollinearität existieren verschiedene methodische Ansätze. Optionen umfassen die gezielte Elimination von Prädiktoren, die Aggregation verwandter Variablen oder eine faktoranalytische Reduktion der Prädiktorenzahl.

(Nach Hayes (2022) ist die Zentrierung nicht dazu geeignet Multikollinearität zu beheben!)

Präventive Maßnahmen – Eine sorgfältige Planung der Datenerhebung und Variablenauswahl kann Multikollinearität bereits im Vorfeld minimieren. Dies beinhaltet die theoriegeleitete Auswahl von Prädiktoren und die Berücksichtigung potenzieller Abhängigkeitsstrukturen.

1. Hayes, A. F. (2022). Introduction to mediation, moderation, and conditional process analysis: A Regression-Based Approach (3. Auflage). Guilford Press.