Interpretationshilfe von Effektmaßen

Cohens d ist ein statistisches Maß, das genutzt wird, um die Effektgröße, also die Stärke eines Unterschieds zwischen den Mittelwerten zweier (un-)abhängiger Gruppen oder eines Mittelwerts und eines theoretisch erwarteten Werts, zu quantifizieren. Für ebensolche Effektmaße haben Cohen und im Verlauf der letzten Jahrzente viele weitere Autoren mögliche Vorgaben definiert, wie Effektmaße im Sinne der Größe und Stärke des Effekts interpretiert werden können.

Kritische Betrachtung (ein Vorwort)

Die Interpretation von Effektgrößen stellt Forschende vor eine zentrale Herausforderung: Wann ist ein statistischer Effekt tatsächlich bedeutsam? Standardisierte Interpretationshilfen bieten hier wichtige Orientierung, müssen aber differenziert betrachtet werden. Im Folgenden analysieren wir die Stärken und Schwächen dieser Richtlinien und geben konkrete Empfehlungen für ihre Anwendung in der Forschungspraxis.

Stärken

Erste Orientierung

Sie funktionieren wie eine Art „Kompass“ für Forschende. Besonders für Anfänger:innen oder wenn man sich in einem neuen Forschungsgebiet orientiert, geben sie einen ersten Anhaltspunkt, wie man Ergebnisse einordnen kann.

Wenn verschiedene Studien die gleichen Interpretationsrichtlinien verwenden, kann man ihre Ergebnisse leichter vergleichen. Dies ist besonders wichtig für Meta-Analysen und systematische Reviews.

Sie bieten eine gemeinsame „Sprache“ für Wissenschaftler:innen. Wenn jemand von einem „großen Effekt nach Cohen“ spricht, wissen andere sofort, was gemeint ist.

Schwächen

Kontextabhängigkeit

  • Ein Beispiel: In der medizinischen Forschung könnte eine Korrelation von r = 0.2 zwischen einem Medikament und der Heilung einer schweren Krankheit als sehr bedeutsam gelten
  • In der pädagogischen Forschung könnte die gleiche Korrelation zwischen einer Lehrmethode und dem Lernerfolg als eher schwach angesehen werden
  • Die Interpretation hängt also stark vom Forschungskontext ab

  • Die starren Grenzen (z.B. r < 0.3 = „klein“, r > 0.5 = „groß“) suggerieren künstliche Trennlinien
  • In der Realität gibt es fließende Übergänge
  • Cohen selbst warnte später davor, seine Richtlinien zu dogmatisch anzuwenden

Besonders interessant ist die Beobachtung von Funder und Ozer (2019):

Sehr große Effekte in der psychologischen Forschung sind oft verdächtig. Sie lassen sich in größeren Stichproben oder Replikationsstudien häufig nicht bestätigen. Kleinere, aber stabile Effekte können wissenschaftlich bedeutsamer sein als spektakuläre große Effekte

Praktische Implikation

Kontextspezifische Interpretation

  • Berücksichtigung des Forschungsfelds
  • Einbeziehung der spezifischen Untersuchungsbedingungen
  • Beachtung der praktischen Relevanz

  • Statt blindem Vertrauen auf Faustregeln
  • Vergleich mit ähnlichen Studien im gleichen Bereich
  • Einordnung in den Forschungsstand

  • Verbindung mit theoretischen Vorhersagen
  • Berücksichtigung praktischer Konsequenzen
  • Einbettung in größere Forschungszusammenhänge

  • Offenlegung der verwendeten Interpretationskriterien (z.B. Cohen, 1988)
  • Begründung der gewählten Schwellenwerte
  • Diskussion der Einschränkungen

Korrelation

Wert Funder & Ozer (2019) Gignac & Szodorai (2016) Cohen (1988) Evans (1996) Lovakov & Agadullina (2021) Hattie (2009)
0.05 Tiny Very small Very small Very weak Very small Developmental effects
0.15 Small Small Small Very weak Small Teacher effects
0.25 Medium Moderate Small Weak Moderate Zone of desired effects
0.35 Large Large Moderate Weak Moderate
0.45 Very large Large Moderate Moderate Large
0.70 Very large Large Large Strong Large
Anmerkung. Die Tabelle zeigt verschiedene Interpretationsrichtlinien für Korrelationskoeffizienten im Vergleich. Während die meisten Autor:innen allgemeine Richtlinien vorschlagen, bezieht sich Hatties Interpretation spezifisch auf den Bildungskontext.

Literatur

  1. Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Hillsdale, NJ: Lawrence Erlbaum Associates, Publishers.
  2. Evans, James D. 1996. Straightforward Statistics for the Behavioral Sciences. Thomson Brooks/Cole Publishing Co.
  3. Funder, David C, and Daniel J Ozer. 2019. “Evaluating Effect Size in Psychological Research: Sense and Nonsense.” Advances in Methods and Practices in Psychological Science, 2515245919847202.
  4. Gignac, Gilles E, and Eva T Szodorai. 2016. “Effect Size Guidelines for Individual Differences Researchers.” Personality and Individual Differences 102: 74–78.
  5. Hattie, J. (2009). Visible Learning. London: Routledge.
  6. Lovakov, Andrey, and Elena R Agadullina. 2021. “Empirically Derived Guidelines for Effect Size Interpretation in Social Psychology.” European Journal of Social Psychology.