Vorgehensweisen in der deutschsprachigen psychologischen Forschung

Abstract

Zusammenfassung. Es wurden 436 empirische Arbeiten aus 14 psychologischen Fachzeitschriften der Jahre 2001 und 2002 u.a. daraufhin analysiert, mit welchen statistischen Verfahren gearbeitet wurde - überwiegend mit Globaltests, gefolgt von Dateninspektionen oder multiplen Vergleichen, und zwar unabhängig davon, ob die vorangestellten psychologischen Hypothesen oder Fragen gerichtet waren oder nicht. Der Kumulation der statistischen Fehlerwahrscheinlichkeiten wurde kaum Beachtung geschenkt, ebenso wenig den Voraussetzungen für parametrische statistische Verfahren. Ferner wurde fast durchgängig ohne Zufallsstichproben gearbeitet, sondern stattdessen mit “Gelegenheitsstichproben“. Inwieweit mit der Randomisierung gearbeitet wurde, ließ sich nicht erkennen, da nur für wenige Studien explizit angegeben wurde, dass randomisiert wurde. Insgesamt wurden in 250 Artikeln 391 psychologische Hypothesen geprüft, und in 301 Untersuchungen wurde mit “Forschungsfragen“ ohne explizite Hypothesen operiert. Eine Kontrolle der Teststärke fand nur in 10 Fällen statt. Mit großem Abstand am häufigsten eingesetzt wurde die statistische Hybride aus der Signifikanztesttheorie von Fisher und der Neyman-Pearson-Theorie eingesetzt, gefolgt von der Fisher-Theorie. Nur in 10 Arbeiten wurde die Theorie des statistischen Hypothesentestens von Neyman und Pearson eingesetzt, in der mit der Teststärke und Effektgrößen operiert wird; statistische Analysen nach dem Bayes-Theorem wurden ebenso wenig durchführt wie sequenzielle Tests nach Wald. Parameterschätzungen und Likelihood-Quotienten-Tests wurden nur gelegentlich eingesetzt.