Wo sind die wissenschaftlichen Standards für hochwertige Replikationsforschung?

Abstract

Zusammenfassung. Es gibt einen breiten Konsens, dass Replikation ein wichtiges Instrument ist, um valide Befunde und solide Forschung zu erkennen. Wenn sie aber wissenschaftlich bedeutsam ist, dann muss auch die Replikationsforschung an strengen methodischen Regeln und an klar artikulierten wissenschaftlichen Zielen gemessen werden. Eine kritische Beschäftigung mit der aktuellen Replikationsforschung – etwa im jüngst veröffentlichten Bericht der Open Science Collaboration – zeigt jedoch, dass eine strenge und forschungslogisch begründete Methodologie für Replikationsstudien bislang weder angewandt noch entwickelt wurde. Infolgedessen bleibt die Validität der Schlüsse, die aus Replikationsstudien gezogen werden dürfen, oftmals unklar. Dieses grundlegende Problem wird hier unter vier Gesichtspunkten diskutiert: Unklarheit des Gegenstandes der Replikation (Replicandum), Vernachlässigung einschlägiger methodischer Probleme (Regressivität; Reliabilität der Veränderungsmessung), einseitige Vermeidung von angeblich kostenträchtigen „Falsch-Positiven“ ohne Versuch einer systematischen Kosten-Nutzen-Messung sowie das vernachlässigte Ziel, Replikationsforschung so zu implementieren, dass sie echte Erkenntnisfortschritte bringt und als exzellente Forschung anerkannt werden kann.