Replikation (Wissenschaft)
Replikation bezeichnet in der Wissenschaftstheorie die Wiederholung einer wissenschaftlichen Studie. Das Ziel ist dabei die Kontrolle und Überprüfung der berichteten Forschungsergebnisse. Im Endeffekt wird durch Replikation zweierlei erreicht: Zum einen steigt die Akzeptanz der erfolgreich replizierten Studie und zum anderen diszipliniert sie Forscher, in ihrer Studie sorgfältig zu arbeiten und Betrug und Fälschung in der Wissenschaft zu unterlassen. Replizierbarkeit ist kein generelles Kriterium wissenschaftlicher Erkenntnis.[1]
Die Replikation ist zu unterscheiden von der Reproduktion, welche von den Daten der vorhandenen Studie ausgeht und ihre Analyse überprüft.[2] Der Begriff Reproduzierbarkeit wird oft allgemeiner verwendet, der auch die Replizierbarkeit einschließt.
Replikationstypen
Es wird zwischen zwei Replikationstypen unterschieden: Replikation im engeren Sinne, das heißt unter gleichen Versuchsbedingungen, und Replikation im weiteren Sinne, also unter veränderten Versuchsbedingungen.[3]
Replikation unter gleichen Versuchsbedingungen (direkte Replikation)
Bei einer Replikation unter gleichen Versuchsbedingungen wird ein Experiment so genau wie möglich unter den Bedingungen eines Vorgängerversuchs durchgeführt. Handelt es sich nicht um ein Experiment, sondern um Feld- und empirische Studien, ist das Ziel, die Effekte erneut nachzuweisen. Nur wenn die gleichen Daten oder die der Datengenerierung zugrunde liegenden Prozesse verwendet werden, lässt sich die Reproduzierbarkeit der ersten Studie nachweisen. Direkte Replizierbarkeit ist ein wichtiges Kriterium der Glaubwürdigkeit, Verlässlichkeit und Nützlichkeit Wissenschaftlicher Forschung.[4]
Anlass kann Zweifel an den Ergebnissen einer vorangegangenen empirischen Studie sein. Eine professionell erstellte Studie im Rahmen der empirischen Sozialforschung weist in ihrem Beschreibungstext immer die Bedingungen und Instrumente / Methoden aus, die letztlich zum Versuchsergebnis führten.[5] So fällt es einem nachfolgenden Wissenschaftler leichter, den „Ur-Versuch“ durch Replikation zu überprüfen.
Replikation unter veränderten Versuchsbedingungen (konzeptionelle Replikation)
Bei einer Replikation unter veränderten Versuchsbedingungen wird ein Experiment in (meist leicht) abgewandelter Form eines Vorgängerversuchs durchgeführt.
Es wird geprüft, ob z. B. Abwandlungen im Untersuchungsdesign (z. B. Labor vs. Feld) oder Populationseigenschaften (z. B. Erwachsenen vs. Jugendlichen) den Studienbefund kritisch beeinflussen bzw. moderieren. Das Erkenntnisziel besteht insbesondere darin, die Generalisierbarkeit vs. Spezifität von Befunden zu bestimmen.[4]
In der Psychologie werden Versuchs-Replikationen auch oft von den Wissenschaftlern, die den „Erstversuch“ durchführten, unternommen. Ein Beispiel ist das Milgram-Experiment zur Gehorsamkeit gegenüber Autoritäten von Stanley Milgram. Milgram leitete den Versuch unter verschiedenen Bedingungen, wobei u. a. der Grad der Autorität des Versuchsleiters variiert wurde.
Innovation versus Replikation
Im Wissenschaftsbetrieb besteht eine inhärente Tendenz zum Neuen. Entsprechend geschwächt ist oft das Interesse an replikativer Forschungsarbeit. Zur ausdrücklichen Unterstützung replikations-orientierter Studien wurde 2016 in den Niederlanden ein 3 Mio. Euro-Förderprogramm eingerichtet.[6]
Problematik
Eine Studie zeigt, dass Papers in großen wissenschaftlichen Fachzeitschriften mit nicht replizierbaren Ergebnissen – oder einer nicht nachvollziehbaren, ausreichend transparenten Art und Weise – mehr zitiert werden als reproduzierbare, fehlerfreiere Wissenschaft. Diese Praxis erhöht die Wahrscheinlichkeit von Mängeln oder Fehlern und könnte Fortschritt verlangsamen. Die Autoren liefern mögliche Erklärungen für diesen Zustand.[7][8] Es wurde vorgeschlagen, dass „eine einfache Möglichkeit benötigt wird, um zu überprüfen, wie oft Studien wiederholt wurden und ob die ursprünglichen Ergebnisse bestätigt wurden oder nicht“.[7] Kategorisierungen oder Bewertungen der Reproduzierbarkeit auf Studien- und/oder Ergebnisebene sowie das Hinzufügen von Links zu und die Bewertung von Bestätigungen durch Dritte könnten von den Peer-Reviewern, der wissenschaftlichen Zeitschrift oder von Lesern in Kombination mit neuartigen digitalen Plattformen oder Tools durchgeführt werden.
Verbreitung in den Sozialwissenschaften
Replikation durch Dritte hat in den Sozialwissenschaften keinen hohen Stellenwert, obwohl sie für glaubwürdige Wissenschaft unerlässlich ist. So wies eine im American Economic Review bereits 1986 veröffentlichte Metastudien nach, dass Nicht-Replizierbarkeit eher die Regel denn die Ausnahme in der volkswirtschaftlichen Forschung sei.[9]
Grundvoraussetzung für Replikation ist ein hinreichendes Maß an Transparenz, also die Daten für die interessierte Öffentlichkeit zu hinterlegen. Obwohl als Problem erkannt, verlangen nur wenige Fachzeitschriften von Autoren die Einsendung der in ihrer Studie verwendeten Daten (inklusive der Verarbeitung). Selbst in Fällen, in denen ein Daten-Archiv vorhanden ist, gelingt es nur selten, die dazugehörigen Studien zu replizieren.[2]
Nur wenige wissenschaftliche Journale wie das International Journal for Re-Views in Empircal Economics (IREE) spezialisieren sich auf Replikation oder stellen wie das Journal of Applied Econometrics zumindest einen Teil des Bandes der Replikationen zur Verfügung. Das Zentrum für Statistik der Georg-August-Universität Göttingen bietet mit den Replication Working Papers eine Arbeitspapier-Serie für replizierte Studien an.[10]
In der psychologischen Wissenschaft setzt zunehmend ein Umdenken bezüglich der Replikationen von Ergebnissen ein. Ursache ist hierfür die Replikationskrise, welche den Umstand beschreibt, dass viele Befunde in aufwendigen Replikationsversuchen nicht repliziert werden konnten. In diesem Sinne wird vermehrt auf die Umsetzung von Open-Science-Praktiken (z. B. Verfügbarkeit von Studienmaterialien) gesetzt, um Replikationen in der Psychologie zu fördern und zu erleichtern.
Replikation in der Psychologie
Methodisch ist zwischen verschiedenen Verfahren der Replikation zu unterscheiden (siehe auch Schmidt 2009[11], Schweizer 1989):
- Die direkte (genaue) Replikation ist die Wiederholung (Duplikation) einer bestimmten Untersuchung; sie wird auch als identische oder exakte Replikation bezeichnet. Streng genommen handelt es sich um eine gleichartige Wiederholung nur mit anderen Teilnehmern. Die genaue Wiederholung ist – abgesehen von computer-unterstützen Experimenten mit hochgradiger Standardisierung einfacher Abläufe – höchstens in demselben Labor möglich. Selbst wenn das Experiment sehr genau protokolliert und die Erhebung der unabhängigen und der abhängigen Variablen standardisiert sind, gibt es in der Regel spezielle technische Fertigkeiten der Untersucher und Eigenheiten des Untersuchungsstils, Besonderheiten der Versuchsleiter-Versuchspersonen-Interaktion und andere, eventuell wichtige Kontextvariablen (siehe Reaktivität (Sozialwissenschaften)). Knappe Zeitschriftenartikel enthalten in der Regel keine hinreichenden Angaben für eine direkte Replikation.
- Die Reanalyse des eventuell zugänglichen Datensatzes einer publizierten wissenschaftlichen Arbeit wird durch unabhängige Wissenschaftler unternommen.
- Die näherungsweise (approximative) Replikation versucht, so gut wie möglich die originale Untersuchung zu wiederholen. Wie gut dies erreicht wird, ist wegen der zahlreichen methodischen Aspekte nicht leicht zu bewerten.
- Bei der partiellen Replikation wird nur eine der wichtigen Untersuchungsbedingungen verändert: die Personenauswahl oder nur die Darbietung der unabhängigen Variable (nach Dauer, Intensität, Qualität usw.) oder die Erhebung der abhängigen Variable durch eine vielleicht neu entwickelte Mess- oder Testmethode.
- Die systematische Replikation unternimmt die planmäßige Variation von zwei oder mehr wichtigen Untersuchungsbedingungen auf einmal. Dieses Verfahren scheint ökonomischer zu sein, denn es könnte im positiven Fall eine breitere Erfahrungsbasis schaffen; im negativen Fall bleibt jedoch ungeklärt, weshalb es zu einem anderen Ausgang kam.
- Die Generalisierbarkeitsstudie dehnt die systematische Replikation in mehrere Richtungen aus (vgl. Psychologisches Experiment). Wegen des großen Aufwandes stammen Forschungsbeispiele jedoch vorwiegend aus der Differenziellen Psychologie aufgrund von Erhebungen mittels Tests und Fragebogen.
- Die konstruktive (konzeptuelle) Replikation besteht in einer neu angelegten Untersuchung, die zwar den allgemeinen theoretischen Ansatz und die Untersuchungshypothese übernimmt, jedoch methodisch andere, aber theoretisch als adäquat angesehene Definitionen (Methoden) der unabhängigen und der abhängigen Variablen auswählt. Die Zielsetzung wird übernommen, die methodische Durchführung mehr oder minder neu angelegt. Konzeptuelle Replikationen sind häufiger zu finden, jedoch nicht unter dieser Bezeichnung, sondern als mehr oder minder freie Anlehnungen an vorausgegangene Untersuchungen. Auf diese Weise zeigt sich, ob das interessierende Phänomen über unterschiedliche Bereiche stabil ist. Fraglich bleibt aber, ob das methodisch anders erfasste Phänomen „dasselbe“ ist (Siri Carpenter, 2012).
Die von Asendorpf u. a. (2013) vorgeschlagene Unterscheidung von Reproducibility d. h. identische Ergebnisse bei unabhängiger Auswertung desselben Datensatzes, Replicability, d. h. Verallgemeinerbarkeit in mehreren Dimensionen, und Generalizability, d. h. Ausschließen von bestimmten Moderatoreffekten, ist unglücklich, da sie nicht dem verbreiteten Begriffsgebrauch sowie Lee J. Cronbachs Konzept der Generalizability Theory folgt.
Eine funktional gliedernde Klassifikation von Replikationsansätzen schlägt Stefan Schmidt (2009) vor, indem er nach der leitenden Absicht fragt: zur Kontrolle von Zufallseffekten, zur Kontrolle möglicher Artefakte (Mängel der inneren Validität), zur Kontrolle von Fälschungen, zur Generalisierung auf eine andere Population sowie zur Bestätigung der dem ursprünglichen Experiment zugrunde liegenden Hypothesen. Ist der Mangel an Replikationsversuchen ein blinder Fleck der Psychologie und der Sozialwissenschaften wie Schmidt meint? Er fordert deshalb eine gründlichere methodologische Diskussion, stärkere Berücksichtigung in Lehrbüchern und Änderung der Herausgeberpolitik.
Literatur
- Milgram, S. (2007). Das Milgram-Experiment – Zur Gehorsamsbereitschaft gegenüber Autorität (15. Auflage). Reinbek bei Hamburg: Rowohlt.
- Nicola Döring und Jürgen Bortz Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften Springer-Verlag Berlin Heidelberg 2016 https://doi.org/10.1007/978-3-642-41089-5
Themengebiet Psychologie
- Karl Schweizer: Eine Analyse der Konzepte, Bedingungen und Zielsetzungen von Replikationen. In: Archiv für Psychologie. 141, 1989, S. 85–97.
- Stefan Schmidt: Shall we really do it again? The powerful concept of replication is neglected in the social sciences. In: Review of General Psychology. 2009, 13 (2), S. 90–100, doi:10.1037/a0015108
- Jens Asendorpf, Mark Connor, Filip de Fruyt, Jan de Houwer, Jaap J. A. Denissen, Klaus Fiedler, Susann Fiedler, David C. Funder, Reinhold Kliegl, Brian A. Nosek, Marco Perugini, Brent W. Roberts, Manfred Schmitt, Marcel A. G. Vanaken, Hannelore Weber, Jelte M. Wicherts: Recommendations for increasing replicaility in psychology. In: European Journal of Personality. Vol. 27, 2013, S. 108–119.(online)
- Siri Carpenter: Psychology’s bold initiative. In an unusual attempt at scientific elf-examination, psychology researchers are scrutinizing their field’s reproducibility. In: Science, 335, 30 March 2012, S. 1558–1561. (online)
Weblinks
Einzelnachweise
- DFG - Deutsche Forschungsgemeinschaft - DFG-Stellungnahme zur Replizierbarkeit von Forschungsergebnissen. Abgerufen am 17. Januar 2021.
- McCullough, B. D. & McGeary, Kerry Anne & Harrison, Teresa D.: Lessons from the JMCB Archive. In: Journal of Money, Credit and Banking. Band 38, Nr. 4, 2006, S. 1093–1107, doi:10.1353/mcb.2006.0061 (englisch).
- Pesaran, M. Hashem: Introducing a replication section. In: Journal of Applied Econometrics. Band 18, Nr. 1, 2003, S. 111, doi:10.1002/jae.709 (englisch).
- Markus Antonius Wirtz: Replikationsstudie im Dorsch Lexikon der Psychologie. 2019 (hogrefe.com [abgerufen am 17. Januar 2021]).
- sinngemäß: Bortz, 2006, S. 88
- Wired: Error! Wie die Wissenschaft mit ihren Fehler umgeht vom 9. September 2016, geladen am 6. Februar 2017
- A new replication crisis: Research that is less likely to be true is cited more (en). In: phys.org. Abgerufen am 14. Juni 2021.
- Marta Serra-Garcia, Uri Gneezy: Nonreplicable publications are cited more than replicable ones. In: Science Advances. 7, Nr. 21, 1. Mai 2021, ISSN 2375-2548, S. eabd1705. bibcode:2021SciA....7D1705S. doi:10.1126/sciadv.abd1705. PMID 34020944. PMC 8139580 (freier Volltext).
- DeWald, William, Jerry Thursby und Richard Anderson: Replication in empirical economics: the Journal of Money, Credit and Banking project. In: American Economic Reviw. Band 76, Nr. 4, 1986, S. 587–603, JSTOR:1806061 (englisch).
- Georg-August-Universität Göttingen - Replication Working Papers. uni-goettingen.de, abgerufen am 2. September 2015 (englisch).
- Stefan Schmidt: Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences. In: Review of General Psychology. Band 13, Nr. 2, Juni 2009, ISSN 1089-2680, S. 90–100, doi:10.1037/a0015108 (sagepub.com [abgerufen am 11. August 2021]).