Quasi-Experiment
Ein Quasi-Experiment ist ein Forschungsdesign und gehört in der Systematik der Versuchspläne zu den vier Haupttypen von Experimenten.[1] Der Begriff Experiment bezeichnet Untersuchungen, die eine Aussage über einen Kausalzusammenhang zweier Variablen ermöglichen. Ein Quasi-Experiment vergleicht natürliche Gruppen ohne randomisierte Zuordnung von Versuchspersonen. Das Untersuchungsdesign determiniert den Wert der kausalen Schlussfolgerungen, die anhand der empirischen Befunde festgestellt werden.[2]
Das Quasi-Experiment beinhaltet wesentliche Bestandteile hinreichender Gütekriterien, ermöglicht aber keine vollständige Kontrolle aller experimentellen Bestandteile, da unter anderem keine randomisierte Stichprobenauswahl erfolgt.[3]
Ursache und Wirkung im Experiment
Ziel eines Experiments ist die valide Erfassung der Abhängigkeitsbeziehung von Ursache und Wirkung, bzw. die Beantwortung der Frage „Bewirkt die ursächliche Ausprägung A der unabhängigen und durch eine Behandlung (englisch treatment) willkürlich variierbaren Variable X den Messwert W der abhängigen Reaktionsvariable Y?“.[4] Die Variation der unabhängigen Variable geht der Messung der abhängigen Variable zeitlich voran, so kann nur die unabhängige auf die abhängige Variable wirken.[5] In Quasi-Experimenten werden Variablen, die durch ihren Einfluss auf die abhängige Variable zu Alternativerklärungen des Kausalzusammenhangs führen, als Störfaktoren bezeichnet und müssen kontrolliert bzw. eliminiert werden.[6]
Abgrenzung zu anderen experimentellen Forschungsdesigns
Im Gegensatz zum Experiment findet beim Quasi-Experiment keine randomisierte Zuordnung von Versuchspersonen zu den Experimental- und Kontrollgruppen statt. Versuchsobjekte werden nach vorhandenen Eigenschaften ausgewählt, z. B. nach soziodemografischen Merkmalen oder Gruppenzugehörigkeit. Das Quasi-Experiment vergleicht natürliche Gruppen und das strenge Experiment vergleicht zufällig ausgewählte Gruppen.[7]
Der Mangel an Randomisierung führt zu Störfaktoren, da Unterschiede zwischen Experimental- und Kontrollgruppen nicht eindeutig auf die unabhängige Variable zurückzuführen sind und dadurch die interne Validität (Gültigkeit) beeinträchtigen. Die interne Validität, als das wichtigste Gütekriterium von Experimenten[8], bezeichnet die kausale Zurückführung einer Verhaltens- oder Merkmalsänderung der abhängigen Variable auf die Veränderung der unabhängigen Variable. Die Gewährleistung der internen Validität erfolgt durch die Methode der Randomisierung.[9] Die randomisierte Zuordnung minimiert bzw. neutralisiert bestehende Unterschiede zwischen Gruppen als Quelle von Störfaktoren und fungiert somit als statistischer Fehlerausgleich.[10]
Störfaktoren können in Form unterschiedlichster Artefakte auftreten, z. B. durch eine uneindeutige zeitliche Folge, Auswahlverzerrung durch die Selektion, statistische Regression usw. Die interne Validität nimmt stärker ab, wenn mehrere Störfaktoren gleichzeitig wirken.[11] Eine Beeinträchtigung der externen Validität (Induktive Verallgemeinerungsfähigkeit der Untersuchungsbefunde) ist bei Quasi-Experimenten nicht zu erwarten.[12] Die Abgrenzung zum Ex-post-facto-Experiment erfolgt über die Betrachtung der sogenannten Selbstselektion, bei der sich Probanden selbst Versuchsgruppen zuordnen.[13]
Kriterien zur Indikation des Quasi-Experiments
Ein Quasi-Experiment liegt vor, wenn:
- keine randomisierte Zuteilung von Probanden zu den Untersuchungsgruppen möglich ist.
- Externe Veränderungen als Manipulation der unabhängigen Variable interpretiert werden, obwohl die Veränderung durch Forschende bewirkt wurde.
- Interventionen erfolgen, die die abhängige Variable der Untersuchung beeinflussen.[14]
Arten Quasi-experimenteller Versuchspläne
Quasi-experimentelle Versuchspläne ohne Kontrollgruppe
Versuchspläne ohne Kontrollgruppen werden oftmals in der Feldforschung eingesetzt. Im Hinblick auf interne Validität unterliegen diese vielfältigen Beeinträchtigungen. So ist eine Ableitung von Schlussfolgerungen nur durch einen Ausschluss von Alternativerklärungen möglich.[15]
Ein-Gruppen-Prätest-Posttest-Versuchsplan mit nicht äquivalenten abhängigen Variablen
Zusätzlich zu abhängigen Variablen, für die Veränderungen durch die Intervention behauptet werden, erfolgt die Erhebung von abhängigen Variablen, für die keine entsprechenden Veränderungen angenommen werden. Es wird bei diesem Versuchsplan angenommen, dass Störfaktoren in gleicher Weise die Werte der beiden Gruppen von abhängigen Variablen beeinflussen. Aus diesem Grund können viele mögliche Beeinträchtigungen der internen Validität kontrolliert werden, somit ist dieser Versuchsplan vielfältig einsetzbar und lässt kausale Interpretationen der Ergebnisse zu.[16]
Ein-Gruppen-Versuchsplan mit wiederholter Intervention
Diese Art von Versuchsplan bietet sich an, wenn Behandlungen eingesetzt, ausgesetzt und wieder aufgenommen werden. Dabei werden mindestens vier Messzeitpunkte realisiert, bei denen die Behandlungen zwischenzeitlich ausgesetzt werden. Dieser Versuchsplan erlaubt die Analyse der Kovariation von Behandlungen und abhängigen Variablen über die Zeit. Der Versuchsplan bietet sich für Forschungsfragen an, die bereits vergängliche Effekte fokussieren oder einen längeren Untersuchungszeitraum nicht zulassen.[17]
Quasi-experimentelle Versuchspläne mit Kontrollgruppe
Das Fundament eines Quasi-experimentellen Versuchsplans ist ein Untersuchungsdesign, bei dem mindestens zwei Stichproben erhoben werden. Diese zwei Stichproben können zum Beispiel jeweils eine sogenannte Experimental- bzw. Kontrollgruppe darstellen. Experimental- und Kontrollgruppen werden generell erhoben, um einen Ursache-Wirkungs-Zusammenhang festzustellen, der jedoch nur bei einem Vergleich zwischen zwei gleichen Gruppen funktioniert. Die Gruppenvergleichbarkeit bei einem Quasi-experimentellen Versuchsplan kann jedoch nicht vorausgesetzt werden, da bei der Zuteilung der einzelnen Personen zu den beiden Gruppen keine Verfahren zur Kontrolle von Störfaktoren angewandt werden, wie z. B. Randomisierungs- oder Parallelisierungsverfahren.
Um die jeweiligen Quasi-experimentellen Versuchspläne mit Kontrollgruppe zu unterscheiden, werden verschieden realisierte Messzeitpunkte erhoben. Es gibt den sogenannten Posttest, bei dem nur ein Zeitpunkt gemessen wird sowie der Prätest-Posttest, bei dem zwei Zeitpunkte gemessen werden.[18]
Quasi-experimentelle Versuchspläne mit Kontrollgruppe und Prätest-Posttest
Quasi-experimentelle Versuchspläne mit Kontrollgruppe und Prätest-Posttest werden durchgeführt, da mithilfe des Prätest-Vergleichs zwischen der Experimental- und Kontrollgruppe bereits mögliche Unterschiede ausgeschlossen werden können, die bereits vor der systematischen Variation der unabhängigen Variable in der Experimentalgruppe bestanden. Unterschiede die bereits bei dieser ersten Messung auftreten, verhindern, dass spätere Unterschiede zwischen Experimental- und Kontrollgruppe eindeutig auf den zu untersuchenden Kausalzusammenhang zurückgeführt werden können. Es kann jedoch auch bei einem Prätest-Posttest nicht ausgeschlossen werden, dass es weitere unabhängige Variablen gibt, in denen sich beide Gruppen schon vorher unterschieden, da der Test nicht zwangsläufig gewährleistet, dass alle relevanten Variablen berücksichtigt wurden.[19]
Zeitreihenversuchspläne
Eine Zeitreihe ist eine Folge von Messungen einer (oder mehrerer) Variablen an aufeinanderfolgenden Zeitpunkten, sowohl vor als auch nach der Intervention (Behandlung). Vorausgesetzt werden mindestens drei Vorher- und Nachhermessungen. Die externe Validität ist sehr hoch, da die Erhebung im Alltag der Untersuchungsteilnehmer erfolgt. Zeitreihenversuchspläne werden in einfache und mehrfache Zeitreihenversuchspläne unterschieden.
Bei einer einfachen Zeitreihe werden in einer Versuchsgruppe vor und nach einer Intervention in festgelegten Zeitabständen mehrere Datenerhebungen durchgeführt. Störfaktoren (Reifung, Testeffekte, Veränderung der Messinstrumente, statistische Regression) können durch die Mehrfachmessungen kontrolliert werden. Einzig der Störfaktor der Zeiteinflüsse (zwischenzeitliches Geschehen) kann hier nicht kontrolliert werden und beschränkt die interne Validität.
Beim mehrfachen Zeitreihenversuchsplänen findet die Datenerhebung in mindestens zwei Gruppen statt. Im Falle zweier Gruppen wird meist der einfache Zeitreihenversuchsplan um eine Kontrollgruppe ergänzt. Grundsätzlich erfolgt die Erhebung in beiden Gruppen parallel, wobei die Kontrollgruppe keiner Intervention ausgesetzt ist. Sie wird ausschließlich vom zwischenzeitlichen Geschehen beeinflusst. So kann dieser Störfaktor auch kontrolliert und die interne Validität abgesichert werden. Der mehrfache Zeitreihenversuchsplan ist einer der aussagekräftigsten quasi-experimentellen Versuchspläne.[20]
Regressions-Diskontinuitäts-Analyse
Grundgedanke der Regressions-Diskontinuitäts-Analyse (RDA) ist es, eine Variable zu finden, die beeinflusst, ob eine Person behandelt wurde oder nicht. Es wird also versucht, eine vollständig kontrollierte Zuordnung anhand einer Zuordnungsvariable (englisch assignment variable, oder kontinuierliche Zuordnungsvariable genannt) zu erzeugen. Diese Variable dient als Kontrollvariable, muss beobachtbar sein und eine Unstetigkeit aufweisen. Eine Zuordnungsvariable X kann jede Variable sein, die normalverteilt und kontinuierlich ist, vor der Behandlung erhoben wurde und mit der Behandlung nicht korreliert. Sie liefert eine zusätzliche Information anhand derer der Versuchsleiter die Stichprobe aufteilen kann. Auf dieser Zuordnungsvariable X wird ein Schwellenwert definiert (z. B. der Mittelwert). Die Zuordnung der Individuen zu Kontrollgruppe oder Behandlungsgruppe erfolgt dann auf Basis dieses Schwellenwertes. Der Schwellenwert sollte möglichst nahe dem Mittelwert von X sein, um optimale Trennschärfe zu gewährleisten. Die Zuordnung der Personen erfolgt strikt und eindeutig entlang des Schwellenwertes. Um als Behandlungseffekt gelten zu können, muss die Diskontinuität exakt am Schwellenwert auftreten. Jede Alternativerklärung für eine Diskontinuität genau an jenem Schwellenwert müsste plausibel sein, um die Veränderung auf etwas anderes als die Behandlung zurückführen zu können.[21]
Lösungsansätze für Problemfelder des Quasi-Experiments
Die gefährdete interne Validität des Quasi-Experiments kann den Wert der Forschungsresultate mindern. Dennoch ist es möglich quasi-experimentelle Untersuchungen mit aussagekräftigen Schlussfolgerungen durchzuführen.[22] Quasi-Experimente sind um Kontrolltechniken, wie z. B. den Einsatz mehrerer abhängiger Variablen, zu erweitern, damit sie an Aussagekraft gewinnen.[23] Die Ausprägung von Störfaktoren und deren Einfluss auf die abhängige Variable muss aus den Messergebnissen herausgerechnet werden.[24] Beispielsweise versucht man dem Problem der Ungleichheit der Vergleichsgruppen in der Effektvariable vor der Behandlung dadurch zu begegnen, dass die Gruppen statistisch homogenisiert werden. Dies kann dadurch geschehen, dass Ausreißer im Prätest-Gruppenvergleich identifiziert und aus der weiteren Berechnung ausgeschlossen werden. Damit ist wieder gewährleistet, dass sich die zu vergleichenden Stichproben vorher nicht unterscheiden.
Literatur
- Bortz, Jürgen; Döring, Nicola (2006): Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler, 4. Auflage, Heidelberg.
- Hertel, Silke; Klug, Julia; Schmitz, Bernhard (2010): Quasi-experimentelle Versuchspläne, 1. Auflage, Göttingen, erschienen in: Holding, Heinz; Schmitz, Bernhard (Hrsg.): Handbuch Statistik, Methoden und Evaluation.
- Sarris, Viktor; Reiß, Siegbert (2005): Kurzer Leitfaden der Experimentalpsychologie, 1. Auflage, München.
- Sedlmeier, Peter; Renkewitz, Frank (2008): Forschungsmethoden und Statistik in der Psychologie, 1. Auflage, München.
- Shadish, W. R.; Cook, T. D.; & Campbell, D. T. (2002): Experimental and Quasi-Experimental Designs for Generalized Causal Inference, Boston: Houghton Mifflin.
Belege
- Vgl. Sarris, V.; Reiß, S. (2005): Seite 61.
- Vgl. Sedlmeier, P.; Renkewitz, F. (2008): Seite 124.
- Vgl. Bortz, J.; Döring, N. (2006): Seite 54.
- Vgl. Sarris, V.; Reiß, S. (2005): Seite 20 und Seite 39.
- Vgl. Sedlmeier, P.; Renkewitz, F. (2008): Seite 132.
- Vgl. Sedlmeier, P.; Renkewitz, F. (2008): Seite 124.
- Vgl. Bortz, J.; Döring, N. (2006): Seite 54.
- Vgl. Sedlmeier, P.; Renkewitz, F. (2008): Seite 132.
- Vgl. Sarris, V.; Reiß, S. (2005): Seite 41.
- Vgl. Bortz, J.; Döring, N. (2006): Seite 5.4
- Vgl. Sarris, V.; Reiß, S. (2005): Seite 73 f.
- Vgl. Bortz, J.; Döring, N. (2006): Seite 53.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 52.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 49.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 53 ff.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 53 ff.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 53 ff.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 55 ff.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 55 ff.
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010).
- Shadish, W. R.; Cook, T. D.; Campbell, D. T. (2002).
- Vgl. Hertel, S.; Klug, J.; Schmitz, B. (2010): Seite 49.
- Vgl. Bortz, J.; Döring, N. (2006): Seite 56.
- Vgl. Sedlmeier, P.; Renkewitz, F. (2008): Seite 178.