Schweigeverzerrung
Ein Antwortausfall bzw. Stichprobenausfall (englisch non-response) ist eine Form von Antworttendenz und steht in der Empirie für das Nichtreagieren auf Fragen bei Befragungen. Antwortausfälle können sowohl bei mündlichen (Interviews) als auch schriftlichen Befragungen (Fragebogen) vorkommen.
Antwortausfälle können zu einer starken Senkung der Ausschöpfungsquote (auch Rücklaufquote) führen. Allerdings muss eine hohe Rücklaufquote noch nicht mit einem niedrigen Nonresponse Bias einhergehen.[1] Nicht zufällige, ergo systematische Antwortausfälle können zu einer Schweigeverzerrung (engl. non-response bias) führen. Diese Verzerrung des Ergebnisses, die dadurch entsteht, dass Antwortende andere Antworten geben als diejenigen geben würden, die nicht geantwortet haben, ist die Folge eines systematischen Antwortausfalls. Tritt die Verzerrung bei der Erhebung auf (unit nonresponse) spricht man auch von Selektivität der Stichprobe oder Stichprobenselektivität (vgl. Selbstselektion).
Verwandte Konzepte sind Studienabbrecher verschiedenster Ursachen. In klinischen Studien kann es auch vorkommen, dass Teilnehmer umziehen und ein Kontakt verloren geht. Dies gilt insbesondere für Längsschnittstudien, die teils über Jahrzehnte dauern können. Auch können Teilnehmer versterben oder aufgrund eines wechselnden Gesundheitszustandes nicht mehr geeignet sein, an der Studie weiter teilzunehmen (vgl. Drop-out und Lost to follow-up).
Partieller und vollständiger Ausfall
- Man spricht von partiellem Antwortausfall (englisch item non response), falls eine in die Stichprobe gelangte Erhebungseinheit nur in Hinblick auf gewisse Untersuchungsmerkmale (oder Fragen) ausfällt. Ursachen hierfür können sein, dass ein Befragter in einem Interview einzelne Antworten verweigert. Dies ist insbesondere zu beobachten bei sensitiven Fragen. Bei Fragebögen kann es auch vorkommen, dass ein Teilnehmer eine Frage überliest, etwas unleserlich oder falsch ausfüllt. Dabei handelt es sich um Antwortausfälle im weiteren Sinne, man spricht auch von fehlenden Daten (missing values). Kann eine systematische Schweigeverzerrung ausgeschlossen werden, so kann ein partieller Ausfall durch Imputation abgefedert werden.
- Man spricht von vollständigem Antwortausfall (engl. unit non response), wenn gar keine Antwort von einem potenziellen Teilnehmer kommt. Häufigste Ursachen sind Verweigerung, Nicht-Erreichbarkeit sowie die Unfähigkeit von Zielpersonen (z. B. durch Krankheit, Sprachprobleme, bei Panelstichproben auch Todesfälle) an der Befragung zu partizipieren. In wissenschaftlichen Untersuchungen wird zumindest versucht, der Verweigerung und der Nicht-Erreichbarkeit entgegenzukommen. Bei Verweigerung werden Anreize gegeben, es doch zu versuchen und das Problem der Nicht-Erreichbarkeit versucht man zu lösen, indem man es mehrmals probiert, den zu Befragenden beispielsweise telefonisch zu erreichen. Dies wird selten in kommerziellen Meinungsforschungsinstituten praktiziert, da diese möglichst schnell ein Umfrageergebnis benötigen. Im Prinzip sind auch bei vollständigem Antwortausfall Korrekturmethoden denkbar.[2]
Es gibt keine einheitlichen Richtlinien, wann ein Teilnehmer als Antwortgeber bzw. was als Antwortausfall zählt. Entsprechende Kriterien zur Beurteilung müssen die spezifischen Aspekte der Untersuchung berücksichtigen. Es bietet sich beispielsweise an, Schlüsselfragen der Befragung oder einen Anteil an Schlüsselfragen als Kriterium zu formulieren. Bei Online-Fragebögen kann eine Software oft allgemeine Grenzen für die Summe nicht beantworteter Items festlegen, z. B. sei ein Teilnehmer von einem Gewinnspiel oder einer weiteren Befragung auszuschließen, wenn er weniger als 80 % aller Items (Einzelfragen) beantwortet hat. Es ist nützlich den Teilnehmern eine angemessene Fehlerquote einzuräumen.
Beispiel
In einem Büro liegen für einen Tag Fragebögen bereit, auf denen die Büromitarbeiter ihre Arbeitsbelastung dokumentieren können. Je nach Büromitarbeiter ist sie (etwas) verschieden, gemessen werden soll die durchschnittliche Arbeitsbelastung.
- Ein Büromitarbeiter A, der aufgrund seiner hohen Arbeitsbelastung keine Gelegenheit zum Ausfüllen findet, lässt seinen hohen Messwert nicht in das Endergebnis einfließen (er verschweigt ihn).
- Ein Büromitarbeiter B, der aufgrund seiner geringeren Arbeitsbelastung den Fragebogen ausfüllen kann, lässt seinen niedrigen Messwert hingegen einfließen.
Das Endergebnis der durchschnittlichen Arbeitsbelastung wird durch Schweigen von A verzerrt, der eine andere Antwort als B gegeben hätte.
Prüfung auf Schweigeverzerrung
Es gibt mehrere Möglichkeiten, um eine Schweigeverzerrung zu verringern. Zum einen können nicht antwortende Befragte gezielt nach den Ursachen für die Nichtbeantwortung befragt werden, etwa durch telefonische Nachfrage. Auch können sie durch wiederholtes Vorlegen des Fragebogens doch noch zu einer Beantwortung gebracht werden.
Es gibt jedoch auch statistische Möglichkeiten, eine Schweigeverzerrung zu erkennen. So können früh eintreffende mit spät eintreffenden Antworten verglichen werden, etwa indem das erste mit dem letzten Drittel der eintreffenden Fragebögen im Rahmen eines t-Tests verglichen werden. Gibt es keine signifikanten Unterschiede im Antwortverhalten, so kann das auf ein Fehlen einer Schweigeverzerrung deuten, da angenommen wird, dass das letzte Drittel der Antwortenden den nicht antwortenden Befragten am nächsten komme.[3] Es wurde jedoch darauf hingewiesen, dass durch dieses Verfahren nicht das Verhalten der Nichtantwortenden, sondern nur das Verhalten der Spätantwortenden betrachtet wird, wodurch es zwar für eine Prüfung auf Zögerverzerrung (late-response bias) geeignet ist, für eine Prüfung auf Schweigeverzerrung jedoch ungeeignet.[4] Denn eine späte Antwort kann eine gänzlich andere Ursache haben als eine ausbleibende Antwort.
Es können stattdessen von vornherein bekannte Variablen (z. B. Unternehmensgröße, Branche) von Antwortenden und Nichtantwortenden verglichen werden. Hierfür kann oftmals ebenfalls ein t-Test oder ein Chi-Quadrat-Test auf Homogenität verwendet werden.
Als Responsive Design wird bei Bevölkerungsbefragungen die Anpassung der Stichprobenziehung während der Feldphase bezeichnet. Mit solchen Methoden können Stichprobenverzerrungen, die während der Erhebungsphase auftauchen, unter Nutzung von Paradaten frühzeitig erkannt und korrigiert werden.
Literatur
- Jürgen Schupp, Christof Wolf (Hrsg.): Nonresponse Bias: Qualitätssicherung sozialwissenschaftlicher Umfragen. Springer-Verlag, 2015.
- James R. Lindner, Tim H. Murphy, Gary E. Briers: Handling nonresponse in social science research. In: Journal of Agricultural Education, 42.4, 2001, S. 43–53.
- Robert M. Groves: Nonresponse rates and nonresponse bias in household surveys. In: Public Opinion Quarterly, 70.5, 2006, S. 646–675.
Einzelnachweise
- Jürgen Schupp, Christof Wolf (Hrsg.): Nonresponse Bias: Qualitätssicherung sozialwissenschaftlicher Umfragen. Springer-Verlag, 2015, S. 13.
- Martin Messingschlager: Fehlende Werte in den Sozialwissenschaften-Analyse und Korrektur mit Beispielen aus dem ALLBUS. Vol. 7. University of Bamberg Press, 2012. S. 147 ff.
- J. Scott Armstrong, Terry S. Overton: Estimating Nonresponse Bias in Mail Surveys. In: Journal of Marketing Research. Band 14, 1977, S. 396–402.
- John T. Mentzer, Daniel J. Flint: Validity in Logistics Research. In: Journal of Business Logistics. Band 18, 1997, S. 199–216.