Nichtprobabilistische Stichprobe
Eine nichtprobabilistische Stichprobe (englisch non-probability sample) ist eine Stichprobe, bei der die Wahrscheinlichkeiten, mit denen Elemente aus der Grundgesamtheit ausgewählt werden, nicht bekannt sind.[1] Sie ist also keine Zufallsstichprobe, sondern eine willkürliche oder systematische Stichprobe. Es gibt verschiedene nichtprobabilistische Stichprobenverfahren (englisch non-probability sampling), die sich in ihrer Aussagekraft unterscheiden. Als kostengünstig durchführbare Online-Umfragen sind sie weit verbreitet.
Geschichte
In der ersten Hälfte des 20. Jahrhunderts und zuvor wurde in der Meinungsforschung häufig auf nichtprobabilistische Stichproben zurückgegriffen. Jerzy Neymans 1934 veröffentlichter Artikel On the Two Different Aspects of the Representative Method: The Method of Stratified Sampling and the Method of Purposive Selection brachte die nationalen Statistikbehören dazu, auf Zufallsstichproben umzuschwenken. Zum Umdenken unter Meinungsforschern trug das Literary-Digest-Desaster bei, ebenso das schlechte Abschneiden von Verfahren mit Quotenstichproben bei den amerikanischen Wahlen 1948. Nichtprobabilistische Stichprobenverfahren wurden in manchen Gebieten noch weiter verwendet, etwa in der Marktforschung. Ab den 1970ern konnten Zufallsstichproben durch Random Digit Dialing als Telefonumfragen kostengünstig erhoben werden und setzten sich weiter durch. Im 21. Jahrhundert wurden bei Telefonumfragen Probleme durch Schweigeverzerrung gesehen. Gleichzeitig eröffnete das Internet die Möglichkeit, nichtprobabilistsche Stichproben kostengünstig mit Online-Panels zu erheben.[2] Diese Umfrageform ist mit Stand 2020 weit verbreitet.[3]
Eigenschaften
Nichtprobabilistsche Stichproben sind willkürliche oder systematische Stichproben. Diese Kategorien lassen sich weiter unterteilen, unter anderem nach der praktischen Umsetzung der Auswahl und nach der abschließenden Gewichtung der Ergebnisse.
Stichprobenverzerrung, die bei Zufallsstichproben im Idealfall nicht auftritt, ist ein größeres Problem für Verfahren mit nichtprobabilistische Stichproben.[4]
Verzerrung, Varianz und mittlerer quadratischer Fehler lassen sich, anders als bei Zufallsstichproben, nur mit zusätzlichen Annahmen berechnen.[5]
Bewertung
2013 gab die American Association for Public Opinion Research einen Bericht über nichtprobabilistische Stichproben im Kontext von Umfragen heraus. Im Fazit schlugen die Autoren vor, nichtprobabilistische Stichprobenverfahren als Spektrum aufzufassen. Am einen Ende stünden einfachste willkürliche Stichproben, deren Aussagekraft durch Evidenz nicht gestützt werde. Am anderen Ende stünden Umfragen, bei denen die Probanden mit Blick auf das Umfragethema ausgewählt und ihre Antworten unter der Verwendung von Variablen, die mit der zu untersuchenden Variable korrelieren, gewichtet würden. Schlussfolgerungen aus diesen seien „weniger riskant“ („less risky“). Alle anderen Verfahren zu beurteilen sei noch „unbekanntes Terrain“ („uncharted territory“).[6]
Eine 2020 erschienene Reviewarbeit betrachtete 25 Studien, die Verfahren mit Zufalls- und mit nichtprobabilistischen Stichproben verglichen. Vergleichsmaßstab waren häufig als hochwertig bekannte Zufallsstichproben, aber auch Wahlergebnisse und Daten aus Volkszählungen. In den meisten Fällen stellten sich die Zufallsstichproben als genauer heraus, es wurden aber auch gemischte Ergebnisse berichtet. Die Reviewarbeit betrachtete außerdem 12 Studien, die testeten, ob die Genauigkeit nichtprobabilistischer Stichprobenverfahren durch nachträgliche Gewichtung der Ergebnisse verbessert werden konnte. Dies war nur überwiegend nicht der Fall.[3]
Einzelnachweise
- NON-PROBABILITY SAMPLING. In: Glossary of Statistical Terms. Organisation für wirtschaftliche Zusammenarbeit und Entwicklung, 21. August 2002, abgerufen am 27. April 2021 (englisch).
- American Association for Public Opinion Research (Hrsg.): Report of the AAPOR Task Force on Nonprobability Sampling. Juli 2013, S. 9–12 (aapor.org [PDF]).
- Carina Cornesse, Annelies G Blom, David Dutwin, Jon A Krosnick, Edith D De Leeuw: A Review of Conceptual Approaches and Empirical Evidence on Probability and Nonprobability Sample Survey Research. In: Journal of Survey Statistics and Methodology. Band 8, Nr. 1, 9. Januar 2020, ISSN 2325-0984, S. 4–36, doi:10.1093/jssam/smz041.
- AAPOR 2013, S. 65
- AAPOR 2013, S. 63–66
- AAPOR 2013, S. 105 f.