Methodenverzerrung
Der Begriff Methodenverzerrung (engl. common-method bias) bezeichnet in der Empirie eine Verzerrung der Messergebnisse, die dadurch entsteht, dass die Befragten gleichzeitig Quelle für die exogene Variable als auch die endogene Variable sind.[1] Die Befragten können bspw. häufig aus dem Fragebogen Schlussfolgerungen auf die zugrundeliegenden Hypothesen ziehen und ihr Antwortverhalten entsprechend anpassen. Da die Verwendung derselben Methode („Einheitsmethode“) zur Erhebung der Daten systematische Fehlervarianzen aller Variablen verursachen kann, wird auch der Begriff Einheitsmethodenvarianz (engl. common-method variance) verwendet, der das Phänomen treffender beschreibt.
Bedeutung
Die Bedeutung der Einheitsmethodenvarianz ist umstritten. Manche gehen davon aus, dass sie häufig ein Problem darstellt und Forscher alles ihnen Mögliche tun müssen, ihre Auswirkung möglichst gering zu halten.[2] Andere halten sie hingegen für eine „moderne Sage“, die sowohl eine Übertreibung als auch zu starke Vereinfachung der wahren Sachlage darstellt.[3] Wenn Methodenverzerrung ausgeschlossen werden kann, so ist dies ein wichtiger Schritt beim Nachweis von Konstruktvalidität.
Ursachen
Als Ursachen für die Einheitsmethodenvarianz werden u. a. Verzerrungen durch zweideutige Indikatoren, den Kontext der Messung, schwankende Befindlichkeiten der Befragten, soziale Erwünschtheit, Wunsch nach Konsistenz (Konsistenzverzerrung), unterstellte Theorien, Skalenendpunkte und Nachsichtverzerrung (leniency bias) genannt.[4]
Ex-ante-Ansätze zur Verbesserung einer Verzerrung
Die einzig verlässliche Möglichkeit zur Vermeidung einer Einheitsmethodenvarianz ist es, für einige der zu messenden Konstrukte alternative Informationsquellen heranzuziehen. Falls möglich sollte insbesondere für die abhängige Variable eine andere Informationsquelle verwendet werden als für die unabhängige Variable. Per Definition wird dadurch eine Einheitsmethodenvarianz ausgeschlossen.[5] Beispielsweise könnten aus einem Unternehmen stets zwei Personen befragt werden oder für die (un)abhängige Variable Daten aus einer Datenbank verwendet werden. Ist dies nicht möglich, so können bei der Gestaltung und Umsetzung des Fragebogens zumindest einige Aspekte beachtet werden. So lässt sich die Reihenfolge der Fragen mit Bedacht wählen. Auch können unterschiedliche Typen von Messskalen verwendet werden. Unterschiedliche Endpunkte und Formate der Skalen sind denkbar. Auch können Teilnehmer auf die Anonymität und Vertraulichkeit der Erhebung, und darauf, dass es weder „richtige“ noch „falsche“ Antworten gibt, hingewiesen werden und dass sie möglichst ehrlich antworten sollten. Faktenbasierte Indikatoren sind möglicherweise weniger für eine Einheitsmethodenvarianz empfindlich.[6]
Ex-post-Ansätze zur Erkennung einer Verzerrung
Es gibt eine Reihe statistischer Verfahren, mit denen ex post eine Einheitsmethodenvarianz erkannt und sogar korrigiert werden soll. In einer großangelegten Untersuchung von Richardson et al. (2009) zeigt sich jedoch für derartige Verfahren kaum ein Nutzen, darunter auch für ein bekanntes Verfahren von Lindell und Whitney (2001), sodass sich Ex-post-Ansätze nicht empfehlen. Unter Verwendung einer „idealen“ Markierungsvariable zeigt einzig ein Verfahren von Williams et al. einen Nutzen.[7] Williams et al. (2010) verstehen selbst unter einer Markierungsvariable nicht nur eine zusätzliche „variable that is not expected to be theoretically related to substantive variables in the model“, sondern fordern von dieser „capturing or tapping into one or more of the sources of bias that can occur in the measurement context for given substantive variables being examined, given a model of the survey response process“.[8] Die Autoren stellen ein dreistufiges Verfahren vor, mit dem unter Verwendung einer Markierungsvariable das Ausmaß der Einheitsmethodenvarianz bestimmt werden kann. Dieses Verfahren setzt an den Schwächen des Verfahrens von Lindell und Whitney (2001) an. Williams et al. stellen dabei auch Anforderungen an die Markierungsvariable dar.[9]
Quellen
- Podsakoff, P. M., & Organ, D. W. (1986). Self-reports in organizational research: Problems and prospects. Journal of Management, 12, 69–82.
- Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y. & Podsakoff, N. P. (2003). Common method biases in behavioral research: A critical review of the literature and recommended remedies. Journal of Applied Psychology, 88(5), 879-903.
- Spector P. E. (2006): Method variance in organizational research: Truth or urban legend? Organizational Research Methods, Vol. 9, p. 230.
- Williams, L.J., Hartman, N. & Cavazotte, F. (2010): Method Variance and Marker Variables: A Review and Comprehensive CFA Marker Technique. Organizational Research Methods, Vol. 13, No. 3, pp. 477-514.
- Chang et al. (2010): Common method variance in international business research. Journal of International Business Studies, Vol. 41, No. 2, pp. 178-184.
- Chang et al. (2010): Common method variance in international business research. Journal of International Business Studies, Vol. 41, No. 2, pp. 178-184.
- Richardson, H. A.; Simmering, M. J.; Sturman, M. C. (2009): A tale of three perspectives: Examining post hoc statistical techniques for detection and correction of common method variance. Organizational Research Methods, Vol. 12, pp. 762–800
- Williams, L.J., Hartman, N. & Cavazotte, F. (2010): Method Variance and Marker Variables: A Review and Comprehensive CFA Marker Technique. Organizational Research Methods, Vol. 13, No. 3, pp. 477-514.
- Williams, L.J., Hartman, N. & Cavazotte, F. (2010): Method Variance and Marker Variables: A Review and Comprehensive CFA Marker Technique. Organizational Research Methods, Vol. 13, No. 3, pp. 477-514.