Qualitätssicherung in der Psychologischen Diagnostik
Für das Gebiet der Psychologischen Diagnostik gibt es verschiedene Konzepte und Ansätze, die Qualität zu sichern bzw. zu erhöhen. Ziel ist der Einsatz wissenschaftlich fundierter Instrumente durch entsprechend ausgebildete Personen bei Fragestellungen, für welche die Instrumente tatsächlich entwickelt/geeignet sind. Mit entsprechenden Qualitätsinitiativen soll auch eine Abgrenzung gegenüber einem unqualifizierten Einsatz von Testverfahren durch nicht entsprechend qualifizierte Personen (der bis zur Scharlatanerie gehen kann) erreicht werden.
Notwendigkeit des Qualitätsbegriffs
Die Qualität psychodiagnostischer Verfahren ist Auftraggebern von Psychodiagnostik und Diagnostizierten nicht immer leicht ersichtlich, weil häufig nur Ergebnisse der Verfahren bekanntgegeben werden und die Funktionsweise der Instrumente nicht ausreichend dargestellt wird. Damit ist es den Beteiligten erschwert, professionell entwickelte Instrumente von solchen zu unterscheiden, welche die Gütekriterien psychodiagnostischer Verfahren nicht oder nur teilweise erfüllen. Nach mehreren Schätzungen der Berufsverbände werden nur etwa 20 % aller psychodiagnostischen Untersuchungen von qualifizierten Personen mit geeigneten Instrumenten (also mit ausreichender Qualität) vorgenommen.
Weil solche Instrumente oft und zunehmend für Entscheidungen von hoher Tragweite eingesetzt werden (Zulassungsentscheidungen für Bildungswege, Entscheidungen über Stellenbesetzungen und Karriereplanungen, Tauglichkeitsentscheidungen für bestimmte Tätigkeiten; Feststellung von Erkrankungen und Störungen und Ableitung der richtigen Behandlungsmaßnahmen), und Fehlentscheidungen beträchtliche Mehrkosten verursachen, beginnt sich bei allen Beteiligten ein Qualitätsbewusstsein zu entwickeln. Für die Rechtmäßigkeit dieser Entscheidungen ist es notwendig, dass die zugrundeliegenden Regeln sich nicht nur den Experten erschließen, sondern auch allgemeinverständlich und nachvollziehbar sind.
Dem steht entgegen, dass solche verbindlichen Richtlinien auf Gesetzesebene fehlen und auch nicht in Sicht sind. Das liegt auch daran, dass allseits anerkannte Kriterien für Qualität fehlen – auch im Fach selbst über die Details notwendiger Mindeststandards noch diskutiert wird. In den letzten Jahren hat es mehrere Versuche gegeben, Kriterien zu definieren und allgemeinverständlich darzustellen. Der Prozess der Konsensfindung ist noch nicht abgeschlossen. Angemerkt sei, dass man sich allerdings über die grundsätzlichen Anforderungen innerhalb der Psychologie seit langem einig ist. Diese gehören zum psychologischen Grundwissen und deren Einhaltung zu den berufsethischen Grundlagen psychologischer Tätigkeit. Der Diagnostik-Anbietermarkt ist aber nicht auf psychologische Fachpersonen begrenzt und vor allem außerhalb der Psychologie liegende Widerstände (vgl. DIN 33430) verzögern die Konsensfindung.
Man hat innerhalb der Psychologie erkannt, dass es nicht ausreicht, wenn diese Richtlinien nur für Fachleute verständlich sind. Deren Kenntnis ist auch für Auftraggeber und Diagnostizierte wichtig, um Fehlanwendungen psychologischer Verfahren zu erkennen bzw. geeignete Anbieter zu evaluieren. Denn letztendlich entscheiden vor allem die Auftraggeber in vielen Bereichen, welche Verfahren sich am Markt durchsetzen (z. B. Personaldiagnostik).
Elemente, die der Qualitätssicherung bedürfen
Maßnahmen der Qualitätssicherung müssen den gesamten diagnostischen Prozess umfassen, Dieser beinhaltet drei Aspekte:
- Die Qualität der eingesetzten Verfahren, insbesondere die Erfüllung der Gütekriterien psychodiagnostischer Verfahren
- Die Qualifikation der beteiligten Personen
- Die Einhaltung von Abläufen und Regeln (Datenschutz, Wahrung der persönlichen Integrität, Art der Rückmeldung der Ergebnisse) von der Planung bis zur diagnostischen Entscheidung.
Internationale Initiative
Die Internationale Testkommission (ITC) hat Internationale Richtlinien für die Testanwendung verabschiedet[1], die von vielen Berufsverbänden anerkannt werden (unter anderem auch vom Berufsverband Deutscher Psychologinnen und Psychologen).[2]
Inhalt:
- 1 VERANTWORTUNG FÜR ETHISCH KORREKTE TESTANWENDUNG
- 1.1 Handeln in professioneller und ethisch korrekter Weise
- 1.2 Stellen sicher, dass sie für die Testanwendung fachkompetent sind
- 1.3 Übernehmen Verantwortung für ihre Anwendung von Tests
- 1.4 Gewährleisten die sichere Verwahrung von Testmaterial
- 1.5 Gewährleisten die vertrauliche Behandlung von Testergebnissen
- 2 FACHLICH KOMPETENTE PRAXIS IN DER TESTANWENDUNG
- 2.1 Evaluation der möglichen Brauchbarkeit von Tests in einer diagnostischen Situation
- 2.2 Auswahl technisch einwandfreier und für die Situation angemessener Tests
- 2.3 Beachtung von Fragen der Fairness bei der Testanwendung
- 2.4 Notwendige Vorbereitungen für die Testdurchführung
- 2.5 Fachlich kompetente Testvorgabe
- 2.6 Akkurate Testauswertung und Analyse der Testergebnisse
- 2.7 Angemessene Interpretation der Testergebnisse
- 2.8 Klare und exakte Weitergabe der Testergebnisse
- 2.9 Überprüfung der Angemessenheit eines Tests und seiner Anwendung
- ANHANG A: RICHTLINIEN FÜR DEN ENTWURF VON GRUNDSÄTZEN IN DER TESTANWENDUNG
- ANHANG B: RICHTLINIEN FÜR VEREINBARUNGEN ZWISCHEN DEN AN EINEM TESTPROZESS BETEILIGTEN
- ANHANG C: GESICHTSPUNKTE, DIE BEI TESTS MIT BEHINDERTEN ODER IN ANDERER WEISE BEEINTRÄCHTIGTEN PERSONEN BEACHTET WERDEN SOLLTEN
Weitere Richtlinien (Guidelines) der Internationalen Testkommission betreffen[3]
- die Adaptation von Tests (Übertragung in andere Sprachen bzw. Kulturen)
- das computerbasierte und internetgestützte Testen
- die Qualitätskontrolle bei Testauswertung, Testanalyse und Ergebnisbericht
- die Sicherheit von Tests, Prüfungen und anderen Messungen („Testschutz“)[4]
- Practitioner Use of Test Revisions, Obsolete Tests, and Test Disposal (dt. Testrevision, veraltete Tests und Testentsorgung)
In Vorbereitung ist eine Guideline zum Testen nicht in der Muttersprache
Deutschland: DIN 33430 und Testkuratorium
Für die Eignungsdiagnostik gibt es die DIN-Norm 33430, welche den ganzen diagnostischen Prozess (Verfahren, beteiligte Personen und Abläufe) betrifft. In Österreich wurde diese Norm im Wesentlichen inhaltsgleich als Ö-NORM D4000 verabschiedet. In Deutschland existiert mit dem Diagnostik- und Testkuratorium der Föderation Deutscher Psychologenvereinigungen eine Einrichtung zur Überwachung der Qualität psychologischer Verfahren[5]. Es wurden Qualitätsrichtlinien als Checklisten (TBS-TK)[6] entwickelt, nach denen die Qualität von Tests beurteilt und in Form von Rezensionen publiziert wird[7]. Im Jahr 2016 wurde eine Neufassung der Norm veröffentlicht, die an die aktuellen Bedingungen angepasst wurde.[8]
ISO-Norm 10667
Auf Initiative des DIN konstituierte sich im März 2007 eine internationale ISO-Arbeitsgruppe, welche die DIN 33430 und weitere internationale Initiativen zu einer ISO-Norm „Psychological assessment“ (Procedures and methods to assess people in work and organizational settings) weiterentwickeln soll. Eine Endform der Norm wurde im Oktober 2011 veröffentlicht. Die Norm ISO 10667 Assessment service delivery – Procedures and methods to assess people in work and organizational settings ist unterteilt in zwei Teile (Part 1: Requirements for the client, Part 2: Requirements for service providers).[9] Erste kritische Analysen zeigen, dass sie ein niedrigeres Anforderungsniveau gegenüber DIN 33430 fordert und mehr auf den amerikanischen Markt zugeschnitten ist (was überhaupt zur Abfassung in zwei Teilen führte)[10].
Qualitätsstandards für spezielle Aspekte
Adaptation von Tests in andere Sprachen
Viele Tests sind stark sprach- und kulturabhängig. Das betrifft Formulierungen (die idiomatisch sein können) oder in verschiedenen Bildungssystemen bzw. durch verschiedene Bildungswege unterschiedlich geförderte Fähigkeiten und Fertigkeiten. Relevant wird dies für die Auswahl der adäquaten Vergleichsnormen, die für die Auswertung gelten. Beispielsweise zeigt sich Extraversion in Amerika anders als in Europa. Es reicht nicht aus, Tests zu übersetzen. Es muss auch geprüft werden, ob noch das Gleiche gemessen wird. Außerdem ist fast immer eine Neunormierung der Tests in den jeweils anderen Sprachen notwendig.
Die „Guidelines on Test Adaptation“ der ITC[11] beinhalten Antworten zu wichtigen Fragen, die bei Testadaptationen auftreten. Ein Vorläufer waren die Technical Standards for Translating and Adapting Tests and Establishing Test Score Equivalence, welche 1994 von sechs führenden internationalen psychologischen Fachgesellschaften herausgegeben worden sind.
Richtlinien für computer- und internetgestütztes Testen
Die Nutzung von Informationstechnologie in der psychologischen Diagnostik wird immer verbreiteter. Die Internationale Testkommission ITC hat deshalb Richtlinien für computer- und internetgestütztes Testen[12] erarbeitet, welche Möglichkeiten und Grenzen dieses Zuganges berücksichtigen.
Verfahren für die Arbeitsmedizin und den Arbeitsschutz
Die Bundesanstalt für Arbeitsschutz und Arbeitsmedizin (BAuA) bietet in ihrer „Toolbox“[13] eine Übersicht über Testverfahren an. Unter dem Stichpunkt „Gütekriterien“ finden sich Angaben, die für die Qualitätssicherung wichtige sind. Unter dem Stichpunkt „Gestaltungsbezug“ wird angegeben, ob das Verfahren zur Verhältnisprävention oder zur Verhaltensprävention eingesetzt wird. Für die individualpsychologische Diagnostik kommen dabei eher die Verfahren zur Verhaltensprävention in Frage, während Verfahren zur Verhältnisprävention im Arbeitsschutz zur Beurteilung von Arbeitsbedingungen erforderlich sind.
Andere Länder
USA: Standards for Educational and Psychological Testing
Die Amerikanische Psychologenvereinigung (American Psychological Association, APA) hat zusammen mit der American Educational Research Association (AERA), und der National Council on Measurement in Education (NCME) eine international stark beachtete Qualitätsrichtlinie veröffentlicht, die „Standards for Educational and Psychological Testing“.[14] Die aktuelle vierte Fassung wurde 1999 in den USA verabschiedet und im Jahr 2014 überarbeitet.[14]
In deutscher Sprache wurde eine frühere, aber ähnliche Fassung als Supplementum 1/1998 der Zeitschriften Diagnostica und der Zeitschrift für Differentielle und Diagnostische Psychologie veröffentlicht. Sie beinhaltet:
- Methodische Standards für die Testkonstruktion und -evaluation
- Standards für eine fachlich kompetente Testanwendung
- Standards für besondere Anwendungen (sprachliche Minderheiten, Personen mit Behinderungen)
- Standards für Vorgehensweisen (Durchführung, Auswertung, Interpretation; Schutz der Rechte der Probanden)
USA: Code of Fair Testing Practices in Education
Diese Standards (Stand 2004) sind vor allem auf Diagnostik im Bildungsbereich ausgerichtet. Sie sind mit den vorgenannten kompatibel, sehr auf Verständlichkeit und Praktikabilität ausgerichtet.
- A. Developing and Selecting Appropriate Tests (Testentwicklung und Testauswahl werden im Zusammenhang mit der Eignung für eine Fragestellung diskutiert)
- B. Administering and Scoring Tests (Anwendungsempfehlungen und die richtige Auswertung)
- C. Reporting and Interpreting Test Results (wie sollen Testergebnisse richtig interpretiert werden)
- D. Informing Test Takers (wie sollen Testergebnisse und diagnostische Entscheidungen bekanntgegeben werden).
Informationen über Tests und diagnostische Verfahren
Nach wie vor bleibt es für Laien schwer, die Qualität psychodiagnostischer Verfahren und Vorgehensweisen einzuschätzen. Hierzu ist detaillierte Information über die Verfahren notwendig, die üblicherweise in Form von Handbüchern von den Testentwicklern bereitgestellt werden muss. Mindeststandard der Dokumentation sind Aussagen über
- die theoretischen Grundlagen, auf denen das Verfahren beruht;
- die einzelnen Entwicklungsschritte;
- die Überprüfung der Gütekriterien;
- detaillierte Richtlinien für Durchführung, Auswertung und Interpretation.
Nicht immer existieren diese Handbücher, nicht immer werden sie frei zur Verfügung gestellt (was allerdings dann legitim ist, wenn das Verfahren zu schützen ist).
Auftraggeber, besonders von größeren Projekten, sollten allerdings auf die Einsichtnahme in diese Handbücher bestehen. Es bleibt für Laien dann unter Umständen trotzdem schwer, die Verfahrensgüte einzuschätzen. Man kann entweder Experten für die Bewertung der Verfahren beiziehen oder aber in der Fachliteratur Rezensionen dieser Verfahren suchen. Eine Reihe wissenschaftlicher Zeitschriften veröffentlichen regelmäßig solche Rezensionen, die in der Regel auch unabhängig von den Testentwicklern durchgeführt werden.
26 europäischen Verlage, die Tests publizieren, haben sich in der European Test Publishers Group organisiert. Hauptziel ist die Förderung einer qualitativ hochstehenden psychometrischen Testpraxis in Europa.[15]
Weblinks
- Verzeichnis der Testverfahren Namen, Autoren, Rezensionen; ZPID Trier, 24. aktualisierte Auflage 2017
- Diagnostik- und Testkuratorium: Bisher nach dem Testbeurteilungssystem TBS–TK rezensierte Tests
- Rezensionen der Fachgruppe Diagnostik des Schweizerischen Dienstleistungszentrum Berufsbildung Berufs-, Studien- und Laufbahnberatung (SDBB)
Einzelnachweise
- The ITC Guidelines on Test Use (PDF; 353 kB)
- Deutsche Fassung der Internationale Richtlinien für die Testanwendung
- Übersichtsseite der Guidelines der ITC
- Weitere Erläuterungen zum Testschutz von Eignungstests. ZTD Univ. Freiburg
- Testkuratorium Homepage
- Testbeurteilungssystem TBS-TK
- Testrezensionen nach TBS-TK
- DIN 33430-Portal der Deutschen Psychologen Akademie (Memento des Originals vom 14. August 2015 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- ISO-Norm 10667.1 und 10667.2
- Kritik ISO 10667 bei haufe.de
- ITC Guidelines on Test Adaptation
- Richtlinien für computer- und internetgestütztes Testen
- BAuA Toolbox
- Nicola Döring, Jürgen Bortz: Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer-Verlag, 2015, ISBN 978-3-642-41089-5, S. 450 (eingeschränkte Vorschau in der Google-Buchsuche).
- European Test Publishers Group
