Jede wissenschaftliche Messmethode muss bestimmten Gütekriterien (im Sinne von Qualitätskriterien) genügen. Objektivität und Zuverlässigkeit sind Forderungen für nahezu alle Messungen. Im engeren Sinne sind diese Kriterien für psychologische Tests bzw. allgemeiner psychodiagnostische Verfahren verfeinert worden – sie sind Spezifikationen allgemeingültiger Gütekriterien für wissenschaftliche Erkenntnismethoden.
Haupt- und Nebengütekriterien
Unterschieden werden Haupt- und Nebengütekriterien.
Als Hauptgütekriterien gelten:
- Objektivität: Sind die Ergebnisse unabhängig von Einflüssen der Untersucher oder der Untersuchungssituation bei Durchführung, Auswertung und Interpretation zustande gekommen?
- Reliabilität: Wird das Merkmal zuverlässig gemessen oder ist die Messung in zu großem Ausmaß mit Messfehlern behaftet?
- Validität: Misst das Verfahren tatsächlich das gewünschte Merkmal? Ist die Verwendbarkeit des Verfahrens für eine diagnostische Entscheidung gegeben? In der Psychologischen Diagnostik werden die einzelnen Messmethoden hinsichtlich ihrer Validität in zwei Beziehungen beurteilt:
- Wird das gewünschte Merkmal durch die Methode gemessen (z. B. wird tatsächlich Intelligenz oder Konzentration oder Extraversion gemessen)?
- Ist mittels dieses Merkmales eine diagnostische Entscheidung mit entsprechender Güte zu treffen (z. B. kann aufgrund des gemessenen Testwertes eine Zulassungsentscheidung für ein Studium getroffen werden oder kann aufgrund des Konzentrationswertes auf Aspekte der Fahrtauglichkeit geschlossen werden)?
Nebengütekriterien sind unter anderem[1]
- Utilität: Ist das Verfahren nützlich oder tauglich für die Beantwortung einer speziellen Fragestellung? Dies wird manchmal auch als externe Validität (der Messung für die Entscheidung) bezeichnet.
- Akzeptanz: Ausmaß, in dem subjektive Meinungen, Bewertungen oder gesellschaftspolitische Überzeugungen gegen einen Test angeführt werden.[2]
- Testfairness: Werden Personengruppen z. B. nach Alter, Geschlecht, Regionen u. a. gleich behandelt, haben sie die gleichen Chancen auf ein entsprechendes Testergebnis?
- Testökonomie: Steht der Aufwand der Verfahrensanwendung im Verhältnis zum Nutzen durch das Verfahren, wird die Information des Verfahrens für die diagnostische Entscheidung wirklich benötigt?
- Transparenz: Beinhaltet das Verfahren verständliche Instruktionen? Kann der Kandidat sich vorher genügend mit dem Verfahren vertraut machen (ggf. sogar durch Übungsitems)? Gibt es danach ein angemessenes Feedback?
- Unverfälschbarkeit: Ist das Verfahren so konstruiert, dass der Kandidat seine Ergebnisse möglichst nicht gezielt steuern oder verfälschen kann?
- Zumutbarkeit: Belastet das Verfahren den Kandidaten in zeitlicher, psychischer und körperlicher Hinsicht nicht über Gebühr?
- Normierung: Die Normierung eines Tests liefert das Bezugssystem, um die individuellen Testergebnisse im Vergleich zu denen einer Referenzpopulation einordnen zu können. Normen müssen hinreichend aktuell und repräsentativ für die Referenzpopulation sein.
- Vergleichbarkeit: Es sollen Parallelformen oder Tests mit demselben Gültigkeitsbereich vorhanden sein.[3]
Beispiel: Schulnoten als Anwendung in einem anderen Bereich
- Objektivität: Sind die Noten frei von Willkür, z. B. durch unterschiedliche Bewertungsmaßstäbe?
- Reliabilität/Zuverlässigkeit: Werden gleiche Leistungen in einer Arbeit gleich bewertet und drücken sich Leistungsunterschiede von Personen angemessen in Notenunterschieden aus?
- Validität/Gültigkeit: Ist eine Fach-Note aussagefähig für einen entsprechenden Wissensstand für ein bestimmtes Fach?
- Fairness: Gibt es Benachteiligungen für bestimmte Personengruppen?
Siehe auch
- Qualitätssicherung in der Psychologischen Diagnostik (allgemeine Standards, Verfahren, Prozesse und beteiligte Personen)
Literatur
- Gustav A. Lienert, Ulrich Raatz: Testaufbau und Testanalyse. 6. Auflage. BeltzPVU, Weinheim 1998, ISBN 3-621-27424-3 („Klassiker“ in diesem Bereich).
- M. Amelang, L. Schmidt-Atzert: Psychologische Diagnostik und Intervention. 4 Auflage. Springer, 2006.
Einzelnachweise
- ↑ Nicola Döring, Jürgen Bortz: Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer, 2015, ISBN 978-3-642-41089-5, S. 449 (eingeschränkte Vorschau in der Google-Buchsuche).
- ↑ Lukesch,Helmut: Einführung in die pädagogisch-psychologische Diagnostik. Roderer, Regensburg, 1998, ISBN 978-3-89073-232-9, S. 700.
- ↑ Markus Bühner: Einführung in die Test- und Fragebogenkonstruktion. Pearson Deutschland GmbH, 2011, ISBN 978-3-86894-033-6, S. 76 (eingeschränkte Vorschau in der Google-Buchsuche).