Multitrait-Multimethod-Matrix

Der Begriff Multitrait-Multimethod-Matrix (oder auch Multitrait-Multimethod-Analyse; kurz MTMM-Analyse; engl. viele Eigenschaften und viele Methoden) bezeichnet eine Gruppe statistischer Verfahren, die zum Nachweis der Konstruktvalidität eines psychologischen Tests dienen. Generell wird dazu eine Kombination von mehreren (Persönlichkeits-) Eigenschaften und Messmethoden verwendet.

Theoretischer Hintergrund

Ein allgemeiner wissenschaftlicher Grundsatz lautet, dass wichtige Sachverhalte (z. B. eine physikalische Konstante, die Funktionssicherheit technischer Systeme, medizinische Befunde) möglichst auf unterschiedliche Weise gemessen werden, um die Ergebnisse abzusichern. Dieses Verfahren wird als multiple Operationalisierung bezeichnet.

Die MTMM-Analyse kann zur empirischen Überprüfung (Plausibilitätskontrolle) von psychologischen Eigenschaftsbegriffen (theoretischen Konstrukten) eingesetzt werden (Absicherung der Konstruktvalidität). Mit welchem Grad der Übereinstimmung erfassen verschiedene Messmethoden ein bestimmtes Konstrukt im Unterschied zu anderen, nicht gemeinten Konstrukten?

In der Regel wird die Konstruktvalidität eines neuen Testverfahrens (z. B. ein Fragebogen) durch den Zusammenhang (Korrelation) mit anderen bereits validierten Testverfahren, die den gleichen Sachverhalt (Konstrukt) messen, bestimmt. Die Korrelation sollte also zwischen einem neuen Intelligenztest und einem anderen Intelligenztest hoch sein, damit die Konstruktvalidität als gegeben angesehen werden kann. Dies wird als konvergente Validität (eine Unterart der Konstruktvalidität) bezeichnet.

Im Jahre 1959 veröffentlichten die Psychologen Donald T. Campbell und Donald W. Fiske ihren Artikel, in dem sie das Konzept der Multitrait-Multimethod-Analyse vorstellten. Mit dieser Methode erweiterten sie die Bestimmung der Konstruktvalidität durch die diskriminante Validität. Dieser liegt die Überlegung zugrunde, dass Messungen von verschiedenen Eigenschaften nur gering miteinander zusammenhängen sollten (im Vergleich zu Messungen gleicher Eigenschaften). Um sicherzustellen, dass ein Erhebungsinstrument (z. B. ein Fragebogen bei einer Umfrage) wirklich das erfasst, was er erfassen soll, werden folglich mehrere der Zielkonstrukte (z. B. die sozialen Einstellungen, Anomie, Dogmatismus und Konservatismus) erhoben.

Weiterhin stellten Campbell und Fiske in ihrem Artikel erstmals die Überlegung an, dass sich jede Messung aus einem Messfehler und einer systematischen Eigenschaft-Methoden-Einheit zusammensetzt. Das neue an dieser Überlegung war, dass nicht nur davon ausgegangen wurde, dass die Eigenschaft einen systematischen Einfluss auf das Ergebnis hat, sondern auch die Messmethode. Dieser Methodeneffekt kann einen entscheidenden Einfluss auf die Güte von Schlussfolgerungen haben. Die oben beispielhafte Befragung sollte also nicht nur mehrere Konstrukte, sondern also auch mehrere Methoden (z. B. telefonische, persönliche und schriftliche Befragung) einsetzen.

Die Ergebnisse dieser Befragung sollten in diesem einfachen Beispiel weitgehend oder sogar sehr hoch übereinstimmen. Schwieriger sind die Versuche zur Konstruktvalidierung, wenn sie verschiedenartige Untersuchungsmethoden des Zielkonstrukts einbeziehen: Selbstbeurteilungen, Verhaltensbeobachtungen, psychologische Tests und Fragebögen. In diesem Fall ist eine geringere Übereinstimmung zu erwarten.

Da bei einer MTMM-Analyse mehrere Methoden und Konstrukte verglichen werden, benötigt man jeweils mindestens zwei Methoden bzw. Konstrukte.

Methodeneffekt

Wird ein neuer Intelligenztest entworfen, wird dieser anhand anderer Intelligenztests validiert. Der Zusammenhang zwischen diesen unterschiedlichen Tests wird vermutlich anders ausfallen, wenn man zwei Fragebögen verwendet oder einen sprachfreien Test und einen Fragebogen heranzieht. Der Effekt dieses unterschiedlichen Zusammenhangs wird als Methodeneffekt bezeichnet.

Ursachen für Methodeneffekte können auf Messinstrumente, Beurteiler oder Situationen zurückgeführt werden (Methodenvarianz):

Messinstrument

Es werden verschiedene Messinstrumente zur Messung verschiedener Eigenschaften herangezogen. Dient der Absicherung gegen einen messmethodenspezifischen Bias.

Beurteiler

Verschiedene Beurteiler beurteilen eine Person anhand mehrerer Eigenschaften (Absicherung gegen einen beurteilerspezifischen Bias).

Kontext

Zu verschiedenen Zeitpunkten wird eine Erhebung von mehreren Eigenschaften vorgenommen (Absicherung gegen einen kontextspezifischen Bias).

Die Multitrait-Multimethod-Matrix

Die Übereinstimmung der unterschiedlichen Methoden und Konstrukte lassen sich empirisch bestimmen und in Koeffizienten der Korrelation ausdrücken. In einem als MTMM-Matrix bezeichneten Schema werden diese Koeffizienten so angeordnet, dass die Übereinstimmung (konvergente Validität) verschiedener Methoden für eine Eigenschaft und zugleich ihre Unterscheidungsleistung (Diskriminanzvalidität) hinsichtlich anderer Eigenschaften zu erkennen sind. So kann z. B. das Verhalten eines Schulkindes hinsichtlich Sozialverhalten, Ordnung und Konzentrationsfähigkeit von den Eltern, von den Lehrern oder vom Kind selbst beurteilt werden (Fremd- und Selbstbeurteilungen).

Korrelationsarten

Im Einzelnen sind zu unterscheiden :

• Die Monotrait-Monomethod-Korrelation findet sich in der Hauptdiagonalen der MTMM-Matrix (rot hinterlegt). Sie gibt den Zusammenhang zwischen der Messung einer Eigenschaft mit derselben Methode an. Dies bedeutet, in ihr werden die Reliabilitäten eingetragen, die möglichst hoch und ähnlich sein sollten.
• Die Monotrait-Heteromethod-Korrelation in den Nebendiagonalen (gelb hinterlegt) gibt den Zusammenhang zwischen der Messung einer Eigenschaften mit einer Methode und der Messung derselben Eigenschaft mit einer anderen Methode an. Sie entspricht der konvergenten Validität.
• Die Heterotrait-Monomethod-Korrelation zwischen der Messung einer Eigenschaft mit einer Methode und der Messung der anderen Eigenschaft mit derselben Methode. Sie entspricht der divergenten Validität (bzw. Diskriminanzvalidität). In der MTMM-Matrix befinden sich diese Korrelationen in Dreiecksmatrizen unterhalb der Reliabilitätsdiagonalen (grau hinterlegt).
• Die Heterotrait-Heteromethod-Korrelation zwischen der Messung der einen Eigenschaft mit der ersten Methode und der Messung der anderen Eigenschaft mit der anderen Methode. In der MTMM-Matrix unterhalb der Nebendiagonalen (grün hinterlegt).

Beispielmatrix

Eine Multitrait-Multimethod-Matrix

		Methode A			Methode B			Methode C
	Merkmal	1	2	3	1	2	3	1	2	3
Methode A	1	$rel_{A1,A1}$
	2	$r_{A2,A1}$	$rel_{A2,A2}$
	3	$r_{A3,A1}$	$r_{A3,A2}$	$rel_{A3,A3}$
Methode B	1	$r_{B1,A1}$	$r_{B1,A2}$	$r_{B1,A3}$	$rel_{B1,B1}$
	2	$r_{B2,A1}$	$r_{B2,A2}$	$r_{B2,A3}$	$r_{B2,B1}$	$rel_{B2,B2}$
	3	$r_{B3,A1}$	$r_{B3,A2}$	$r_{B3,A3}$	$r_{B3,B1}$	$r_{B3,B2}$	$rel_{B3,B3}$
Methode C	1	$r_{C1,A1}$	$r_{C1,A2}$	$r_{C1,A3}$	$r_{C1,B1}$	$r_{C1,B2}$	$r_{C1,B3}$	$rel_{C1,C1}$
	2	$r_{C2,A1}$	$r_{C2,A2}$	$r_{C2,A3}$	$r_{C2,B1}$	$r_{C2,B2}$	$r_{C2,B3}$	$r_{C2,C1}$	$rel_{C2,C2}$
	3	$r_{C3,A1}$	$r_{C3,A2}$	$r_{C3,A3}$	$r_{C3,B1}$	$r_{C3,B2}$	$r_{C3,B3}$	$r_{C3,C1}$	$r_{C3,C2}$	$rel_{C3,C3}$

Analyse der MTMM-Matrix

Campbell und Fiske haben die nachfolgende Auswertung der MTMM-Matrix vorgeschlagen.

Die konvergente Validität ist erfüllt, wenn:

• die Monotrait-Heteromethod-Korrelation sollen sich (statistisch signifikant) von null unterscheiden und hoch sein. Dabei haben Campbell und Fiske kein absolutes Maß angegeben. Ist diese Bedingung verletzt, werden mit unterschiedlichen Methoden unterschiedliche Konstrukte gemessen.

Die diskriminante Validität ist erfüllt, wenn:

• die Heterotrait-Monomethod-Korrelation geringer sind als die Monotrait-Heteromethod-Korrelationen.
• die Heterotrait-Heteromethod-Korrelationen niedriger sind als die Monotrait-Heteromethod-Korrelationen.
• die Korrelationskoeffizienten sowohl innerhalb einer Methode als auch zwischen den Methoden in etwa gleich sind.

Werden nicht alle Kriterien zu 100 % erfüllt, so muss die Konstruktvalidität deswegen nicht abgelehnt werden. Allerdings liegt es im Ermessen des Beurteilers, wann er die Konstruktvalidität ablehnt.

Kritik

Da nicht feststeht, was denn genau hohe oder niedrige Korrelationskoeffizienten sind, müssen hier Faustregeln angewandt werden. Auch andere Methoden zur getrennten Ermittlung der trait- und methodenbedingten Varianz wie die latenten Strukturgleichungsmodelle auf der Basis der Latent-State-Trait-Theorie stehen vor dieser Schwierigkeit.

Die empirischen Befunde der MTMM-Analysen waren in vielen Untersuchungen unbefriedigend, sogar enttäuschend, denn die Koeffizienten der konvergenten Validität wurden zwar statistisch signifikant, blieben aber häufig so niedrig, dass keine der Methoden die andere ersetzen könnte. MTMM-Untersuchungen führten häufig zu der Schlussfolgerung, dass anstelle einer als einheitlich behaupteten Eigenschaft eher mehrere, relativ unabhängige Komponenten anzunehmen sind (Fiske 1978). Die Ergebnisse könnten noch stärker voneinander abweichen, wenn z. B. für das im Beispiel genannte Schulkind noch zusätzliche Daten wie Beobachtungen des Sozialverhaltens oder der Ordentlichkeit im außerschulischen Alltag und unabhängige Verhaltensmessungen einbezogen würden (siehe multimodale Diagnostik).

Weiterentwicklungen

MTMM-Matrizen können ebenfalls über eine konfirmatorische Faktorenanalyse ausgewertet werden. Diese Methode erlaubt nicht nur die Trennung von Eigenschaft-, Methoden- und Messfehleranteilen, sondern auch eine Überprüfung der Unkorreliertheit der Methoden- und Eigenschaftsfaktoren, weshalb diese Weiterentwicklung die häufigst eingesetzte Variante der MTMM-Analyse ist.

Siehe auch

• Assessment
• Empirische Sozialforschung
• Korrelation
• Multimodale Diagnostik

Literatur

• Manfred Amelang, Lothar Schmidt-Atzert: Psychologische Diagnostik und Intervention. 4. Aufl. Springer, Berlin 2006, ISBN 978-3-540-28507-6.
• Donald T. Campbell, Donald W. Fiske: Convergent and discriminant validation by the multitrait-multimethod matrix. In: Psychological Bulletin, 1959, Volume 56, 81–105. doi:10.1037/h0046016
• Michael Eid, Fridtjof W. Nussbeck, Tanja Lischetzke: Multitrait-Multimethod-Analyse. In Franz Petermann, Michael Eid (Hrsg.). Handbuch der psychologischen Diagnostik. Hogrefe, Göttingen 2006, ISBN 978-3-8017-1911-1, S. 332–345.
• Donald W. Fiske: Strategies for personality research. Jossey-Bass, San Francisco 1978.
• Hermann-Josef Fisseni: Lehrbuch der psychologischen Diagnostik. Hogrefe, Göttingen 2004, ISBN 3-8017-0981-7.
• Schermelleh-Engel, K. & Schweizer, K. (2012) Multitrait-Multimethod-Analysen. In Kelava, Augustin & Moosbrugger, Helfried (2012). Testtheorie und Fragebogenkonstruktion, 2., aktualisierte und überarbeitete Auflage. Berlin, Heidelberg: Springer Berlin Heidelberg.
• Schermelleh-Engel, K. & Schweizer, K. (2003). Diskriminante Validität. In Kubinger, Klaus D., (2003). Schlüsselbegriffe der psychologischen Diagnostik, 1. Aufl. Weinheim; Basel; Berlin: Beltz.
• Werner W. Wittmann: Grundlagen erfolgreicher Forschung in der Psychologie: Multimodale Diagnostik, Multiplismus, multivariate Reliabilitäts- und Validitätstheorie. In: Diagnostica, 1987, Band 33, 209–226.