Beziehungen und Zusammenhänge – Wirtschaftspsychologische Gesellschaft (2024)

Dieses Kapitel zeigt: Die klassischen Gütekriterien Objektivität, Reliabilität und Validität sind nicht unabhängig voneinander, es bestehen Beziehungen, sie sind ein System. Und dieses Gesamtsystem und die Zusammenhänge gilt es in der Praxis zu optimieren, eine Balance herzustellen. Wie das geht, das zeigt dieser Beitrag. …

Objektivität, Reliabilität, Validität: Gütekriterien als System

Die vorangehenden Kapitel haben die Gütekriterien Objektivität, Reliabilität und Validität beschrieben, die verschiedenen Unterarten vorgestellt und definiert. Jetzt gilt es die Frage nach den Zusammenhängen zu stellen: Wie hängen die klassischen Gütekriterien zusammen? Gibt es eine Hierarchie, ein System, welche Wechselwirkungen bestehen?

Folgende Abbildung in Anlehnung an Neumann (2003a) verdeutlicht die hierarchischen Beziehungen zwischen den klassischen Gütekriterien (vgl. Neumann, 2003a).

Die Beziehungen zwischen den klassischen Gütekriterien sind konkret:

• Objektivität als Basis für Reliabilität. Hier sind die Einflüsse beidseitig. Sind Messungen stark von den beteiligten Forschern abhängig, dann sind diese weniger genau. Ergebnisse streuen dann stärker, da die verschiedenen Personen bei Datenerhebung, Auswertung, und Dateninterpretation zusätzlich Varianz erzeugen. Diese störenden Einflüsse (Störvariablen) verringern also die Reliabilität.
• Reliabilität und Validität. Die Beziehung zwischen diesen beiden Gütekriterien ist rein theoretisch betrachtet eindeutig. Ist eine Messung nicht genau, dann kann auch das zu Messende Konstrukt nicht zuverlässig erhoben werden. Reliabilität ist also eine Voraussetzung für Validität. In der Praxis gibt es aber oft folgendes Dilemma: Maßnahmen, die zu hoher Reliabilität führen, gefährden oft die Inhaltsvalidität. Um eine Messung (etwa von einer Persönlichkeitsdimension in einem Persönlichkeitstest) sehr genau zu machen, helfen viele Fragen. Das geht dann aber zu lasten anderer Aspekte des Konstruktes das man messen möchte (beispielsweise anderer Persönlichkeitsdimensionen für die dann kein Platz mehr ist) weil es sonst zu viele Fragen im Test werden. Zudem werden Messungen genauer, wenn man die breite des Konstruktes einschränkt.
• Ohne interne Validität keine externe Validität. Interne Validität und externe Validität lassen sich ebenfalls hierarchisch betrachten. Interne Validität ist eine notwendige aber nicht hinreichende Bedingung für externe Validität. Ohne interne Validität sind Ergebnisse in Zweifel zu ziehen, können nicht generalisiert werden.

Die geschilderten Beziehungen der Gütekriterien geben Hinweise zur Optimierung des Gesamtsystems.

Gütekriterien als Gesamtsystem optimieren: Tipps

Wie sollte man vorgehen, um Gütekriterien insgesamt zu optimieren?

Unstrittig ist, dass jede Art von Objektivität zu maximieren ist. Sie ist eine wichtige Bedingung für Reliabilität und damit dann letztendlich auch für Validität.

Reliabilität sollte ebenfalls soweit möglich erhöht werden, ohne jedoch die Inhaltsvalidität anzugreifen. Die Grenze zur Erhöhung von Reliabilität wäre daher immer dort, wo man anfängt wesentliche Inhalte des Konstruktes (Inhaltsvalidität) zu opfern, um diese zu erhöhen. Reliabilität und Validität verhalten sich also manchmal als Gegenspieler. Ein Eliminieren von Items mit geringer Reliabilität im Sinne von Trennschärfe geht oft auf Kosten der Breite einer Messung, der Inhaltsvalidität. Höhere Reliabilität durch das eliminieren von Items macht Tests oft inhaltlich eindimensionaler – das Reliabilitäts-Validitäts-Dilemma.

Wie ist es mit interner und externer Validität? Soll interne Validität „auf Teufel komm raus“ maximiert werden, um die externe Validität zu sichern? Auch hier gibt es ein Dilemma: Maßnahmen, die interne Validität erhöhen, schaden oftmals der externen Validität. So ist die beste interne Validität z.B. bei einer Laborstudie noch lange keine Garantie für die Generalisierbarkeit im Feld. Zu realitätsfern sind dann oft die Bedingungen in den Laborversuchen. Häufig wird man abwägen müssen: Je standardisierter und klinischer eine Versuchsumgebung, desto höher zwar die interne Validität und die Kontrolle über störenden Einflüsse – aber desto klinischer die Versuchsbedingungen und desto geringer die Übertragbarkeit auf andere Situationen. Verzichtet man aber auf interne Validität sind Ergebnisse wertlos und auch nicht mehr übertragbar, denn das Risiko für Verzerrungen ist zu groß. Wie sieht die Lösung aus? Die Kunst ist eine möglichst realistische Versuchsumgebung zu haben, ohne auf Kontrolle der Versuchsbedingungen verzichten zu müssen. Die Kunst der optimalen Balance – das ist von einem guten Wirtschaftspsychologen zu erwarten.

Der letzte Abschnitt gibt Literaturhinweise zur weiteren Vertiefung.

Objektivität, Reliabilität, Validität: Literatur

Aktuelle Literatur-Tipps zu den klassischen Gütekriterien wissenschaftlicher Forschung.

Das nächste Kapitel befasst sich mit dem Forscher als Problem für die Qualität von Forschungsergebnissen.