Qualitätskriterien für Testverfahren der Eignungsdiagnostik

Häufig orientieren sich Unternehmen bei der Auswahl eines konkreten Tests an der Popularität eines Verfahrens. Sie glauben, dass Testverfahren, die seit Jahren auf dem Markt sind und von sehr vielen Unternehmen eingesetzt werden, automatisch auch eine hohe Qualität aufweisen müssen. Andere wiederum glauben, dass sie einen guten Test daran erkennen, dass er plausible Ergebnisse liefert. Sie füllen selbst einen Fragebogen aus und vergleichen das Ergebnis mit ihrem Selbstbild. Stimmt beides überein, erscheint ihnen der Fragebogen qualitativ hochwertig.

Beide Prinzipien sind leider untaugliche Kriterien. Zum einen haben sich seit Jahrzehnten auch fragwürdige Testverfahren auf dem Markt etabliert, zum anderen ist es ein Leichtes, ein Feedback sprachlich so zu gestalten, dass jeder sich hierin wiederfinden kann. Die tatsächliche Qualität eines Tests bemisst sich an den Kriterien Objektivität, Reliabilität, Validität und Normierung.

Objektivität in der Personaldiagnostik

Das Kriterium der Objektivität bezieht sich auf die Frage, inwieweit ein Diagnostiker Einfluss auf das Ergebnis der Untersuchung nimmt. Eine Untersuchung ist vollständig objektiv, wenn es ohne Belang ist, welche Person den Test durchführt, auswertet und die Ergebnisse anschließend interpretiert. Die meisten modernen Testverfahren haben kaum Probleme mit der Objektivität. Dies gilt insbesondere für computergestützte Testverfahren. Ein Negativbeispiel wäre die Interpretation von Tintenklecksen, die heute allerdings kaum noch eine Rolle spielen dürfte.

Reliabilität in der Personaldiagnostik

Das Kriterium der Reliabilität bezieht sich auf die Frage, wie präzise die Aussage eines Testverfahrens ist. Wenn beispielsweise ein Bewerber in einem Intelligenztest einen IQ von 110 Punkten erzielt, stellt sich die Frage, ob der wahre Wert des Bewerbers nicht auch bei 100 oder 120 Punkten liegen könnte. Je geringer die Reliabilität ausfällt, desto unpräziser ist das Testergebnis.

Die Reliabilität muss bei der Entwicklung des Testverfahrens berechnet werden. Sie wird in einem mathematischen Kennwert, dem "Reliabilitätskoeffizienten", ausgedrückt. Hierbei handelt es sich um eine Zahl zwischen 0 und 1. Eine Realität von 0 bedeutet, dass die Aussage maximal unpräzise ist. Der Bewerber in unserem Beispiel erzielt zwar einen Wert von 110 Punkten, wir wissen aber dennoch nicht, ob er hochbegabt oder lernbehindert ist. Der Einsatz des Testverfahrens wäre mithin vollkommen wertlos.

Ein Wert von 1 würde hingegen bedeuten, dass das Testergebnis exakt der Realität entspräche. Unsere Bewerber hätte also einen IQ von 110 Punkten und nicht etwa einen von 111 oder 109. Grundsätzlich ist davon auszugehen, dass eine Reliabilität von 1 völlig unrealistisch ist. Testverfahren können – wie übrigens auch Interviews oder Assessment Center – niemals zu 100 Prozent präzise die Ausprägung treffen. Wie bei jeder Küchenwaage haben wir es immer mit einer gewissen Ungenauigkeit zu tun. Die Frage ist nur, wie (un)präzise die Aussagen sind. Folgen wir internationalen Standards, so muss die Reliabilität mindestens einen Wert von 0,7 erreichen.

Zudem sollten Aussagen zur Stabilität des Verfahrens (Retest-Reliabilität) vorliegen. Dabei wird untersucht, inwieweit sich das Testergebnis eines Menschen über einige Monate hinweg ändert. Würden wir beispielsweise die Leistungsmotivation eines Bewerbers heute und in drei Monaten messen, und dabei sehr starke Abweichungen feststellen, so wäre das Testverfahren für die Personaldiagnostik nicht geeignet.

Validität in der Personaldiagnostik

Das Kriterium der Validität bezieht sich auf die Frage, inwieweit das Testverfahren tatsächlich in der Lage ist, ein bestimmtes Merkmal zu messen. Hierbei geht es also zum Beispiel um die Frage, ob sich mit einem bestimmten Leistungstest die Leistung im Berufsalltag tatsächlich prognostizieren lässt oder ob ein Fragebogen zur Messung der Durchsetzungsstärke tatsächlich die Durchsetzungsfähigkeit und nicht etwa nur die Selbstsicherheit erfasst.

Zur Berechnung der Validität muss der Testanbieter umfangreiche empirische Studien durchführen und die Ergebnisse offenlegen. Der Validitätskoeffizient drückt aus, wie stark das Testverfahren zum Beispiel mit beruflichen Leistungen korreliert. Der Wert bewegt sich zwischen -1 und +1.

Normierung der Testverfahren zur Eignungsdiagnostik

Betrachten wir nur das Testergebnis des konkreten Bewerbers, so haben wir noch keine Informationen darüber, ob ein Merkmal besonders stark oder schwach ausgeprägt ist. Erst durch den Vergleich des individuellen Testergebnisses mit den Testergebnissen von vielen anderen Menschen ergibt sich ein Bezugssystem. Dieser Prozess wird als Normierung bezeichnet. Löst beispielsweise ein Bewerber 20 von 40 Leistungsaufgaben, so bedeutet dies nicht, dass er eine durchschnittliche Intelligenz hat. Es könnte ja sein, dass die Aufgaben extrem leicht oder extrem schwer waren. Erst der Vergleich mit 1.000 oder mehr Menschen, die denselben Test bearbeitet haben, gibt Auskunft darüber, inwieweit es sich um eine durchschnittliche Leistung handelt.

Anbieter von Testverfahren müssen daher eine Normierung der individuellen Testergebnisse anbieten. Die Vergleichsstichproben müssen hinreichend groß sein, sich auf eine relevante Bezugsgruppe beziehen und sollten nicht älter als circa zehn Jahre sein.

Warnung: Auf Qualitätskriterien unbedingt achten

Wer Testverfahren einsetzt, die grundlegende Schwächen in den oben genannten Kriterien aufweisen beziehungsweise deren Objektivität, Reliabilität und Validität nicht transparent belegt ist, handelt fahrlässig. Er schädigt potentiell seinen Arbeitgeber und geht nicht fair mit den untersuchten Menschen um.

In Deutschland ist es leider üblich, dass viele Testanbieter Informationen über die genannten Kriterien nicht veröffentlichen. In diesem Fall ist von einem Einsatz des Testverfahrens vollständig abzuraten, da man ansonsten die sprichwörtliche Katze im Sack kauft. Seriöse Anbieter haben nichts zu verbergen.