Testverfahren: Küchenpsychologie oder fundierte Wissenschaft

Schätzungen gehen davon aus, dass in deutschen Unternehmen mehrere hundert verschiedene Testverfahren zur Personalauswahl, Potentialanalyse oder in Weiterbildungsveranstaltungen eingesetzt werden. Mit ihrer Hilfe möchte man etwas über die kognitive Leistungsfähigkeit, die Persönlichkeit oder die Motive eines Menschen erfahren. Prinzipiell ist dagegen nichts einzuwenden. Testverfahren können eine sinnvolle Ergänzung darstellen. Allerdings gilt dies nur dann, wenn es sich um qualitativ gute Verfahren handelt.

Placebo oder nachweislich wirksam?

Bei Testverfahren zur Personalauswahl verhält es sich wie in der Medizin: Medikamente sind ein wichtiger Baustein der Behandlung. Sie können aber auch Schaden anrichten, beispielsweise wenn man ein wirkungsloses Medikament auswählt, das falsche Medikament verabreicht oder das passende Medikament falsch dosiert. Ein Blick in die Liste der Testverfahren, die in der deutschen Wirtschaft besonders häufig zum Einsatz kommen, offenbart leider, dass hier kaum ein Test zu finden ist, der aus wissenschaftlicher Perspektive zu empfehlen wäre.

Die zentralen Ursachen für diesen Missstand liegen zum einen in einem professionellen Marketing der Anbieter, zum anderen an der mangelnden Sicherheit vieler Kunden. Wer nicht aufpasst, wird hier als Kunde leicht zum Opfer und zwar ohne es zu merken. Worauf ist aber zu achten?

Verkaufsargumente, die Sie getrost ignorieren können

Zunächst ist es wichtig, zwischen Marketing und Produktqualität zu unterscheiden. Die folgenden Verkaufsargumente sollten von Kunden daher auch vollständig ignoriert werden. 

• Tradition: Dass ein Test seit Jahrzehnten existiert, sagt leider nichts über seine Qualität aus. Im Gegenteil: Verfahren, die Menschen in Farben oder Hirntypen einteilen, spielen in der Forschung schon lange keine nennenswerte Rolle mehr. Sie basieren auf Theorien, die zum Teil fast 100 Jahre alt sind und ignorieren damit auch die Erkenntnisse der letzten 100 Jahre.
• Verbreitung: Ob ein Test von 10 oder von 5000 Unternehmen eingesetzt wird, sagt nichts über dessen Qualität aus. Hier wirkt eher das Schneeballprinzip. Je mehr Unternehmen einen Test einsetzen, desto größer ist die Wahrscheinlichkeit, dass es ihnen andere gleich tun, weil sie glauben, dass ein verbreitetes Produkt auch ein gutes Produkt sei. Hat ein Test erst einmal eine kritische Kundenmasse erreicht, läuft der Verkauf quasi von allein und wird immer weniger hinterfragt. 
• Namhafte Kunden: Leider wird ein Test nicht dadurch gut, dass ein großes und namhaftes Unternehmen ihn einsetzt. Auch in Großunternehmen werden Testverfahren leider nicht immer professionell ausgewählt. Selbst wenn man dort in seinen Reihen mitunter Fachleute sitzen hat, werden diese oft nicht gefragt. 
• Zufriedene Kunden: Zum einen ist nicht zu überprüfen, wie viele Kunden tatsächlich zufrieden sind, zum anderen ist es auch unwichtig, weil deren Zufriedenheit nichts über die Qualität aussagt. Wer mehrere Jahre lang einen Test einsetzt und inzwischen mehrere hunderttausend Euro investiert hat, wird zwangsläufig mit dem Verfahren zufrieden sein, schon um die Investition vor sich selbst zu rechtfertigen. Der wahre Nutzen würde sich erst in einer Evaluationsstudie zeigen. Solche Studien werden jedoch so gut wie nie durchgeführt, vielleicht auch, weil man Angst vor den Ergebnissen hat.

Im Idealfall den Experten fragen

Die Entwicklung eines professionellen Testverfahrens setzt mehrere empirische Studien voraus, bei denen zahlreiche mathematische Kennwerte berechnet werden. Die Auswahl eines guten Testverfahrens ist – vergleichbar zur Auswahl eines Medikaments – eine Wissenschaft für sich und gehört in die Hand von Profis. Wer im eigenen Hause keine ausgebildeten Diagnostiker beschäftigt, sollte sich lieber neutralen Rat einholen.

Qualitätsmerkmale wissenschaftlicher Testverfahren

Um grob die Spreu vom Weizen zu trennen, sollte man selbst auf die folgenden Punkte achten:

• Reliabilität: Jede Untersuchung der Eigenschaften eines Menschen ist mit einem Messfehler behaftet, das heißt das Ergebnis der Untersuchung spiegelt nur ungefähr die tatsächliche Intelligenz oder Leistungsmotivation des Menschen wieder. Je größer der Messfehler ausfällt, desto ungenauer ist die Aussage. Die Testentwickler müssen differenzierte Angaben zu den Messfehlern vorlegen (sogenannte Reliabilitätskoeffizienten). Verweigern die Testanbieter die Offenlegung, so ist der Test nicht geeignet. 
• Validität: Zu jedem Test müssen mehrere Studien mit entsprechenden Kennzahlen (sogenannte Validitätskoeffizienten) vorliegen, die Aussagen darüber ermöglichen, inwieweit er tatsächlich in der Lage ist, ein bestimmtes Merkmal wie Intelligenz oder Motivation zu messen. Auch hierzu müssen detaillierte Informationen vorliegen. Ohne solche Kennwerte ist der Test nicht sinnvoll einsetzbar. 
• Normen: Will man eine Aussage darüber treffen, ob ein bestimmtes Merkmal einer Person unter- oder überdurchschnitt ausgeprägt ist, so erfolgt ein Vergleich mit einer großen Stichprobe von Menschen, die den Test bereits früher bearbeitet haben. Eine solche Normierung ist nur dann sinnvoll, wenn die Vergleichsdaten nicht zu alt sind (circa 8 Jahre) und sich auf eine sinnvolle Vergleichsstichprobe (also zum Beispiel keine amerikanischen Studenten) beziehen. Auch hier ist eine lückenlose Offenlegung aller Fakten zwingend erforderlich. 
• Übersetzung: Wurde ein Test ins Deutsche übersetzt, müssen die Studien zur Berechnung der Reliabilität, Validität und Normierung an deutschen Stichproben repliziert worden sein. Eine rein sprachliche Übersetzung reicht grundsätzlich nicht aus, da sich durch die Übersetzung die Eigenschaften des Tests verändert haben können. 
• Auswertung: Computertest müssen vollständig offenlegen, wie sie am Ende zu einem Gesamtergebnis kommen. Funktioniert das Ganze nach dem Prinzip der Black Box und der Anwender erfährt nichts über die Auswertungsroutinen, so sollte man die Finger von diesem Test lassen.

Anbietern auf den Zahn fühlen: Fragen stellen, Reaktionen beobachten

Wer einen guten Test auswählen will, muss sich vorher schlau machen, sich breit über das Angebot informieren – nicht nur bei Beraterfirmen, sondern auch in wissenschaftlichen Testverlagen – und als selbstbewusster Kunde auftreten. Fragen Sie doch einfach mal Ihren Testanbieter, ob er bei der Faktorenextraktion oblique oder orthogonal rotiert hat. Sie müssen gar nicht wissen, was das bedeutet. Es reicht schon, die Reaktion des Anbietern zu beobachten: Windet er sich aus der Sache heraus, erzählt rührende Geschichten von zufriedenen Kunden oder nimmt er Sie als Gesprächspartner ernst? 

Prof. Dr. phil. habil. Uwe P. Kanning ist seit 2009 Professor für Wirtschaftspsychologie an der Hochschule Osnabrück. Seine Schwerpunkte in Forschung und Praxis: Personaldiagnostik, Evaluation, Soziale Kompetenzen und Personalentwicklung.