Fortbildungscontrolling: Ist der Nutzen von Qualifizieru ... / 4 Evaluationsperspektiven – was kann gemessen werden?

Donald L. Kirkpatrick hat in seinem 1998 erschienenen Buch "Evaluating Training Programms: The four Levels" verschiedene "Kontrollebenen" für den Bildungserfolg bzw. den Nutzen von Fortbildung definiert und damit deutlich gemacht, wie vielschichtig das Thema ist. Ergänzt wurden die vier Evaluationsperspektiven von Dr. Jack J. Philipps um den Return on Investment (ROI). Diese fünf Perspektiven sind weltweit anerkannt. Nachfolgend wird dargestellt, welche Aspekte dabei betrachtet werden und welche Instrumente bzw. Methoden dabei eingesetzt werden können.

Controllingsperspektive		Fragestellung
1.	Die emotionale Reaktion -das subjektive Feedback	Wie hat das Seminar gefallen?
2.	Der Lernerfolg – erworbenes Wissen	Was hat der Teilnehmer gelernt?
3.	Der Transfererfolg – Umsetzung des Erlernten	Was wird konkret in der Praxis angewendet?
4.	Die Wirkung-Auswirkungen auf das Umfeld	Welche Wirkungen sind messbar?
5.	Return on Investment (ROI) -die wirtschaftliche Betrachtung	Hat sich die Investition in die Fortbildung gelohnt?

Tab. 1: Evaluationsperspektiven nach Kirkpatrick und Philipps

4.1 Die emotionale Reaktion – das subjektive Feedback

Auf dieser Ebene geht es darum zu erfahren, wie dem Teilnehmer das Seminar gefallen hat. Anhand eines Fragebogens wird die subjektive "Kundenzufriedenheit" durch ein persönliches Feedback gemessen. Viele Verwaltungen setzen einen solchen Seminarbewertungsbogen im Anschluss an Inhouse-Veranstaltungen ein. Bei Fortbildungsträgern, wie z.B. den Studieninstituten, gehören solche Kritikbögen ebenfalls zum festen Bestandteil der internen Qualitätssicherung.

Wichtig ist, den Teilnehmern die Bedeutung solcher Befragungsbögen zu verdeutlichen. Nur das "ehrliche" Ausfüllen der Antworten macht den Fragebogen zu einem sinnvollen Instrument. Allein der verantwortungsvolle Umgang mit dem Fragebogen hilft den auswertenden Personen, die richtigen Rückschlüsse im Hinblick auf künftige Veranstaltungen zu ziehen.

4.2 Der Lernerfolg – erworbenes Wissen

Die Teilnehmer sollen in einer Fortbildungsveranstaltung ihr Wissen oder Können erweitern. Ob das Kriterium "Lernen" erfolgt ist, kann man z.B. durch eine Selbsteinschätzung der Teilnehmer abfragen. Dabei bewerten die Mitarbeiter, ob sich ihre Kenntnisse oder Fertigkeiten nach der Seminarteilnahme im Vergleich zu der Situation vorher verändert haben. Hier liegt also – ebenso wie beim Ausfüllen des oben vorgestellten Seminarbewertungsbogens – eine subjektive Einschätzung der betroffenen Person vor.

Erworbene Kenntnisse können aber auch durch verschiedene Arten von Wissens- oder Verhaltenstests überprüft werden. Folgende Methoden sind dabei u. a. möglich:

Übungen	Vertiefung des erworbenen Wissens durch Wiederholung der vermittelten Kenntnisse in Form von unterschiedlich schwierigen Aufgabenstellungen (überwiegend bei fachspezifischen Fortbildungen)
Rollenspiele	Simulation von Alltagsszenarien, in denen das Verhalten der Mitarbeiter in schwierigen Gesprächssituationen oder Kundenkontakten geübt wird (vorrangig bei Seminaren im Kommunikations- und Verhaltensbereich)
Tests, Klausuren, Prüfungen	Schriftliche Überprüfung des Lernerfolgs, die Kontrolle erfolgt durch Selbstbewertung der Teilnehmer oder Fremdbewertung durch die Dozenten (überwiegend bei fachspezifischen Fortbildungen)

Tab. 2: Methoden zur Messung des Lernerfolgs

4.3 Der Transfererfolg – die praktische Umsetzung des Erlernten

Am Ende einer Qualifizierungsmaßnahme etwas neu zu wissen bzw. zu können und dies in einem Test oder Ähnlichem nachzuweisen, ist die eine Sache. Wichtig ist jedoch, dass die erworbenen Kenntnisse und Fähigkeiten auch in die tägliche Praxis umgesetzt werden. Auf dieser Evaluationsstufe geht es um die Frage, ob nach dem Besuch einer Fortbildung ein Transfer des Erlernten in die Praxis stattfindet. Der zeitliche Abstand zwischen der Qualifizierung und der Überprüfung des Transfererfolgs hängt vom Thema und Inhalt der Fortbildung ab.

Ein Aspekt sollte dabei besonders beachtet werden: Eine eventuelle Nichtanwendung des Gelernten bedeutet weder zwangsläufig, dass die vorangegangene Bildungsmaßnahme erfolglos war, noch dass der Teilnehmer nichts gelernt hat. Vielmehr deckt die Evaluation hier Probleme im Managementbereich auf. Lernen ist nur dann sinnvoll, wenn hinterher auch die zeitnahe Möglichkeit der Erprobung bzw. Umsetzung geboten wird. Die Gelegenheit des Transfers liegt unter Umständen aber gar nicht in der Hand des Fortgebildeten, sondern bei seinem Vorgesetzten oder anderen, die die Anwendung ermöglichen müssen.

Wer z. B. den Umgang mit der neuesten "Excel"-Version lernt, dann aber noch monatelang an seinem PC am Arbeitsplatz mit einer veralteten Version arbeiten muss, weil er viel zu früh an der Schulung teilgenommen hat, wird seine Motivation und die neu erlernten Fähigkeiten schnell verlieren. Hat jemand ein Präsentationstraining absolviert und bekommt danach keine Gelegenheit, die neuen Kenntnisse anzuwenden, weil sein Vorgesetzter sich vorbehält, die Ergebnisse des Fachbereichs zu präsentieren, findet kein Praxistransfer statt. Der Lernende steht aber auch selbst in der Verpflichtung, Transfermöglichkeiten wahrzunehmen. "Drückt"...