Donald L. Kirkpatrick hat in seinem 1998 erschienenen Buch "Evaluating Training Programs: The Four Levels" verschiedene "Kontrollebenen" für den Bildungserfolg bzw. den Nutzen von Fortbildung definiert und damit deutlich gemacht, wie vielschichtig das Thema ist. Ergänzt wurden die 4 Evaluationsperspektiven von Dr. Jack J. Philipps um den Return on Investment (ROI). Diese 5 Perspektiven sind weltweit anerkannt und bilden die Basis für das Fortbildungscontrolling. Nachfolgend wird dargestellt, welche Aspekte dabei betrachtet werden und welche Instrumente bzw. Methoden eingesetzt werden können.
| Controllingsperspektive |
Fragestellung |
| 1. |
Die emotionale Reaktion – das subjektive Feedback |
Wie hat das Seminar gefallen? |
| 2. |
Der Lernerfolg – erworbenes Wissen |
Was hat der Teilnehmer gelernt? |
| 3. |
Der Transfererfolg – Umsetzung des Erlernten |
Was wird konkret in der Praxis angewendet? |
| 4. |
Die Wirkung – Auswirkungen auf das Umfeld |
Welche Wirkungen sind messbar? |
| 5. |
Return on Investment (ROI) – die wirtschaftliche Betrachtung |
Hat sich die Investition in die Fortbildung gelohnt? |
Tab. 1: Evaluationsperspektiven nach Kirkpatrick und Philipps
4.1 Die emotionale Reaktion – das subjektive Feedback
Auf dieser Ebene geht es darum zu erfahren, wie den Teilnehmenden das Seminar gefallen hat. Anhand eines Fragebogens wird die subjektive "Kundenzufriedenheit" durch ein persönliches Feedback gemessen. Viele Verwaltungen setzen einen solchen Seminarbewertungsbogen im Anschluss an Inhouse-Veranstaltungen ein. Bei Fortbildungsträgern, wie z. B. den Studieninstituten, gehören solche Kritikbögen ebenfalls zum festen Bestandteil der internen Qualitätssicherung.
Gefragt wird z. B. nach der Kompetenz der Referenten, der Qualität der Seminarmaterialien, der Möglichkeit der aktiven Beteiligung oder der Praxisrelevanz der vermittelten Inhalte – aber auch nach Parkmöglichkeiten, der Verpflegung, den Räumlichkeiten oder dem Anmeldeverfahren.
Wichtig ist, den Teilnehmern die Bedeutung solcher Befragungsbögen zu verdeutlichen. Nur das "ehrliche" Ausfüllen der Antworten macht den Fragebogen zu einem sinnvollen Instrument. Allein der verantwortungsvolle Umgang mit dem Fragebogen hilft den auswertenden Personen, die richtigen Rückschlüsse im Hinblick auf künftige Veranstaltungen zu ziehen. "Gefälligkeitsbeurteilungen" (der Referent war ja eigentlich ganz nett) oder das oberflächliche Ankreuzen auf dem Bewertungsbogen aus Zeitgründen oder Desinteresse an der Auswertung sind nicht zielführend.
4.2 Der Lernerfolg – erworbenes Wissen
Die Teilnehmer sollen in einer Fortbildungsveranstaltung ihr Wissen oder Können erweitern. Ob das Kriterium "Lernen" erfolgt ist, kann man z. B. durch eine Selbsteinschätzung der Teilnehmer abfragen. Dabei bewerten die Mitarbeiter, ob sich ihre Kenntnisse oder Fertigkeiten nach der Seminarteilnahme im Vergleich zu der Situation vorher verändert haben. Hier liegt also – ebenso wie beim Ausfüllen des oben vorgestellten Seminarbewertungsbogens – eine subjektive Einschätzung der betroffenen Person vor.
Erworbene Kenntnisse können aber auch durch verschiedene Arten von Wissens- oder Verhaltenstests überprüft werden. Folgende Methoden sind dabei u. a. möglich:
| Übungen |
Vertiefung des erworbenen Wissens durch Wiederholung der vermittelten Kenntnisse in Form von unterschiedlich schwierigen Aufgabenstellungen (überwiegend bei fachspezifischen Fortbildungen) |
| Rollenspiele |
Simulation von Alltagsszenarien, in denen das Verhalten der Mitarbeiter in schwierigen Gesprächssituationen oder Kundenkontakten geübt wird (vorrangig bei Seminaren im Kommunikations- und Verhaltensbereich) |
| Tests, Klausuren, Prüfungen |
Schriftliche Überprüfung des Lernerfolgs; die Kontrolle erfolgt durch Selbstbewertung der Teilnehmer oder Fremdbewertung durch die Dozenten (überwiegend bei fachspezifischen Fortbildungen) |
Tab. 2: Methoden zur Messung des Lernerfolgs
4.3 Der Transfererfolg – die praktische Umsetzung des Erlernten
Am Ende eines Seminars etwas neu zu wissen bzw. zu können und dies in einem Test oder Ähnlichem nachzuweisen, ist die eine Sache. Ziel von Qualifizierungsmaßnahmen ist es jedoch, dass die erworbenen Kenntnisse und Fähigkeiten auch in die tägliche Praxis umgesetzt werden. Auf dieser Evaluationsstufe geht es um die Frage, ob nach dem Besuch einer Fortbildung ein Transfer des Erlernten in die Praxis stattfindet. Der zeitliche Abstand zwischen der Qualifizierung und der Überprüfung des Transfererfolgs hängt vom Thema und Inhalt der Fortbildung ab.
Ein Aspekt sollte dabei besonders beachtet werden: Eine eventuelle Nichtanwendung des Gelernten bedeutet weder zwangsläufig, dass die vorangegangene Bildungsmaßnahme erfolglos war, noch dass der Teilnehmer nichts gelernt hat. Vielmehr deckt die Evaluation hier Probleme im Managementbereich auf. Lernen ist nur dann sinnvoll, wenn im möglichst unmittelbaren Anschluss an ein Seminar auch die zeitnahe Option der Erprobung bzw. Umsetzung geboten wird. Die Gelegenheit des Transfers liegt unter Umständen aber gar nicht in der Hand des Fortgebildeten, sondern bei seinem Vorgesetzten oder anderen, die die Anwendung ermöglichen müssen.
Wer z. B. im Rahmen einer Projektmanagement-Schul...