Folgende Fragen sollen nach der Durchführung einer Interventionsmaßnahme beantwortet werden:
- Welche Effekte sind durch die Interventionsmaßnahme eingetreten?
- Wurden die angestrebten Ziele erreicht?
- Wie beurteilen unterschiedliche Zielgruppen die Interventionsmaßnahme?
- Wie ist das Kosten-Nutzen-Verhältnis der Interventionsmaßnahme zu bewerten?
Nach Abschluss der Interventionsmaßnahmen dient die Evaluation dazu, die erzielte Wirkung festzustellen. Die summative Evaluation fokussiert nicht nur auf die Wirkung (Effektivität), sondern auch auf die Effizienz der Maßnahmen und bewertet, ob ihr weiterer Einsatz zu empfehlen ist. Hierbei wird die erzielte Wirkung im Verhältnis zu den eingesetzten Ressourcen bewertet. Die Bewertung der Wirkungen kann ggf. je nach Zielgruppe unterschiedlich ausfallen. Im Sinne einer pluralistischen Evaluation (vgl. Kap. 10.1.5) sollten daher die Bewertungen unterschiedlicher Zielgruppen berücksichtigt und festgehalten werden. Eine pluralistische Evaluation ist auch insbesondere sinnvoll, um abschätzen zu können, wie hoch die Motivation zur Teilnahme an weiteren Interventionsmaßnahmen ist: Wenn nach objektiven, wissenschaftlichen Kriterien eine Intervention zwar effektiv und effizient war, von der Mehrheit eines Kollegiums jedoch als Misserfolg oder zu aufwändig bewertet wird, wäre die Bereitschaft der Lehrkräfte zur Teilnahme bei einer erneuten Durchführung der Interventionsmaßnahme vermutlich relativ gering. Nur wenn eine solche Bewertung, die vom objektiven Ergebnis zur Wirksamkeit der Intervention abweicht, bekannt ist, können vor einer erneuten Durchführung erforderliche Maßnahmen ergriffen werden. So könnte zum Beispiel vor Beginn einer neuen Interventionsmaßnahme in einer zusätzlichen Veranstaltung nochmals erläutert und veranschaulicht werden, welcher objektiv messbare Erfolg bisher erreicht werden konnte. Hierdurch würde die Bereitschaft zur Teilnahme vermutlich wesentlich gesteigert.
Insgesamt sind folgende Evaluationsschritte nach einer Interventionsmaßnahme durchzuführen:
- Durchführung der "Nachher-Erhebung": Um Veränderungen feststellen zu können, müssen alle Angaben der ersten Befragung erneut erhoben werden, die im Rahmen des postulierten Wirkungsmodells relevant sind. Werden beispielsweise (standardisierte) Fragebögen eingesetzt, sollten dieselben Fragebögen erneut verwendet werden. Zusätzlich sollte erhoben werden, ob wesentliche Veränderungen der Lebens- oder Arbeitsumstände eingetreten sind, die als Störvariablen das Ergebnis beeinflussen könnten. Ebenfalls sollte geprüft werden, ob und inwieweit durch zusätzlich erhobene Daten Aussagen zur Nachhaltigkeit und zum Transfererfolg der Interventionen getroffen werden können. Darüber hinaus sollten zusätzliche Angaben aller Beteiligten zur subjektiven Einschätzung der Maßnahme erhoben werden. Lehrkräfte, die selbst an der Maßnahme teilgenommen haben, können detailliert nach ihren subjektiven Erfahrungen und Einschätzungen befragt werden. Lehrkräfte, die bisher nicht teilgenommen haben, können angeben, ob sie bei einer erneuten Durchführung an einer vergleichbaren Maßnahme teilnehmen würden, wobei auch die Gründe für ihre jeweilige Entscheidung erhoben werden sollten. Schulleitungen und alle Personen, die an der Koordination bzw. Organisation der Maßnahmen beteiligt waren, sollten zusätzlich zu ihrer Einschätzung der Effizienz und Effektivität der Maßnahme auch nach aufgetretenen Problemen oder ihnen besonders positiv aufgefallenen Aspekten gefragt werden.
- Auswertung der Erhebungen: Durch den Vergleich der Ergebnisse der Vorher- und Nachher-Erhebung können eingetretene Veränderungen festgestellt werden. "Einfache" Auswertungen in Form von Häufigkeitsauszählungen von Antworten, Bildung von Mittelwerten etc. können eventuell in höheren Klassenstufen auch als Projektarbeit durch Schülerinnen und Schüler vorgenommen werden, die gleichzeitig helfen, die zeitlichen Belastungen der beteiligten Lehrkräfte bei einer internen Evaluation zu reduzieren. Allerdings dürfen die Datenanalysen nicht auf rein beschreibender Ebene ("Deskriptiv-Statistik", s. Information) stehen bleiben, um zu aussagefähigen Erkenntnissen zu gelangen. Sogenannte "inferenzstatistische" Verfahren dienen zur Prüfung, ob z. B. Veränderungen zwischen zwei Messzeitpunkten (Vorher-Nachher) bedeutsam sind oder möglicherweise nur auf zufällige Einflüsse zurückzuführen sind. Hierbei ist u. a. die Zahl der befragten Personen zu berücksichtigen. Eine klassische inferenzstatistische Auswertung ist zum Beispiel dann nicht mehr sinnvoll, wenn die Zahl der Befragten (z. B. an Schulen mit kleinem Kollegium) nicht mindestens zweistellig ausfällt. In diesem Falle ist bei der Interpretation etwaiger Veränderungen besondere Vorsicht geboten. Anstelle genauer zahlenmäßiger Differenzen zwischen der Vorher- und Nachher-Messung - oder zusätzlich zu diesen - kann es dann sinnvoller sein auszuwerten, inwieweit die Einschätzungen der Befragten möglichst übereinstimmend positive oder negativ...