Die ersten Schritte der Evaluationsplanung müssen unbedingt vor Beginn der eigentlichen Interventionsmaßnahmen unternommen werden. Faktisch ist es nicht selten zu beobachten, dass erst im Laufe oder sogar erst nach der Umsetzung von Projekten die Idee zu einer Prüfung der Wirksamkeit entsteht und ein Evaluationsteam eingebunden wird (Spiel, Lüftenegger, Gradinger & Reimann, 2010). Eine fachgerechte Evaluation ist dann aber nicht mehr oder allenfalls noch mit sehr starken Einschränkungen möglich.
Im Folgenden werden zunächst einige Hinweise gegeben, welche Schritte vor Beginn einer Interventionsmaßnahme aus Sicht einer formativen bzw. summativen Evaluation bedacht werden müssen. Bevor eine Intervention durchgeführt wird, sind demzufolge zunächst einige grundlegende Fragen zur Evaluation zu klären (vgl. Stockmann, 2009c).
- Was soll evaluiert werden? (Festlegung des Evaluationsgegenstands, der Evaluationsziele und der zentralen Fragestellung)
- Wer evaluiert? (interne vs. externe Evaluation)
- Wer sind die Beteiligten, die in die Evaluation einbezogen werden müssen? (Identifizierung der "Stakeholder")
- Wie hoch sind die Kosten/welche Ressourcen sind erforderlich? (Erstellung eines Budgets)
- Wie werden (gewünschte und unerwünschte) Veränderungen/Wirkungen der Intervention gemessen? (Entwicklung eines Untersuchungsdesigns und Auswahl der Methoden)
- Wann kann vom Erfolg der Intervention gesprochen werden? (Festlegung der Bewertungskriterien)
Alle Antworten auf diese Fragen sollten schriftlich begründet und festgehalten werden. Treten im Verlauf der Evaluation Probleme auf oder stellen sich gewählte Maßnahmen als unangemessen heraus, kann so zumindest die damalige Entscheidung nachvollzogen werden. Dies ist einerseits für die Motivation der Evaluierenden sinnvoll, andererseits kann eine solche schriftliche Begründung auch vor Angriffen von außen schützen. So kann zu jedem Zeitpunkt belegt werden, dass die Entscheidungen theoretisch fundiert getroffen wurden und alle zum damaligen Zeitpunkt zur Verfügung stehenden Informationen berücksichtigt wurden.
- Ist-Diagnose: Bei den nachfolgenden Ausführungen wird davon ausgegangen, dass die Interventionsmaßnahmen aufgrund einer bereits durchgeführten Ist-Analyse ausgewählt wurden (s. Kap. 4). Es sollte möglich sein die von einer Person zu verschiedenen Zeitpunkten erhobenen Daten eindeutig zuordnen zu können (z. B. über einen Code). Ein Vorher-Nachher-Vergleich ist sonst streng genommen nicht möglich.
- Bereitstellung und Erfassung von Ressourcen: Als Faustregel gilt, dass ca. 10% der zur Verfügung stehenden finanziellen Mittel bzw. personellen Ressourcen für die Evaluation der Intervention veranschlagt werden müssen (Christiansen, 2001). Auch wenn dies auf den ersten Blick viel zu sein scheint: Maßnahmen erneut durchzuführen, die letztendlich unwirksam sind, ist bereits mittelfristig gesehen wesentlich "teurer" als eine fachgerechte Evaluation von Maßnahmen von Beginn an. Obwohl meist erst im Laufe der weiteren Planung die Höhe der Kosten genauer kalkuliert werden kann, ist bereits zu Beginn sicherzustellen, dass die erforderlichen finanziellen Mittel und/oder personellen Ressourcen für die Evaluation zur Verfügung stehen. Alle für die Durchführung der Interventionsmaßnahme eingesetzten Ressourcen sollten so genau wie möglich erfasst werden. Nur so ist die Bewertung der Effizienz der Interventionsmaßnahme zum Abschluss möglich (vgl. Kap. 10.1.2).
- Auswahl der Evaluierenden: Zu entscheiden ist, ob eine interne oder externe Evaluation (vgl. Kap. 10.1.4) durchgeführt werden soll. Bei der Entscheidung für eine interne Evaluation ist festzulegen, ob diese in Form einer Selbst- oder Fremdevaluation durchgeführt werden soll. Bei einer externen Evaluation sollten, wenn möglich, verschiedene Angebote eingeholt und geprüft werden. Bei der Festlegung der Evaluierenden ist auf jeden Fall zu beachten, dass diese von allen Beteiligten in ihrer Rolle Zustimmung erfahren sollten, da im anderen Fall die Ergebnisse der Evaluation kaum akzeptiert werden. Bei der Entscheidung sind weiterhin die unter Kapitel 10.1.4 aufgeführten Vor- und Nachteile bezüglich interner und externer Evaluation abzuwägen.
Die nachfolgenden Punkte beziehen sich weitgehend auf interne Evaluationsmaßnahmen, da im Falle einer externen Evaluation davon auszugehen ist, dass die Evaluatorinnen und Evaluatoren über entsprechende Kenntnisse verfügen und die relevanten Aspekte berücksichtigen. Die Ausführungen können dennoch hilfreich sein, wenn sich eine Schule für eine externe Evaluation entscheidet, da sie zur Bewertung unterschiedlicher externer Angebote verwendet werden und so ggf. eine begründete Entscheidung für bzw. gegen ein Angebot unterstützen können.
- Evaluationsdesign festlegen: Es ist grundsätzlich zu prüfen, wie die Interventionsmaßnahme adäquat evaluiert werden kann. Wie im Exkurs "Evaluationsdesigns" dargelegt, kann ein experimentelles Design in Schulen oft nicht angewendet werden. Günstig wäre dann zumindest ein "Vorher-Na...