Konzeption
Auf dieser Seite wird beschrieben, an wen sich die Evaluation vorrangig richtet (Adressaten) und welche Informationen mit ihrer Hilfe bereitgestellt werden sollen. Dazu stellen wir zunächst das geplante Vorgehen dar. Begründungen und Erläuterungen zu diesem Vorgehen finden sich unter Theoretische Grundlagen.
Adressaten
Die Evaluation im BLK-Modellprogramm "Demokratie lernen & leben" bezieht sich auf drei Adressatengruppen:
- Lehrer, Schüler, Eltern und Berater, die unmittelbar in die Projekte einbezogen sind. Hierbei geht es darum, dass die beteiligten Schulen und Personen aus ihren Erfahrungen lernen können, indem sie Rückmeldungen über ihr Handeln auf der Grundlage wissenschaftlicher Untersuchungen erhalten.
- Die pädagogische (Fach-)Öffentlichkeit, die darüber informiert werden soll, wie das Programm ,funktioniert', welche Ziele es im Einzelnen verfolgt und inwieweit es diese erreicht. Hier geht es insbesondere darum, die Chancen für Dissemination und Transfer auf andere Bereiche des Bildungswesens auszuloten.
- Die Institutionen der BLK, die über den Verlauf des Programms Rechenschaft einfordern. Für den Programmträger können durch die Evaluation wertvolle Informationen zur Planung und Koordinierung des Fortbildungs- und Unterstützungsangebots bereitgestellt werden.
Vorgehen
Kern der Evaluation sind die beiden Haupterhebungen jeweils im Frühsommer 2003 und 2006. Die Eingangserhebung soll zunächst ermitteln, unter welchen Voraussetzungen die Schulen in das Programm starten und welche unterschiedlichen Ausgangsbedingungen für Schulentwicklungsprozesse vorliegen. Mit der abschließenden Erhebung kann aufgezeigt werden, welche Veränderungen die Schulen während des Programms durchlaufen haben und welche Wirkungen die verschiedenen Maßnahmen insgesamt zeigen. Damit bei der Abschlusserhebung eine zielgenaue Passung zwischen den konkreten Maßnahmen der Schulen und den Inhalten der Befragungen möglich ist, soll in der Zeit zwischen 2003 und 2006 eine Systematisierung der verschiedenen Interventionen erfolgen.
| 1. Haupterhebung 2003 (Ausgangsbedingungen) |
2003 bis 2006 (Intervention) |
2. Haupterhebung 2006 (Wirkung) |
|---|---|---|
|
Schüler:
Lehrer:
Schulleitung:
|
|
|
Erste Haupterhebung
Die für Frühsommer 2003 geplante schriftliche Eingangserhebung soll alle beteiligten Programm-Schulen erfassen. Dazu wurden einheitliche Fragebögen jeweils für Schüler/-innen der Sekundarstufe, Lehrer/-innen und Schulleiter/-innen entwickelt.
Die Erhebung verfolgt im Wesentlichen drei Zwecke. Sie dient erstens der Analyse von Ausgangsbedingungen zu Beginn des Programms. Die Schulen erhalten hierzu Rückmeldungen über ihren Stand im Hinblick auf verschiedene Aspekte der Schulentwicklung und der Demokratieerziehung (demokratische Handlungskompetenzen, politisches Wissen, politische Einstellungen, demokratische Schulkultur, Rand- und Rahmenbedingungen etc.). Diese vergleichende Außenwahrnehmung der Schulen soll nicht zu deren Kontrolle verwendet werden, sondern kann als Ergänzung zu ihrer Selbstevaluation aktiv genutzt werden. Im Hinblick auf die Perspektive der weiteren Schulentwicklung sollen die hier erhobenen Daten zweitens eine Grundlage dafür schaffen, etwaige Veränderungen der demokratischen Handlungskompetenzen bei den beteiligten Akteuren sowie in der Schulkultur insgesamt zu beobachten. Sie dienen also als ,Baseline' für die Untersuchung von Veränderungen im Laufe des Programms. Drittens können diese Daten, sofern sie über mehrere teilnehmende Schulen zusammengefasst werden und somit Identifizierungen einzelner Schulen ausgeschlossen werden, dem Programmträger als Rückmeldungen dienen und auf diese Weise einen Beitrag dazu leisten, die Beratung, Fort- und Weiterbildung im Programm zu entwickeln.
Durch die Erhebung bei Schülern mehrerer Klassen aus unterschiedlichen Jahrgängen, ferner Lehrkräften, die dem Programm unterschiedlich nahe stehen, sowie bei der Schulleitung sollen unterschiedliche Perspektiven in die Evaluation einfließen. Der Lehrer- und Schulleiterfragebogen wird verstärkt auf Aspekte der Schulqualität (u.a. Führungsstil der Schulleitung, Kooperation im Kollegium, Zusammenarbeit mit Eltern und Externen usw.) eingehen und das im BLK-Rahmen durchzuführende Projekt ansprechen.
Die Durchführung der Erhebung erfolgt in Zusammenarbeit mit dem IEA-Data Processing Center in Hamburg und den Netzwerkkoordinatoren in den Ländern.
Theoretische Grundlagen
Leitend für die Evaluation ist der Gedanke, einerseits der Heterogenität der pädagogischen Ziele und Projekte im Programm gerecht zu werden, andererseits aber auch generalisierbare Aussagen über einzelne Ansätze hinaus treffen zu können. Diese Heterogenität der verschiedenen Maßnahmen beruht insbesondere darauf, dass die beiden Hauptziele des Programms - die Förderung demokratischer Handlungskompetenzen sowie die Entwicklung einer demokratischen Schulkultur - ein sehr breites Spektrum möglicher Unterziele abdecken, die wiederum eine Fülle denkbarer Interventionen zulassen (s. auch Kriterienkatalog). Zur Strukturierung der vielfältigen Maßnahmen eignet sich die Unterscheidung der vier Module, die jeweils einen inhaltlichen Schwerpunkt der Programmaktivitäten beschreiben (s. Abbildung). Im Rahmen der Evaluation soll überprüft werden, ob die verschiedenen Projekte in diesen Bereichen Veränderungen im Hinblick auf die beiden genannten Hauptziele bewirken. Dabei müssen selbstverständlich auch andere Faktoren berücksichtigt werden, die mit der Entwicklung demokratischer Handlungskompetenzen und einer demokratischen Schulkultur in Verbindung stehen (in der Abbildung auf der linken Seite). Es handelt es sich hier jedoch um solche Faktoren, in denen durch das BLK-Modellprogramm "Demokratie lernen & leben" keine Veränderungen angestrebt werden.
Neben den beiden Erhebungen zu Beginn und am Ende der Laufzeit des Programms sollen weiterführende Evaluationen durchgeführt werden, um der Vielfalt der verschiedenen Projekte gerecht zu werden. Es können vier Komponenten der Evaluation unterschieden werden:
- Summative Wirkungsevaluation für das Gesamtprogramm, in der alle beteiligten Schulen mittels standardisierter Instrumente befragt werden (s. Vorgehen bzw. 1. Haupterhebung)
- Prozessevaluation, durch die die Ziele, Arbeitsprozesse und Zwischenergebnisse in den Schulen erfasst wird; hier spielen insbesondere Verfahren der Selbstevaluation eine Rolle
- Spezifische Wirkungsevaluation für einzelne Module, Interventionen und Regionen, in denen ausgesuchten Fragestellungen durch interessierte Wissenschaftler/innen nachgegangen werden kann (beispielsweise auch durch längsschnittliche Untersuchungen)
- Programm-Monitoring, in dem es um die Dokumentation und Auswertung der zentralen Steuerung, Koordinierung, Kooperation, Fortbildung und Evaluation geht.
Die einzelnen Komponenten werden durch die Arbeitsgruppe am DIPF koordiniert und aufeinander bezogen.