Einleitung
Lernen aus Evaluationen – aber wie ?
Vom Nutzen der Schulrückmeldungen am Beispiel des QuaSUM-Projektes
Schulleistungsstudien haben spätestens seit der Vorlage der internationalen und nationalen PISA-2000 Berichte in der öffentlichen und fachlichen Diskussion einen Stellenwert erlangt, der gelegentlich den Eindruck entstehen lässt, eine Steigerung der Leistungsfähigkeit des Schulsystems ließe sich wesentlich durch die Erhebung der entsprechenden Daten und ihre anschließende Rückmeldung an die beteiligten Schulen bzw. die öffentliche Diskussion der Gesamtbefunde bewirken. Die mit dem vorliegenden Heft 3 der Reihe „Schulforschung in Brandenburg“ vorgestellten Ergebnisse der QuaSUM-Projekte 2 und 3 knüpfen an die Ergebnisse des QuaSUM-Projekts 1 an und leisten einen konkreten Beitrag zur Diskussion der eingangs dargestellten Frage, ob und in welcher Weise Schulleistungsstudien einen Impuls zur Schul- und Unterrichtsentwicklung leisten.
Ausgelöst durch die für Deutschland schlechten Ergebnisse bei der TIMSS-Studie hat das Land Brandenburg 1998 eine eigene „Qualitätsuntersuchung an Schulen zum Unterricht in Mathematik“ (QuaSUM) geplant und diese im Mai 1999 am Ende der Jahrgangsstufen 5 und 9 durchgeführt. Ungefähr acht Monate nach den Datenerhebungen wurde im Januar 2000 den einbezogenen Schulen der wissenschaftliche Zwischenbericht sowie klassen- bzw. kursbezogene Ergebnisse in Form von spezifischen Rückmeldungen bereitgestellt. Im Dezember 2000 wurde von der mit der Untersuchung beauftragten Humboldt-Universität zu Berlin der Abschlussbericht der Untersuchung vorgelegt und als Heft 1 der Schriftenreihe „Schulforschung in Brandenburg“
breit publiziert.
Wozu Schulrückmeldungen ?
Die Leistungs- und Einstellungsvergleiche der Schul- und Klassenrückmeldungen sollten den Schulen eine eigene allgemeine Standortbestimmung und eine vergleichende Orientierung an Durchschnittswerten für ihre Schulform bzw. an statistisch erwarteten Ergebniswerten für ihre Klassen bzw. Kurse ermöglichen. Bezogen auf schulische Handlungsstrategien war allen Beteiligten im Vorfeld deutlich, dass die Rückmeldungen bzw. die Ergebnisse nur begrenzt Aufschluss über mögliche schulische Ursachenzusammenhänge und erst recht keine Konzepte zur Beseitigung eventuell erkannter Defizite geben konnten. Eine spezifisch schulbezogene Ergebnisrückmeldung verstand sich damit im Rahmen der QuaSUM-Untersuchung als ein Element neben anderen im Prozess der Qualitätsverbesserung von Einzelschulen: Die klassen- bzw. kursbezogenen Rückmeldungen sollten in Verbindung mit den übergreifenden Berichts- ergebnissen als extern erhobener Auslöser für schulinterne Reflexionen und Handlungsschritte im Zusammenhang von Rechenschaftslegung bzw. Selbstvergewisserung und Qualitätsent- wicklung dienen.
Die Auseinandersetzungen mit den wissenschaftlich begründeten Informationen über erreichte und statistisch erwartbare Leistungsstände bzw. Einstellungsmerkmale sollten in jeder Schule zur Verbesserung der schulischen und unterrichtlichen Arbeit genutzt werden. Das in der Schulrückmeldung enthaltene Wissen sollte die Schulen in die Lage versetzen, eigene Stärken
und Schwächen und deren Bedingungsfaktoren zu identifizieren und daraus Schwerpunkte und Programme zur Weiterentwicklung der Unterrichts- und Schulqualität abzuleiten.
Als ein Ergebnis der Untersuchung kann festgehalten werden, Schulen interessieren sich für ihre Ergebnisse und wollen diese verstehen, z.B. einordnen können im Vergleich zu anderen Schulen.
Dazu ist allerdings eine sorgfältige Aufbereitung der Ergebnisse notwendig, die die Risiken und denkbaren Missverständnisse berücksichtigt und sich um Verständnis und Anschaulichkeit bemüht.
Über den Nutzen von Schulrückmeldungen gibt es kaum gesicherte Erkenntnisse
Um die zahlreichen „Nutzungsvermutungen“ über Schul- und Klassenrückmeldungen gezielt zu überprüfen, wurden zwei QuaSUM -Nachfolgeprojekte durchgeführt.
Nachdem die QuaSUM-Schulen sich von Januar bis Juni 2000 mit ihren Schul- und Klassenrückmeldungen beschäftigen konnten, wurde im Juni 2000 in Kooperation mit der Humboldt-Universität zu Berlin eine schriftliche Befragung aller in den QuaSUM-Schulen mit den Ergebnissen befassten Lehrkräfte durchgeführt. Der abschließende Gesamtbericht zur Auswertung dieser Befragung (Projekt QuaSUM 2) die durch Dr. Rainer Peek vorgenommen wurde, wird hiermit vorgelegt.
Da schriftliche Befragungen mit weitgehend standardisierten und geschlossenen Fragen nur Teile der tatsächlichen innerschulischen Verarbeitungsprozesse sichtbar machen, wurde zusätzlich im November 2000 eine qualitative Fallstudie an sechs Gymnasien in Auftrag gegeben (Projekt QuaSUM 3). Mit diesem eher qualitativ angelegten Ansatz sollten im Rahmen von Gruppengesprächen mit den beteiligten Lehrkräften einer Schule diejenigen Fragen genauer ausgeleuchtet werden, die aus den eher quantitativen Fragebogendaten von QuaSUM 2 nicht eindeutig interpretiert werden können. Geklärt werden soll u.a. auch, ob und ggf. wie eine vorhandene Kooperationskultur (Schulprogramm, verabredete pädagogische Zielsetzungen usw.) oder die allgemeine Schulkultur Einfluss auf die Weise genommen haben, wie die externen Ergebnisse eingeordnet oder gewürdigt wurden. Die von Dr. Ilse Nilshon durchgeführte Untersuchung wird im zweiten Teil dieser Veröffentlichung vorgestellt.
Die beiden in den Projekten QuaSUM 2 und 3 unterschiedlich angelegten Zugänge zur Frage der innerschulischen Verarbeitungsformen von Ergebnisrückmeldungen ergänzen sich und sollen den Schulen, aber auch der Bildungsverwaltung und der interessierten Fachöffentlichkeit helfen, ein vertieftes und differenziertes Verständnis zu den Möglichkeiten und Grenzen von Schulrückmeldungen aus Schulleistungsstudien zu erlangen.
Was die Projekte QuaSUM 2 und 3 mit ihren jeweils spezifischen Ansätzen nicht leisten können, ist die Aufklärung, wie die Prozessqualitäten des Mathematikunterrichts tatsächlich aussehen.
Dies wäre eher Unterrichtsforschung die aus Kosten- und Zeitgründen durch das MBJS nicht leistbar ist. Auch die Aufklärung von großen Unterschieden zwischen mehreren Klassen in einem Jahrgang kann darüber nicht geleistet werden, vielmehr geht es um die Bearbeitung der Frage, wie Lehrkräfte als Experten für ihren eigenen Unterricht mit diesen Unterschieden umgegangen sind.
Was kann die Untersuchung leisten, was bleibt offen?
Die beiden Studien sollen einen Beitrag zur Schulentwicklungsforschung leisten, sie sollen auf der Ebene des Gesamtberichts für das MBJS und die pädagogisch interessierte Öffentlichkeit verallgemeinerbare Aussagen und Befunde zum Zusammenhang von extern erhobenen Daten und der Nutzung für innerschulische Entwicklungsprozesse mitteilen. Auf der Basis derartiger Ergebnisse könnten gezielter Strategien entwickelt werden, wie die in Zukunft verstärkt zu erwartenden Testverfahren und Schulleistungsstudien neben dem unmittelbaren Informationsgewinn für die unterrichtenden Lehrkräfte für zielgerichtete Schulentwicklungsprozesse genutzt werden können.
Auf zwei Fragen, die in der Konzeption der beiden Nachfolgeprojekte zu QuaSUM aufgeworfen wurden, gibt die Studie keine Antwort. Das ist zum einen die Frage nach der Rolle der Schulaufsicht im Prozess der Durchführung und Auswertung von Schulleistungsstudien und zum anderen die Frage nach dem Umgang mit Einzelergebnissen.
Im Vorfeld der QuaSUM-Untersuchung gab es vor allem von den beteiligten Schulen große Ängste und Befürchtungen, insbesondere zu möglichen Reaktionen der Schulaufsicht auf eher schlechte Ergebnisse. In einer gemeinsamen Entscheidung des MBJS mit der großen Mehrheit der Schulaufsicht wurde festgelegt, sie in die Rückmeldung der konkreten Klassenergebnisse nicht mit einzubeziehen. Allerdings konnten Schulen von sich aus die Schulaufsicht um Beratung und Unterstützung bitten. Angesichts der offenen Diskussion über die Probleme der Balance zwischen Kontrolle und Beratung im schulaufsichtlichen Handeln ist diese Entscheidung vor allem von den (beteiligten) Schulen sehr begrüßt worden. Gleichwohl bleibt die Frage offen, ob so ein Vorgehen auf Dauer sinnvoll ist.
Damit verbunden ist auch die Frage nach den Konsequenzen, die sich für die Schulaufsicht stellt, wenn sie Schulen mit sehr unterschiedlichen Ergebnissen betreuen. Erhalten Schulen unter ungünstigen Rahmenbedingungen dann auf der Basis der Outputbetrachtung gezielt zusätzliche Ressourcen, um sich verbessern zu können?
Befürchtungen gab es aber auch bezogen auf andere Personengruppen. Sollten Eltern die Mittelwert-Ergebnisse der verschiedenen Klassen innerhalb der eigenen Schule erfahren dürfen?
Sind Schulrückmeldungen zu Leistungstests wie QuaSUM eine Information, die im Internet nachlesbar sein soll, wie dies in den Niederlanden geschieht? Sollten die Ergebnisse aller Schulen in Rankinglisten sortiert veröffentlicht werden?
Angesichts der großen Ängste, die in Deutschland und auch in Brandenburg bei Lehrkräften und Schulleitungen bestehen, wenn es um die öffentliche Diskussion der Qualität einzelner Schulen geht und vor dem Hintergrund der noch nicht besonders verbreiteten Erkenntnis, dass zu einem fairen Vergleich der Leistungsergebnisse von Schulen auch eine Beachtung, wenn möglich auch Berechnung der außerschulischen Kontextmerkmale erfolgen sollte, plant das MBJS keine öffentliche Bekanntmachung der Ergebnisse der Einzelschulen. Notwendig ist jedoch, dass die Schulverwaltung Ressourcen für die Beratung der Schulen, unterstützende Angebote bei der durch die Schulen verantworteten Ergebnisauswertung bereithält und die Schulen selber auch zu solcher Auswertungstätigkeit anhält.
Je nach Weiterentwicklung der Erhebungs- und Auswertungsinstrumente, die bei Leistungs- untersuchungen und Testverfahren eingesetzt werden können, wird die Diskussion jedoch in einigen Jahren erneut geführt werden müssen, in welcher Weise eine größere Öffentlichkeit hergestellt werden kann.
Prof. Dr. Terhart hat einmal den Satz formuliert: „Das Wissen über Leistungsergebnisse und Leistungsvoraussetzungen von Schulsystemen und Schulen wächst schneller als das Wissen darüber, was man mit diesem Wissen anfangen kann und soll.“ Schulen, Schulverwaltung, Lehrkräfte und Eltern erhalten zunehmend mehr Informationen über differierende Leistungsstände und Wirkungsgrade von Schulen. Das erzeugt oft Verunsicherung und Abwehr – eine Haltung, die angesichts des traditionellen Selbstbildes im Schulbereich verständlich ist.
Gleichwohl wird sich das Schulsystem und der Lehrerberuf dem Denken in empirisch kontrollierten Wirkungskategorien nicht länger entziehen können. Bei unseren europäischen Nachbarn etwa in England, Niederlande, Dänemark, Schweden oder Finnland ist dies längst alltägliche Praxis.
Traditionell hohe Selbstwertschätzung von Bildungsarbeit schützt dann nicht länger vor kritischen Rückfragen hinsichtlich unterschiedlicher Leistungsstände und Wirkungsgrade. Die entscheidende Aufgabe liegt darin, Leistungsinformationen zum Anlass für Entwicklungsprozesse zu machen, die sich an realistischen Zielen orientieren. Individuelle Förderung, nicht verstärkte Auslese ist das Ziel, das aber zugleich so schwer zu erreichen ist.
Mit der vorliegenden Untersuchung können einige der notwendig zu klärenden Fragen nur angerissen werden, die Diskussion wird verstärkt fortgeführt werden müssen.
Hans-Jürgen Kuhn
Leiter des Referats “Schulische Qualitätsentwicklung, Schulforschung und pädagogische Schulentwicklung“
