• Keine Ergebnisse gefunden

Umgang mit Evaluationsergebnissen

Im Dokument Abschlussbericht der KEGS-Studie (Seite 117-123)

3.2 Schulqualität und Unterrichtsentwicklung aus Perspektive der Lehrkräfte

3.2.3 Förderung der Unterrichtsgestaltung

3.2.3.2 Umgang mit Evaluationsergebnissen

Insgesamt zeigen die Ergebnisse der KEGS-Studie, dass die wahrgenommene Integration neuer Kolleginnen und Kollegen positiv ist. Dieses Ergebnis liegt etwas über dem Bundesdurchschnitt, der bei PISA 2003 bestimmt wurde. Die Werte für Mathematik- und Deutschlehrkräfte unterscheiden sich kaum. Lediglich die Frage nach dem Bemühen, neue Lehrkräfte darin zu unterstützen, sich schnell zurechtzufinden, wurde von den Mathematiklehrkräften im Gegensatz zu den Deutschlehrkräften etwas häufiger zustimmend beantwortet. Damit liegt die Zustimmungshäufigkeit der Mathematiklehrkräfte über der des Bundesdurchschnitts (kleiner Effekt).

Wichtigkeit von Evaluation an der Schule

Im Rahmen der KEGS-Studie nahmen die Lehrkräfte Einschätzungen zur Wichtigkeit von extern und (schul-)intern initiierten Evaluationen an ihren Schulen vor. Dabei beantworteten die Lehrkräfte Aussagen (siehe Abbildung 77), die sich an denen der PISA-Studie 2003 (Ramm et al., 2006, S. 380) orientieren. Jedoch gaben bei PISA die Lehrkräfte an, inwiefern die Aussagen auf die eigene Schule zutreffen, wohingegen in der KEGS-Studie die Einschätzung der Aussagen durch die Lehrkräfte im Hinblick auf die wahrgenommene Wichtigkeit erfolgte. Aufgrund dieser inhaltlichen Diskrepanz wird kein Vergleich mit den Ergebnissen zu PISA vorgenommen. Zur besseren Kommunikation der Ergebnisse wurden die vier möglichen Antworten zur Einschätzung der Wichtigkeit in zwei Kategorien zusammengefasst: „völlig unwichtig“ und „eher unwichtig“ dargestellt als hellblaue Balken sowie „eher wichtig“ und „sehr wichtig“ dargestellt als dunkelblaue Balken.

Vergleicht man die Antworten von Mathematik- und Deutschlehrkräften (siehe Abbildung 77) wird deutlich, dass zwischen diesen beiden Gruppen von Lehrkräften keine wesentlichen Abweichungen bestehen. Daher werden die Ergebnisse nachfolgend für Lehrkräfte beider Fächer gemeinsam betrachtet.

Fast drei Viertel aller Lehrkräfte schätzen die Durchführung von Evaluationen an ihrer Schule über die gesamten Einzelaussagen hinweg, unabhängig von der Art, als „eher wichtig“ oder „sehr wichtig“ ein.

Hinsichtlich der Durchführung konkreter interner Evaluationen schätzt dies nur noch gut die Hälfte der Lehrkräfte als wichtig ein. Ein etwas geringerer Anteil an Lehrkräften schätzt im Rahmen von Evaluationen an ihrer Schule sowohl die Durchführung standardisierter Tests als auch die Nutzung von Leistungsdokumentationen der Schülerinnen und Schüler durch die Schulleitung als eher unwichtig ein.

Abbildung 77: Darstellung der Bewertung der Einzelitems durch die Lehrkräfte hinsichtlich der Wichtigkeit bestimmter Evaluationsmaßnahmen an der Schule separat für Mathematik- und Deutschlehrkräfte

Anmerkungen. Hellblau: Anteil der Lehrkräfte, die eine Aussage als „völlig unwichtig“ oder „eher unwichtig“ beurteilten, dunkelblau: Anteil der Lehrkräfte, die eine Aussage als „eher wichtig“ oder „sehr wichtig“ beurteilten.

Nutzung von Evaluation an der Schule

Um zu erfahren, wie Lehrkräfte an Brandenburger Grundschulen Ergebnisse aus Evaluationsmaßnahmen nutzen, wurden sie gebeten, mehrere Aussagen zu beurteilen, die in dieser Form und ähnlichem Antwortformat ebenso in der PISA-Studie 2003 zum Einsatz gekommen waren (Ramm et al., 2006, S. 380). Zunächst erfolgt die Ergebnisdarstellung zu den einzelnen Aussagen der KEGS-Studie in Abbildung 78 und nachfolgend werden die Resultate der vergleichenden Ergebnisanalysen mit PISA 2003 in Abbildung 79 dargestellt. Die Lehrkräfte gaben jeweils an, in welchem Ausmaß eine bestimmte Aussage auf die Nutzung von Evaluation an ihrer Schule zutrifft.

Den Lehrkräften standen vier Antwortmöglichkeiten zur Verfügung, die in den nachfolgenden Analysen in zwei Kategorien zusammengefasst wurden: „trifft nicht zu“ und „trifft eher nicht zu“

dargestellt als hellblaue Balken sowie „trifft ungefähr zu“ und „trifft zu“ dargestellt als dunkelblaue Balken.

Vergleicht man die Antworten von Mathematik- und Deutschlehrkräften (siehe Abbildung 78) wird deutlich, dass zwischen beiden Gruppen keine wesentlichen Abweichungen bestehen. Daher werden die Ergebnisse nachfolgend für Lehrkräfte beider Fächer gemeinsam betrachtet.

Insgesamt zeigt der Befund, dass Lehrkräfte die Ergebnisse aus Evaluationen für ihre schulische Arbeit nutzen. So stimmte die überwiegende Mehrheit der Lehrkräfte den abgefragten Nutzungsarten zu.

Ein auffälliges Ergebnis ist, dass weniger als die Hälfte der Lehrkräfte angibt, die Evaluationsergebnisse mit denen anderer Schulen zu vergleichen. Im Gegensatz dazu geben etwa 75 % der Lehrkräfte an, die Evaluationsergebnisse zur Diskussion im Kollegium und zur Anpassung von Lehr- und Lernmethoden zu verwenden.

Abbildung 78: Darstellung der Bewertung der Einzelitems durch die Lehrkräfte hinsichtlich der Nutzung bestimmter Evaluationsmaßnahmen an der Schule separat für Mathematik- und Deutschlehrkräfte

Anmerkungen. Hellblaue Balken: Anteil der Lehrkräfte, die auf eine Aussage mit „trifft nicht zu“ oder „trifft eher nicht zu“ antworteten. Dunkelblaue Balken: Anteil der Lehrkräfte, die auf eine Aussage mit „trifft ungefähr zu“ oder „trifft zu“ antworteten.

Abbildung 79: Vergleich mit PISA-Ergebnissen Nutzung von Evaluation an der Schule, separat für Mathematik- und Deutschlehrkräfte

Anmerkungen. Dunkelblaue Balken: Statistisch bedeutsamer höherer Mittelwert der Lehrkräftestichprobe in der KEGS-Studie im Vergleich zum Mittelwert für Gesamtdeutschland. Weiße Balken: Der Mittelwert der Lehrkräftestichprobe in der KEGS-Studie weicht nicht statistisch bedeutsam vom Mittelwert für Gesamtdeutschland ab.

In Abbildung 79 wird der Vergleich der Ergebnisse der KEGS-Studie mit denen aus PISA 2003 veranschaulicht. In beiden Erhebungen wurden identische Aussagen mit nahezu identischem Antwortformat eingesetzt: Bei PISA lautete eine Antwortmöglichkeit „trifft eher zu“, wohingegen diese Antwortmöglichkeit bei KEGS „trifft ungefähr zu“ lautete; die anderen Antwortmöglichkeiten waren identisch. Trotz dieser Unschärfe lassen sich unseres Erachtens die Ergebnisse aus KEGS in die Ergebnisse aus dem gesamten Bundesgebiet für Lehrkräfte an Sekundarschulen einordnen. Auch wenn in KEGS Grundschullehrkräfte und in PISA Lehrkräfte an Sekundarschulen teilnahmen, ist ein

Vergleich der Ergebnisse von KEGS und PISA aufschlussreich, um einen bundesweiten Maßstab für die Ergebnisse aus KEGS zu ermitteln. Auch ist zu bedenken, dass in Brandenburg (wie auch in Berlin) die Grundschule die erste bis sechste Jahrgangsstufe umfasst, und in allen anderen Bundesländern die Sekundarstufe bereits in der fünften Jahrgangsstufe beginnt. Damit ergibt sich auch eine inhaltlich-strukturelle Überlappung von Grundschulen in Brandenburg mit Schulen der Sekundarstufe in anderen Bundesländern. Dieser Vergleich wird durch den aktuellen Forschungsstand gestützt: So zeigten sich insgesamt über verschiedene Studien hinweg zu unterschiedlichen Aspekten der externen Evaluation an Schulen keine Unterschiede zwischen Lehrkräften der Primar- und Sekundarstufe (Hellrung & Hartig, 2013). Für den Vergleich der Ergebnisse von KEGS und PISA wurden die Antworten bei den einzelnen Aussagen, die in Abbildung 79 aufgelistet sind, z-standardisiert. Die z-Werte14 in Abbildung 79 geben an, ob die Mittelwerte bei einer Aussage von Lehrkräften der KEGS-Studie höher oder niedriger ausfallen als die entsprechenden Mittelwerte bei der PISA-Studie. Positive z-Werte (dunkelblau) können so interpretiert werden, dass die durchschnittliche Antwort der Lehrkräfte in KEGS über dem Bundesdurchschnitt liegt, welcher für PISA festgestellt wurde. Negative z-Werte (hellblau) bedeuten demnach, dass die Werte in KEGS unter dem Bundesdurchschnitt liegen. Zudem kann die Größe der Werte als Effektgröße nach Cohen interpretiert werden. Das bedeutet, dass bei einer Abweichung von 0,2 Standardabweichungen über oder unter dem Wert von PISA ein „kleiner“ Unterschied nach Cohen vorliegt, und dass bei einem Wert von 0,5 von einem „mittleren“ Unterschied und bei einem Wert von 0,8 von einem „starken“

Unterschied gesprochen werden kann. Wenn die Balken nicht farbig ausgefüllt sind, ist die Abweichung der Mittelwerte der KEGS-Studie nicht statistisch bedeutsam, also nicht zufallskritisch abgesichert abweichend von denen der PISA-Studie.

Wir wollen nachfolgend darauf eingehen, ob sich Lehrkräfte an Brandenburger Schulen vom Bundesdurschnitt darin unterscheiden, inwiefern sie Ergebnisse aus Evaluationen für ihre schulische Arbeit nutzen. Dabei wurde keine Unterscheidung in externe oder interne Evaluationsergebnisse vorgenommen. Zunächst kann festgehalten werden, dass sich insgesamt kaum nennenswerte Unterschiede für die Deutsch- und Mathematiklehrkräfte beobachten lassen. Es wird jedoch deutlich, dass sich für Mathematiklehrkräfte kein systematischer Unterschied im Vergleich zu PISA für die erste Aussage zeigt. So geben Mathematiklehrkräfte aus KEGS und aus PISA in gleichem Ausmaß an, Evaluationsergebnisse zum Vergleich mit früheren Jahrgängen zu nutzen. Für Deutschlehrkräfte aus KEGS zeigt sich ein systematischer Unterschied mit geringer Ausprägung. Deutschlehrkräfte der KEGS-Studie stimmen im Vergleich zum Bundesdurchschnitt häufiger zu, die Evaluationsergebnisse zum Vergleich mit früheren Jahrgängen zu nutzen. Bei allen weiteren Aussagen geben sowohl Brandenburger Deutsch- als auch Mathematiklehrkräfte in vergleichbarem Ausmaß eine höhere Nutzung von Evaluationen im Vergleich zum Bundesdurchschnitt an. Unterschiede mit großer Ausprägung gegenüber dem Bundesdurchschnitt waren somit zu beobachten für: (a) die Identifizierung von Schülerinnen und Schülern mit Risiken, (b) die Anpassung von Lehr- und Lernmethoden, (c) für pädagogische und didaktische Verbesserungen, (d) die Zusammenfassung von Lerngruppen und (e) den Vergleich mit anderen Schulen.

Im Dokument Abschlussbericht der KEGS-Studie (Seite 117-123)