Den Analysen zur Beantwortung der Fragestellungen dieser Arbeit liegen Daten zu den motivational relevanten Konstrukten der standardisierten Prä-, Zwischen- und Post-Befragungen der Schüler sowie der Implementationsindikatoren der standardisierten mo-dulspezifischen Schüler-Rückmeldungen des ersten Projektjahres zugrunde. Nachfolgend werden die Instrumente zur Erfassung der motivationalen Zielkriterien und der von den Schülern wahrgenommenen Implementation sowie ihre Reliabilitäten und Trennschärfen der jeweiligen Skalen beschrieben. Eine Auflistung der einzelnen Items sowie eine Über-sicht über weitere Kennwerte der Skalen finden sich im Skalenhandbuch im Anhang B.
6.4.1 Skalen der Prä-, Zwischen- und Postbefragung
Bereits in Kapitel 5 wurden die Zielkriterien ausführlich geschildert, die für die Evaluation des FOSIS2-Programms herangezogen und im Rahmen der Prä-, Zwischen- und Postbe-fragung (T1, T2, T3) der Schüler erhoben wurden. In motivationaler Hinsicht sollen sich die Maßnahmen des FOSIS2-Projekts auf die schulische Selbstwirksamkeitserwartung, die Prüfungsängstlichkeit, die schulbezogene Stresswahrnehmung und die wahrgenommene Binnendifferenzierung auswirken. Die Skalen zur Erfassung dieser Konstrukte wurden zu allen drei Befragungen unverändert eingesetzt und konnten mit einer vierstufigen
Likert-Skala von „trifft nicht zu“ (1), „trifft kaum zu“ (2), „trifft eher zu“ (3) und „trifft genau zu“
(4) beantwortet werden.
Schulische Selbstwirksamkeitserwartung
Die hier verwendeten Items zur Erfassung der schulischen Selbstwirksamkeitserwartung basieren auf der von Jerusalem und Satow (1999) entwickelten Skala „Schulbezogene Selbstwirksamkeitserwartung“. Mithilfe von fünf Items misst die Skala die Einschätzung der eigenen Kompetenzen im Umgang mit schulischen Anforderungen, also die schulspe-zifische Kompetenzerwartung der Schüler. Ein Beispielitem der Skala lautet „Ich kann auch die schwierigen Aufgaben im Unterricht lösen, wenn ich mich anstrenge“. Die interne Konsistenz (Cronbachs α) ist in allen drei Befragungen zufriedenstellend36 (T1 :α = .72;
T2: α = .75; T3: α = .77). Auch die korrigierten Trennschärfen der Items, die zwischen ritc = .44 und ritc = .56 liegen, sind als annehmbar zu bewerten.37
Prüfungsängstlichkeit
Die hier verwendete Skala zur Erfassung der Prüfungsängstlichkeit wurde in Anlehnung an die Besorgtheits-Komponente des deutschen TAI von Hodapp et al. (Hodapp et al., 1982) entwickelt und bereits in Vorgängerprojekten erprobt (siehe z. B. Jerusalem, 2008; Röder, 2008). Mit der aus fünf Items bestehenden Skala wird die Besorgtheit als Bestandteil der Ängstlichkeit im Sinne einer überdauernden Persönlichkeitseigenschaft erhoben. Nach Schwarzer (2000) ist die Besorgtheit das wichtigste Kernmerkmal der Prüfungsängstlich-keit. Ein Beispielitem lautet „Wenn ich in der Schule eine Arbeit/einen Test schreiben muss, bin ich besorgt, dass etwas schief laufen könnte“. Die interne Konsistenz ist mit Werten von α = .82 zu T1, α = .85 zu T2 und α = .87 zu T3 als sehr zufriedenstellend zu bewerten und auch die korrigierten Trennschärfen liegen in einem hohen Bereich und vari-ieren zwischen ritc = .54 und ritc = .76.
36 Rost (2013) gibt folgende Empfehlung für die Bewertung der internen Konsistenz: Bei der Individualdiagnostik (z. B.
bei Intelligenztests und anderen Leistungstests) ist eine Reliabilität ab .75 als gut, eine Reliabilität ab .80 als sehr gut und eine Reliabilität ab .85 als exzellent zu bewerten. „Bei Forschungsprojekten, in denen man nur an einem Gruppenver-gleich interessiert ist, kann die Reliabilität deutlich niedriger liegen. Der Zuverlässigkeitskoeffizient sollte […] aber mindestens .55 betragen.“ (Rost, 2013, S. 179). Im Fokus der vorliegenden Arbeit stehen Gruppenvergleiche wie der Vergleich zwischen Interventions- und Kontrollgruppe. Deshalb wird eine interne Konsistenz ab .55 als zufriedenstellend bewertet.
37 Nach Bühner (2011) sind Trennschärfen, die kleiner als .30 ausfallen, als niedrig, Trennschärfen zwischen .30 und .50 als mittel und Trennschärfen größer als .50 als hoch zu bewerten.
SchulbezogenesStresserleben – Herausforderung, Bedrohung und Verlust
In Anlehnung an die im transaktionalen Stressmodell von Lazarus und Folkman (1984) operationalisierten Stresseinschätzungen Herausforderung, Bedrohung und Verlust wird das schulbezogene Stresserleben im FOSIS2-Projekt mittels dreier gleichnamiger Skalen erfasst. Die Skalen bestehen jeweils aus drei Items, die ursprünglich von Jerusalem (1990) entwickelt und im Rahmen von FOSIS2-Vorgängerprojekten an den schulischen Kontext angepasst wurden (Jerusalem, 2005a, 2008). Mithilfe der Skala „wahrgenommene schulbe-zogene Herausforderung“ soll das Ausmaß gemessen werden, in welchem sich ein Schüler durch die Schule positiv herausgefordert fühlt. Ein Beispielitem der Skala lautet „Die Schule ist interessant, weil ich täglich neu herausgefordert werde“. Sowohl die interne Konsistenz der Skala als auch die korrigierten Trennschärfen sind als zufriedenstellend zu bewerten (T1: α = .69; T2: α = .71; T3: α = .79; ritc = .56 bis ritc = .68). Die Skala „wahrge-nommene schulbezogene Bedrohung“ erfasst die Befürchtung, nicht über ausreichend Be-wältigungskompetenzen zu verfügen, um den schulischen Anforderungen gerecht zu wer-den. Eines der drei Items dieser Skala heißt „Ich befürchte, dass ich mit meinen Problemen in der Schule nicht zurechtkomme“. Mit einem α von .54 ist die interne Konsistenz zu T1 nach Rost (2013) noch knapp akzeptabel. Zu T2 und T3 ist die Reliabilität mit α = .71 und α = .77 deutlich besser. Die korrigierten Trennschärfen sind ebenfalls als annehmbar zu bewerten (ritc = .33 bis ritc = .68). Anders als die Herausforderungs- und Bedrohungsein-schätzungen, bei denen es sich um künftige Erwartungen beziehungsweise Befürchtungen handelt, zielt die Skala „wahrgenommener schulbezogener Verlust“ auf einen bereits ein-getretenen subjektiv erlebten Kontrollverlust in der Schule ab. Eines der drei Items lautet
„Meine augenblickliche schulische Lage ist hoffnungslos“. Reliabilität und korrigierte Trennschärfen fallen zu allen drei Messzeitpunkten akzeptabel aus (T1: α = .60; T2:
α = .75; T3: α = .82; ritc = .32 bis ritc = .68).
Wahrgenommene Binnendifferenzierung
Die ebenfalls nur aus drei Items bestehende Skala „Binnendifferenzierung“ wurde in An-lehnung an den „Individualized Classroom Environment Questionnaire (ICEQ)“ von Fra-ser (1982) entwickelt. Aus der Perspektive der Schüler erfassen die Items, inwiefern die Schüler binnendifferenzierende beziehungsweise individualisierende Maßnahmen im Un-terricht erleben, das heißt, ob sich die Lehrkräfte sowohl bei den Aufgabenstellungen als auch bei Leistungsrückmeldungen am individuellen Leistungsstand der Schüler orientie-ren. Ein Beispielitem lautet „Die weniger guten Schüler erhalten leichtere Aufgaben als die
guten Schüler“. Mit Werten von α = .56 zu T1, α = .46 zu T2 und α = .54 zu T3 ist die in-terne Konsistenz der Skala nicht zufriedenstellend und nur knapp akzeptabel. Auch die korrigierten Trennschärfen liegen niedriger als bei den anderen Skalen und variieren zwi-schen ritc = .19 und ritc = .43. Bei der Interpretation der Ergebnisse muss die als eher gering einzuschätzende psychometrische Qualität der Skala unbedingt berücksichtigt werden.
6.4.2 Skalen der modulspezifischen Rückmeldungen
Gerade bei Interventionen, die durch Mediatoren vermittelt werden, ist die Erfassung der Programmumsetzung unerlässlich, da diese hinsichtlich Ausmaß und Genauigkeit zwi-schen den Mediatoren variieren kann (Durlak & DuPre, 2008; Scheirer et al., 1995). Am Ende einer jeden Implementationsphase wurden die Schüler und Lehrer der Interventions-schulen deshalb mittels standardisierter sogenannter modulspezifischer Rückmeldungen zum Implementationsgeschehen befragt. In der Arbeit werden die Analysen zur Wirksam-keit des FOSIS2-Programms in AbhängigWirksam-keit von der Implementation für das erste Pro-jektjahr durchgeführt und hierfür die modulspezifischen Rückmeldungen der Schüler her-angezogen. Etwa im Abstand von drei Monaten wurden die Interventionsschüler nach dem erlebten Ausmaß der Umsetzung der FOSIS2-Maßnahmen gefragt. Für jedes Fach, das von einer Lehrkraft unterrichtet wurde, die am Projekt teilgenommen hat, sollten die Schüler einschätzen, wie häufig sie in den letzten Wochen die einzelnen Förderstrategien der Mo-dule Klassenklima, Transparenz und Lern- und Leistungsraum im Unterricht wahrgenom-men haben. Mithilfe der Handreichungen, in denen die Förderstrategien der FOSIS2-Module festgehalten sind, wurden also modulspezifische Skalen entwickelt, deren Items die Kernprinzipien der einzelnen FOSIS2-Module erfassen. Die Items sollten dann jeweils fachspezifisch beantwortet werden. Die Schüler mussten folglich jedes Item für verschie-dene nebeneinander in Spalten aufgeführte Fächer einschätzen. Zum besseren Verständnis der Fragebogenkonstruktion zeigt Abbildung 8 einen Ausschnitt der ersten modulspezifi-schen Rückmeldung mit Items zur Erfassung der Umsetzung von Förderprinzipien des Moduls Klassenklima. Die erlebte Häufigkeit der Förderstrategien konnten die Schüler mit einem vierstufigen Antwortformat von „nie“ (1), „selten“ (2), „oft“ (3), „bei jeder Gele-genheit“ (4) beurteilen. Nachfolgend werden die Items der modulspezifischen Skalen und deren Reliabilität sowie die korrigierten Trennschärfen der Items dargestellt. Die entspre-chenden Kennwerte basieren auf den Skalenwerten des Fachs Mathematik. Da die Items zur Implementation der Module für das Fach Mathematik von allen Interventionsschülern beantwortet wurden, eignet sich dieses Fach am ehesten für die Beurteilung der
psycho-metrischen Qualität der Skalen. Für die späteren Analysen zur Wirksamkeit in Abhängig-keit von der Implementation wurden die modul- und fachspezifischen Skalenwerte zu ei-nem immer noch modulspezifischen, jedoch fachübergreifenden Implementationsindikator aggregiert.38
Abbildung 8: Ausschnitt aus der ersten modulspezifischen Rückmeldung zum Klassenklima
Implementationscheck – Klassenklima
Die aus fünf Items bestehende Skala zur Erfassung der Implementation der Förderstrate-gien des Moduls Klassenklima ist in Abbildung 8 vollständig dargestellt. Die Schüler wer-den gefragt, ob das Klassenklima im Unterricht thematisiert, Klassenregeln aufgestellt und auf deren Einhaltung geachtet wurde. Auch die Möglichkeit des Feedbacks zum Unterricht wird thematisiert. Sowohl die interne Konsistenz der Skala als auch die korrigierten Trenn-schärfen sind als zufriedenstellend zu bewerten (MSR1 – Implementationscheck Klassen-klima: α = .79; ritc = .46 bis ritc = .65).
Implementationscheck – Transparenz
Mithilfe von fünf Implementations-Checkitems zum Modul Transparenz wird geprüft, ob die Lehrkräfte die im Modulworkshop angesprochenen Bereiche Transparenz der Anforde-rungen und Transparenz der Bewertungskriterien auch berücksichtigt und Themen einer Klassenarbeit, Vorbereitungsmöglichkeiten, Art der Aufgaben und die Punktevergabe so-wie die Bedeutung der Klassenarbeit für die Gesamtnote auch wirklich transparent gestal-tet haben. Ein Beispielitem der Skala laugestal-tet „In den letzten Wochen hat uns unser Lehrer vor Tests/Klassenarbeiten ganz genau mitgeteilt, welche Themen und Anforderungen dran kommen“. Auch hier liegen die interne Konsistenz der Skala und die korrigierten
Trenn-38 Zur Beibehaltung des Antwortformats 1 bis 4 wurden die aggregierten Implementationsindikatoren an der Anzahl der erfragten Fächer relativiert.
schärfen in einem zufriedenstellenden Bereich (MSR2 – Implementationscheck Transpa-renz: α = .77; ritc = .50 bis ritc = .57).
Implementationscheck – Lern- und Leistungsraum
Die Items der Skala zur Erfassung der Implementation der Maßnahme Lern- und Leis-tungsraum bilden die Kernprinzipien dieser Intervention ab. Gefragt wird, ob die Schüler die Möglichkeit hatten, üben und lernen zu können, ohne währenddessen Noten zu erhal-ten, ob diese notenfreien Übungszeiten für die Schüler erkennbar waren und ob der Lehrer dann auch tatsächlich keine Noten vergeben hat. Zudem werden der Einsatz der individuel-len Bezugsnorm der Lehrkraft und die Ermutigung im Umgang mit Fehlern thematisiert.
Eines der fünf Items der Skala lautet „In den letzten Wochen hatten wir die Möglichkeit, lernen und üben zu können, ohne dass es dafür Noten gab“. Auch bei dieser Skala fallen die Reliabilität und die korrigierten Trennschärfen zufriedenstellend aus (MSR2 – Imple-mentationscheck Lern- und Leistungsraum: α = .74; ritc = .42 bis ritc = .54).