Zur Erhebung der Wirksamkeit des Advance Organizer werden unterschiedliche Messinstrumente zu unterschiedlichen Zeitpunkten sowie mit verschiedenen Zielsetzungen verwendet. Für die Auswahl der Erhebungsinstrumente sind die zeitliche Begrenzung, die Umsetzung als Gruppenverfahren sowie die Testgütekriterien von Bedeutung. Zunächst werden die Erhebungsinstrumente, mit denen die proximalen (Kapitel 6.3.1) sowie distalen Outcomeparameter (Kapitel 6.3.2) erhoben werden, aufgeführt. Abschließend werden die Instrumente dargestellt, mit denen ein möglicher Einfluss auf die Outcomeparameter untersucht wird (Kapitel 6.3.3 und 6.3.4).
Liste aller Klassen, die teilnehmen
1. Klasse 2. Klasse ...
...
...
...
...
...
...
...
...
...
20. Klasse
1. Stufe: randomisierte Zuordnung zur Bedingung mit oder ohne Übungsstunden
Klassen mit Übungsstunden 2. Klasse 3. Klasse ...
Einteilung in Schichten (wenig bzw.
viel Vorwissen) pro Klasse
2. Stufe: randomisierte Zuordnung zur Bedingung mit oder ohne Advance Organizer pro Klasse Klassen ohne
Übungsstunden 1. Klasse 4. Klasse ...
1. Klasse ohne Übungsstunden S. mit viel Vorwissen S. mit wenig Vorwissen
2. Klasse mit Übungsstunden S. mit viel Vorwissen S. mit wenig Vorwissen
S. der 1. Klasse ohne Advance Organizer
S. der 1. Klasse mit Advance Organizer
S. der 2. Klasse ohne Advance Organizer
S. der 2. Klasse mit Advance Organizer
KG
EG-AO
EG-Ü
EG-AO+Ü
132
6.3.1 Test zur Erfassung der spezifischen Mathematikleistung (Wissensquiz)
Zur Erfassung der spezifischen Mathematikleistung, d.h. der direkt geförderten Kompetenzen, wird ein Verfahren mit selbstkonstruierten Aufgaben in Kombination mit einem standardisierten Test verwendet (Anhang Kapitel 2.1., S.
242-245) Aus der Schultestbatterie zur Erhebung des Lernstandes in Mathematik, Schreiben und Lesen II (SBL II; Kautter, Storz & Munz, 2002) wird aus dem Fachtest Mathematik der Untertest ‚Rechnen mit Zeitmaßen’ vollständig berücksichtigt. Dieses Testverfahren kann als Gruppenverfahren eingesetzt werden und die reine Aufgabenbearbeitung für den ausgewählten Subtest umfasst ca. vier Minuten (ebd., S. 7, 23ff.). Mit diesen Aufgaben wird ausschließlich die Anwendung von Wissen getestet. Um zudem die Wissensreproduktion zu erheben, wird dieser Subtest um vier selbstkonstruierte Aufgaben ergänzt (Tabelle 30). Bei diesem zusammengestellten Testverfahren handelt es sich um eine Paper-Pencil-Version, für die insgesamt eine Bearbeitungszeit von 20 Minuten eingeplant wird.
Tabelle 30 - Format und Ziele der Aufgaben im Wissensquiz
Nr. Ziel Aufgabe Format
1 Reproduktion:
Zeitmessgeräte wiedererkennen
Mit welchen Gegenständen kann man die Zeit messen?
Multiple Choice
2 Anwendung:
Zeitintervall bewerten
Was kann man in einer Minute machen?
Multiple Choice 3
(SBL II)
Anwendung:
Zeitformat übertragen
Wie spät ist es auf dieser Uhr? Multiple Choice Anwendung:
Zeitformat übertragen
Welche Uhr zeigt die richtige Uhrzeit?
Multiple Choice Anwendung: Addition
von Zeitpunkt &
Zeitdauer
Um wie viel Uhr ist die Ankunft in der Schule?
offenes Antwortformat Anwendung: Differenz
zwischen Zeitbeginn &
-ende
Wie lange dauert der Schulweg? offenes Antwortformat Anwendung: Differenz
von Zeitende & Dauer
Um wie viel Uhr wird das Haus verlassen?
offenes Antwortformat Anwendung: Addition
von Zeitpunkt &
Zeitdauer
Um wie viel Uhr wird das Ziel erreicht?
offenes Antwortformat Reproduktion:
Umrechnen von Wochen in Tage
Wie viele Tage sind es? offenes Antwortformat Anwendung:
Umrechnen von Tagen in Wochen
Wie viele Wochen sind es? offenes Antwortformat
133
Tabelle 30 (Fortsetzung) 4 Reproduktion:
Umrechnen von Stunden in Minuten bzw. Minuten in Sekunden
Wie viele Minuten bzw.
Sekunden sind es?
offenes Antwortformat
5 Anwendung:
Fahrpläne lesen
Wann kommt die nächste Fähre?
Multiple Choice Anwendung: Differenz
zwischen Zeitbeginn &
-ende
Wie lange müsst ihr noch auf die Fähre warten?
Multiple Choice Anwendung: Differenz
zwischen Zeitbeginn &
-ende & Vergleich mit weiterer Zeitdauer
Wie viele Minuten vom Hörspiel kann er sich nicht anhören?
Multiple Choice
Für den Subtest des SBL II sind die Hauptgütekriterien erfüllt (Kautter et al., 2002, S. 122ff.). Durch die Instruktionsanleitung und Auswertungsregeln werden die Durchführungs- sowie Auswertungsobjektivität sichergestellt. Für die Genauigkeit des Subtests wird eine Interne Konsistenz von = . angegeben und die Inhalts- und Konstruktvalidität werden bestätigt. Auch für die erweiterte Form durch die selbstkonstruierten Aufgaben kann die Objektivität hinsichtlich der Durchführung und der Auswertung angenommen werden. Es liegt sowohl eine ausführliche Instruktionsanleitung als auch eine Anleitung zu Auswertung vor (Anhang Kapitel 2.2. und 2.3, S. 246-252).
Zur Bestimmung der Dimensionen der allgemeinen und spezifischen Mathematikleistung wird eine explorative Faktorenanalyse berechnet, wobei alle Subtests des HRT 1-4 (Kapitel 6.3.2) sowie die Aufgaben des Wissensquiz, getrennt nach Reproduktion und Anwendung, aus dem Prätest einbezogen werden.
Die Prüfung der Voraussetzungen ergibt für das Kaiser-Mayer-Olkin-Maß zur Stichprobeneignung einen Wert von . sowie für alle Anti-Image-Korrelationen zur Eignung der Testkennwerte > . , sodass diese als zufriedenstellend bewertet werden können (Bühner, 2011, S. 355f.). Im Bartlett-Test auf Sphärizität wird eine signifikante Korrelation ermittelt (� = , ; � < . ). Die Kommunalitäten liegen bei ℎ > . . Dies kann bei einer Stichprobengröße von
� = als angemessen eingeschätzt werden.
Die Hauptachsen-Faktorenanalyse ergibt entsprechend dem Eigenwert-Kriterium > bzw. dem Scree-Test eine Zwei-Faktoren-Lösung (Tabelle 31). Der erste Faktor umfasst die fünf Subskalen des HRT 1-4 mit einer guten Internen Konsistenz ( = . ) und stellt somit die allgemeine Mathematikleistung dar. Die Reproduktions- und Anwendungsaufgaben des Wissensquiz bilden den zweiten Faktor mit einer geringen Varianzaufklärung ( . %) und einer akzeptablen Internen Konsistenz ( = . ), sodass diese Subskalen als spezifische Mathematikleistung zusammengefasst werden können.
134
Tabelle 31 - Ergebnisse der Hauptachsen-Faktorenanalyse des HRT 1-4 und Wissensquiz
Skalen Faktor
1 2
HRT 1-4, Addition .787 .003
HRT 1-4, Subtraktion .840 .000
HRT 1-4, Multiplikation .919 -.104
HRT 1-4, Division .789 .027
HRT 1-4, Größer-Kleiner-Vergleich .593 .103
Wissensquiz, Reproduktion -.097 .689
Wissensquiz, Anwendung .125 .771
Erklärte Varianz (%) 50.787 10.318
Interne Konsistenz ( .879 .631
Anmerkung: Extraktionsmethode: Hauptachsenfaktorenanalyse. Rotationsmethode: Promax mit Kaiser-Normalisierung.
6.3.2 Heidelberger Rechentest 1-4 (HRT 1-4)
Die Überprüfung der allgemeinen Mathematikleistung erfolgt anhand des Heidelberger Rechentests 1-4 (Haffner et al., 2005). Unabhängig von den Lehrplänen für die Primarstufen werden mit diesem Diagnostikinstrument die Fähigkeiten im Bereich der Grundrechenarten, dem Lösen von Gleichungen und Ungleichungen, numerisch-logische sowie visuell-räumliche Kompetenzen getestet (ebd., S. 9). Die Aufgaben enthalten ausschließlich numerisch-mathematische oder visuell-räumliche Informationen, sodass die Aufgabenbearbeitung unabhängig von den sprachlichen Fähigkeiten erfolgen kann (ebd., S. 13). Folglich werden Schülerinnen und Schüler mit einem Unterstützungsbedarf im Bereich der Sprache bzw. mit Migrationshintergrund nicht benachteiligt. Der HRT 1-4 (ebd.) ist als Paper-Pencil-Verfahren sowie Speedtest konzipiert, sodass bei begrenzter Bearbeitungszeit neben der Leistungsmenge auch die Lösungsgeschwindigkeit berücksichtigt wird. Dieses Diagnostikinstrument kann als Gruppenverfahren eingesetzt werden, jedoch beträgt die Testdauer mit 50 bis 60 Minuten (Haffner et al., 2005, S. 14) mehr als eine Unterrichtsstunde. Aus diesem Grund wird eine Auswahl von Subtests vorgenommen, sodass die Bearbeitung der HRT 1-4 zusammen mit dem Test zur Erfassung der spezifischen Mathematikleistung (Kapitel 6.3.1) innerhalb einer Unterrichtsstunde möglich ist. Hierzu wird der Fokus auf die Skala Rechenoperationen gelegt, mit der die mathematischen Basiskompetenzen erhoben werden. Aus dieser Skala werden die Subtests Addition, Subtraktion, Multiplikation, Division sowie Größer-Kleiner-Aufgaben ausgewählt, für die eine reine Bearbeitungszeit von zehn Minuten angegeben und eine zusätzliche Instruktionszeit von ca. zehn Minuten angenommen wird. Pro Subtest sind 40 Aufgabenitems innerhalb von zwei Minuten zu bearbeiten, wobei die Schwierigkeit der Aufgaben zunimmt (Tabelle 32).
135
Tabelle 32 - Beispielitems aus den verwendeten Subtests des HRT 1-4 (Haffner et al., 2005)
Subtest Bespielitems
Addition + + +
Subtraktion − − −
Multiplikation ∙ ∙ ∙
Division : : :
Größer-Kleiner-Vergleich − +
Für die Auswertung werden in jedem Subtest die Anzahl der richtig gelösten Items ermittelt. Bei dem Untertest Größer-Kleiner-Vergleich wird die Berücksichtigung der halben Fehleranzahl empfohlen (Haffner et al., 2005, S.
18). Der HRT 1-4 (Haffner et al., 2005) kann als geeignetes Erhebungsinstrument bewertet werden, da die Hauptgütekriterien erfüllt sind (Tabelle 4).
6.3.3 Grundintelligenztest Skala 2 – Revision (CFT 20-R)
Zur Feststellung der kognitiven Leistungsfähigkeit vor der Intervention wird ein Intelligenzverfahren eingesetzt. Der CFT 20-R (Weiß, 2006, S. 11) ermöglicht Aussagen über den sogenannten g-Faktor bzw. die fluide Intelligenz nach Cattell (1963) und Spearman (1904), d.h. die allgemeine kognitive Leistungsfähigkeit.
Durch visuelle Aufgaben mit diversen Figuren erfolgt die Messung unabhängig vom soziokulturellen Status, der sozialen Schicht sowie der Sprache bzw.
Herkunft (ebd.). Dieses Testverfahren kann mit einer Gruppe durchgeführt werden und dauert in der Kurzform mit verlängerter Testzeit 40 Minuten (ebd., S.
13), sodass sich keine organisatorischen Schwierigkeiten bei der Umsetzung in einer Klasse und einer Schulstunde ergeben. Die Kurzform beinhaltet die einmalige Durchführung der vier Subtests Reihenfortsetzen, Klassifikation, Matrizen und Topologien (ebd., S. 13). Eine Testzeitverlängerung wird sowohl bei Versuchspersonen mit Migrationshintergrund, Sprachschwierigkeiten und/oder Aufmerksamkeitsdefiziten empfohlen (ebd., S. 14). Da vor der Prätestung für die rekrutierte Stichprobe keine Informationen hinsichtlich dieser Kriterien vorlagen und das Vorhandensein dieser Kriterien nicht ausgeschlossen werden kann, wird die verlängerte Testzeit verwendet. Beim CFT 20-R (Weiß, 2006) handelt es sich um ein Paper-Pencil-Verfahren, wobei jedoch die Aufgabenbearbeitung und die Ergebnisdokumentation auf unterschiedlichen Bögen erfolgen. Dies kann eine mögliche Fehlerquelle darstellen. Für die Auswertung sowie Interpretation werden die Rohwerte mittels Normtabellen in IQ-Werte übertragen. Normwerte liegen für die Altersstufe von 8;5 bis 19;0 Jahre sowie für die Klassenstufe 3 bis 13 (Weiß, 2006, S. 27f.). Die IQ-Skala hat einen Mittelwert von = sowie eine Standardabweichung von = (Maltby, Day & Macaskill, 2011, S. 517), sodass folgende Einschätzung (Tabelle 33) für den IQ-Wert vorgenommen werden kann (Quaiser-Pohl & Rindermann, 2010, S.
105; Maltby et al., 2011, S. 518; Deutsches Institut für Medizinische Dokumentation und Information, 2013, S. 217f.):
136
Tabelle 33 - Einschätzung des Intelligenzquotienten
IQ Klassifizierung
< schwerste Intelligenzminderung − schwere Intelligenzminderung − mittelgradige Intelligenzminderung − leichte Intelligenzminderung − unterdurchschnittliche Intelligenz − durchschnittliche Intelligenz
− überdurchschnittlich Intelligenz weit überdurchschnittliche Intelligenz
Hinsichtlich der Hauptgütekriterien ist die Objektivität vollständig gegeben, da sowohl die Durchführung, die Auswertung sowie die Interpretation detailliert beschreiben werden. Die Genauigkeit des CFT 20-R (Weiß, 2006, S. 48) zeigt sich in der Retest-Reliabilität (. < < . ), in der Testhalbierungsreliabilität (. < < . ) und der Internen Konsistenz ( = . ). Die Kriteriumsvalidität kann als gegeben angesehen werden (Weiß, 2006, S. 86f.). Es zeigt sich sowohl ein Zusammenhang mit einem weiteren Intelligenzverfahren (PSB-R 4-6:
. < < . ) als auch mit den Schulnoten (Mathematik: . < < . ; Deutsch:
. < < ; Sachunterricht: . < < . ).
6.3.4 Lehrereinschätzliste für das Sozial- und Lernverhalten (LSL)
Zur Erfassung des Lernverhaltens im Mathematikunterricht erfolgt eine Befragung der Mathematiklehrkräfte mit der Lehrereinschätzliste für das Sozial- und Lernverhalten (Petermann & Petermann, 2013). Mit diesem Rating-Verfahren werden sozial-emotionale Kompetenzen in den Bereichen Kooperation, Selbstwahrnehmung, Selbstkontrolle, Einfühlungsvermögen und Hilfsbereitschaft, angemessene Selbstbehauptung sowie Sozialkontakt erfasst.
Diese Komponenten stehen nicht in einem direkten Zusammenhang mit der Lernförderung des Advance Organizer im Mathematikunterricht, sodass der Aussagebereich Sozialverhalten nicht erhoben wird. Zudem zeigen faktorenanalytische Berechnungen, dass die verschiedenen Skalen in die zwei, voneinander unabhängigen Bereiche Sozial- und Lernverhalten differenziert werden können (Sparfeldt, Rost, Schleebusch & Heise, 2012, S. 156) und somit die isolierte Einschätzung des Lernverhaltens unproblematisch ist. Die Einschätzung des Lernverhaltens erfolgt in vier Bereichen, die jeweils durch fünf konkrete Verhaltensweisen spezifiziert werden (Tabelle 34). Das Verhalten in diesen Bereichen soll basierend auf den Beobachtungen der letzten vier Wochen mittels einer vierstufigen Skala erfolgen (Petermann & Petermann, 2013, S. 22).
137
Tabelle 34 - Aussagenbereiche und Items zum Lernverhalten aus dem LSL (Petermann &
Petermann, 2013)
Aussagebereiche Items
Anstrengungs-bereitschaft und Ausdauer
Arbeitet ohne ständige Rückmeldung/ Hilfe
Bearbeitet Aufgaben mit Ausdauer, selbst wenn diese uninteressant sind
Strengt sich an, um eine Aufgabe zu lösen
Bearbeitet Aufgaben über die Pflichtaufgaben hinaus Zeigt Ausdauer bei interessanten Aufgaben
Konzentration
Lenkt die Aufmerksamkeit gezielt auf eine Aufgabe, wenn dies erforderlich ist
Arbeitet ohne Unterbrechungen
Arbeitet im Allgemeinen ohne Flüchtigkeitsfehler Sieht bei Anforderungen genau hin
Hört bei Anforderungen genau zu
Selbstständigkeit beim Lernen
Geht gezielt vor
Kann erreichte Ergebnisse selbstständig bewerten Setzt sich erreichbare Ziele
Holt nur Hilfe, wenn dies die Aufgabe erfordert Führt eine Aufgabe vollständig allein aus
Sorgfalt beim Lernen
Geht mit schulischen Arbeitsmaterialien sorgfältig um Erledigt Hausaufgaben sorgfältig
Macht Hausaufgaben vollständig Geht mit Heften ordentlich um
Bereitet Materialien für den nächsten Schultag vor
Für die Auswertung werden die Skalenwerte der einzelnen Aussagenbereiche summiert. Je geringer der Wert ist, desto kritischer kann das Lernverhalten eingeschätzt werden.
Dieses Testverfahren kann bezüglich der Gütekriterien als gut bewertet werden.
Sowohl für die Durchführung als auch für die Auswertung und Interpretation liegen konkrete Vorgaben vor (Petermann & Petermann, 2013, S. 22ff.), sodass die Objektivität in diesen Bereichen gegeben ist. Für die Interne Konsistenz liegen Werte zwischen . < < . (ebd., S. 17) vor, sodass auch die Genauigkeit erfüllt ist. Hinsichtlich der Reliabilität zeigen sich sowohl Korrelationen mit den Schulnoten − . < < − . als auch mit prosozialem Verhalten . < < . und Verhaltensauffälligkeiten − . < < − . .