• Keine Ergebnisse gefunden

5.4 Vorgehensweise und Analyse von Längsschnittdaten

5.4.5 Datenimputation

In Studie 1 ist für die untersuchten Merkmale ein ansteigender Missinganteil zu beobach-ten, der auf die sinkende Teilnahmebereitschaft zurückzuführen ist. Für den zugrunde liegenden Datensatz wurden die einzelnen Messzeitpunkte zusammengefügt und über den in jeder Erhebung abgefragten „persönlichen Code“ verbunden. So ergibt sich ein Ge-samtdatensatz mit 152 Teilnehmern und Teilnehmerinnen. Tabelle 19 stellt den Mis-singanteil für die Stichprobe der Lehrkräfte in Studie 1 dar und deutet auf eine hohe

50 Menard (2002) empfiehlt die Anwendung des listenweisen Fallausschlusses mit Bezug zu Graham und Hofer (2000) nur bei einem sehr kleinen Fallverlust von weniger als 5 Prozent.

171

tuation bei der Teilnahme an den einzelnen Untersuchungen hin. Zu beachten ist hierbei jedoch, dass jede Person, die zu einem späteren Zeitpunkt der Studie beitrat, die Stichpro-be und damit die Referenzanzahl an Lehrkräften erhöhte. So erklären sich auch die Aus-fallquoten zum ersten Messzeitpunkt51.

Tabelle 19. Missinganteile in Prozent in der Studie 1 nach Untersuchungsmerkmal und Erhebungszeitpunkt; Lehrkräfte

Skala MZP 1 MZP 2 MZP 3 MCAR Test nach Little

Fachkonferenz 27.0 46.1 52.6 χ²=11.31; p = .255

Kooperation 27.0 46.7 52.0 χ²=20.57; p = .015

Einstellung positiv 26.3 49.3 54.6 χ²=7.41; p = .595

Einstellung negativ 26.3 49.3 54.6 χ²=21.79; p = .010

math. Argumentieren 26.3 46.1 52.0 χ²=11.44; p = .247

Probleme math. Lösen 27.0 46.1 52.0 χ²=4.17; p = .900

math. Modellieren 27.0 46.1 52.0 χ²=11.00; p = .275

Darstellungen Verwenden 27.0 46.1 52.0 χ²=5.03; p = .831

technisch Arbeiten 27.0 46.1 52.0 χ²=15.59; p = .076

math. Kommunizieren 26.3 46.1 52.0 χ²=3.45; p = .944

Anmerkung. Analyse der fehlenden Werte auf Skalenebene; als Referenz dient der Gesamtdatensatz mit N = 152.

Im Messzeitpunkt 3 sind für die Lehrkräfte die höchsten Ausfallquoten zu beobachten.

Dennoch beantworteten 44 Lehrkräfte den Fragebogen zu allen drei Erhebungszeitpunk-ten und 72 Personen zu mindesErhebungszeitpunk-tens zwei Erhebungen. Zur Aufrechterhaltung eines mög-lichst vollständigen Längsschnittdatensatzes wird folgendes Kriterium im Hinblick auf die Behandlung fehlender Werte festgelegt:

• Personen mit nur einem gültigen Messzeitpunkt fallen aus der Betrachtung des Längsschnittes heraus,

• Personen mit mindestens zwei gültigen Erhebungen in unbestimmter Teilnahme-kombination verbleiben im Datensatz; die fehlenden Werte werden ersetzt.

Da die Teilnahme der Schülerinnen und Schüler zu einem großen Teil von den Lehrkräf-ten gesteuert wird, ergibt sich hier ein anderes Bild. Der relativ hohe Ausfall zum zweiLehrkräf-ten

51 Nehmen bspw. in der zweiten Erhebung 10 Personen zusätzlich zu den 100 Personen aus der ersten Erhe-bung teil, dann erhöht sich die Referenzgröße zur Berechnung der fehlenden Werte auf 110. Damit ergibt sich auch für den ersten Messzeitpunkt eine Ausfallquote von 9.1 Prozent.

172

Messzeitpunkt ist auf den Wegfall ganzer Klassen zurückzuführen, die entweder aus der Studie ausgestiegen waren oder aus organisatorischen Gründen keine Erhebung ermögli-chen konnten (Tabelle 20).

Tabelle 20. Missinganteile in Prozent in der Studie 1 nach Untersuchungsmerkmal und Erhebungszeitpunt, Schüler

Skala MZP 1 MZP 2 MZP 3 MCAR Test nach Little

Selbstkonzept 26.7 40.3 29.2 χ²=24.71; p = .003

Interesse 26.7 40.3 29.3 χ²=5.29; p = .809

Lehrerwahrnehmung 27.3 40.9 29.3 χ²=14.37; p = .110

math. Argumentieren 27.4 40.4 29.2 χ²=51.93; p = .000

Probleme math. Lösen 27.5 40.4 29.2 χ²=36.96; p = .000

math. Modellieren 27.5 40.5 29.1 χ²=13.72; p = .133

Darstellungen Verwenden 27.5 40.4 29.2 χ²=31.74; p = .000

technisch Arbeiten 27.4 40.4 29.2 χ²=82.73; p = .000

math. Kommunizieren 27.4 40.4 29.1 χ²=37.86; p = .000

Mathematikleistung 26.5 39.7 28.0 χ²=248.48.; p = .000

Anmerkung. Analyse der fehlenden Werte auf Skalenebene; als Referenz dient der Gesamtdatensatz mit N

= 1835.

Während der missing completly at random (MCAR) – Test nach Little zur Untersuchung der Art der fehlenden Werte für die Lehrkräfte nahezu vollständig auf MCAR hinweist (mit Ausnahme der Merkmale Kooperation und negative Einstellungen gegenüber den Bildungsstandards), wird innerhalb der Schülerstichprobe MCAR mehrheitlich abgelehnt.

Es zeigt sich, dass ca. 780 Schülerinnen und Schüler an allen drei Messzeitpunkten und ca. 1.247 Lernerinnen und Lerner an mindestens zwei Erhebungen teilnahmen. Zur Ver-meidung eines starken Datenverlustes wird auch in der Schülerstichprobe der Studie 1 das für die Lehrkräfte geltende Kriterium der mindestens zweimaligen Testung angewandt, um die längsschnittliche Entwicklung abzubilden.

Aufgrund der auftretenden Ablehnung der MCAR-Hypothese werden die fehlenden Wer-te mit dem Verfahren der multiplen DaWer-tenimputation ersetzt. Orientiert an der gängigen Literatur (Kenward & Carpenter, 2009, Rubin, 1987) zum Umgang mit fehlenden Werten werden die Datensätze der Lehrkräfte und Schüler um fünf Imputationen erweitert52.

52 Einstellungen in SPSS: Startwert Zufallsgenerator auf 2000000, Full Conditional Model (FCM).

173

Mit Ausnahme des Mathematikleistungswertes für die Schülerinnen und Schüler erfolgt die multiple Imputation der fehlenden Werte auf Itemebene53. Für die Schätzung der feh-lenden Werte werden nur die Items der dazugehörigen Skala als Prädiktor verwendet. Im Anschluss an das Imputationsverfahren wurde die Skalenbildung durchgeführt. Für die Berechnungen wurde die Software SPSS verwendet, deren fully conditional specification-Methode (FCS) für jede Variable mit fehlenden Werten ein Imputationsmodell spezifi-ziert, das in einem iterativen Prozess die fehlenden Werte hier fünf Mal ersetzt.

In Studie 2 ergibt sich durch das Zusammenfügen der Einzeldateien der Messzeitpunkte ein Gesamtdatensatz von N=222 Lehrkräften. Davon nahmen 171 Personen an der ersten Erhebung teil und 135 Personen an der zweiten Erhebung. Es konnten 84 Lehrkräfte iden-tifiziert werden, die an beiden Messzeitpunkten gültige Daten aufweisen. Tabelle 21 bildet die Missinganteile in Prozent zum jeweiligen Messzeitpunkt für die einzelnen Skalen ab.

Dieses geänderte Vorgehen im Vergleich zur Studie 1 liegt in dem Imputationsdesign der Studie 2 begründet.

Tabelle 21. Missinganteile in Prozent in der Studie 2 nach Untersuchungsmerkmal und Erhebungszeitpunkt; Lehrkräfte

Skala N1 MZP 1 N2 MZP 2

Fachkonferenz 166 2.9 133 1.5

Kooperation 165 3.5 134 0.7

Einstellung positiv 164 4.1 130 3.7

Einstellung negativ 165 3.5 130 3.7

math. Argumentieren 170 0.6 134 0.7

Probleme math. Lösen 170 0.6 134 0.7

math. Modellieren 170 0.6 134 0.7

Darstellungen Verwenden 170 0.6 134 0.7

technisch Arbeiten 170 0.6 134 0.7

math. Kommunizieren 170 0.6 134 0.7

Anmerkung. Als Referenz im Querschnitt: N1 = 171 und N2 = 135.

Durch das Design der Studie 2 mit nur zwei Erhebungswellen kann das oben beschriebe-ne Kriterium zur multiplen Datenimputation keibeschriebe-ne Anwendung mehr finden, da von Per-sonen mit einem fehlenden Messzeitpunkt nur ein weiterer Referenzwert vorliegt. Daher

53 Die Leistungswerte der Schülerinnen und Schüler wurden als Skalen- bzw. Testwert nach den angegebe-nen Kriterien ersetzt.

174

erfolgt eine multiple Imputation der fehlenden Werte im Querschnitt. Erst im Anschluss an die Imputation erfolgt hier das Matching der Datensätze und die Skalenbildung.

Die gleiche Vorgehensweise wurde auch für die Schülerstichprobe der Studie 2 ange-wandt. Hier erfolgte ebenso eine multiple Imputation der fehlenden Werte pro Quer-schnitt.

Tabelle 22. Missinganteile in Prozent in der Studie 2 nach Untersuchungsmerkmal und Erhebungszeitpunkt; Schüler

Skala N1 MZP 1 N2 MZP 2

Selbstkonzept 2373 3.5 2092 2.7

Interesse 2371 3.5 2089 2.9

Lehrerwahrnehmung 2356 4.1 2079 3.3

math. Argumentieren 2353 4.3 2086 3.0

Probleme math. Lösen 2353 4.3 2085 3.1

math. Modellieren 2351 4.4 2083 3.2

Darstellungen Verwenden 2355 4.2 2086 3.0

technisch Arbeiten 2354 4.2 2087 3.0

math. Kommunizieren 2354 4.2 2085 3.1

Mathematikleistung 2458 0.0 2151 0.0

Anmerkung. Als Referenz im Querschnitt: N1 = 2458 und N2 = 2151.