Im Folgenden werden die Ergebnisse der mehrfaktoriellen Varianzanalyse (ANOVA) vorge-stellt, um zu untersuchen, ob sich die Mittelwerte der Itemschwierigkeiten der im Kompe-tenzstrukturmodell definierten Komponenten (MER-Integration, Aufgabenkontext, Repräsen-tationstyp) statistisch voneinander unterschieden. Als unabhängige Variable werden jeweils die Kategorien „MERI, MERII oder MERIII“ sowie „Ökologie, Stoffwechsel oder Genetik“ und
„Diagramm oder Schema“ als Gruppierungsvariablen definiert und in Bezug auf die abhän-gige Variable „Lösungswahrscheinlichkeit“ untersucht. In ABBILDUNG 20 sind die mittleren Itemschwierigkeiten der fallzentrierten, eindimensionalen Rasch-Skalierung nach Kompo-nenten der MER-Integration jeweils für die drei Aufgabenkontexte dargestellt. Als Diagramm
sind so genannte Boxplots dargestellt. Der dicke Strich in einem Balken entspricht dem 50%-Perzentil (Median).
ABBILDUNG 20: MITTLERE AUFGABENSCHWIERIGKEITEN (ITEMPARAMETER) NACH KOMPONENTEN DER MER-INTEGRATION FÜR DIE DREI AUFGABENKONTEXTE (N=128ITEMS,M=MITTELWERT) Für den Aufgabenkontext Ökologie sind Integrationsaufgaben der Komponente MERIII am schwierigsten zu lösen (MMERIII=0,44, SD=0,83), gefolgt von MERI-Aufgaben (MMERI=0,01, SD=0,79). Konstruktionsaufgaben waren in der Ökologie für die Stichprobe am leichtesten zu lösen (MMERII=-0,34, SD=1,10). Für den Aufgabenkontext Stoffwechsel sind Integrations-aufgaben der Komponente MERIII ebenfalls am schwierigsten zu lösen (MMERIII=0,64). Diese sind für die untersuchte Stichprobe auch im Kompetenztest insgesamt am schwierigsten. Für die Komponente MERI liegt die Schwierigkeit der Items bei einem Mittelwert von MMERI=0,60 (SD=0,65). Konstruktionsaufgaben waren auch im Kontext Stoffwechsel für die Stichprobe am leichtesten zu lösen (MMERII=-0,39, SD=1,29). Im Gegensatz dazu stehen die Aufgaben aus dem Aufgabenkontext Genetik. Mit einem Mittelwert von MMERI=0,24 (SD=0,63) für die Integrationsaufgaben der Komponente MERI und einem Mittelwert von MMERII=0,18 (SD=1,06) für die Konstruktionsaufgaben der Komponente MERII sind diese Aufgaben insgesamt leich-ter zu lösen. Integrationsaufgaben der Komponente MERIII werden von der unleich-tersuchten Stichprobe ebenfalls leicht gelöst (MMERIII=0,05, SD=0,98).
Bezieht man in diese zweifaktorielle Analyse den Repräsentationstyp als dritten Faktor in das Modell ein, lassen sich zusammenfassend folgende Schwierigkeiten diagnostizieren (vgl. T A-BELLE 16). Damit können die Schwierigkeiten differenzierter interpretiert werden.
TABELLE 16: MITTLERE AUFGABENSCHWIERIGKEITEN (ITEMPARAMETER) NACH KOMPONENTEN DER
MER-INTEGRATION, GETRENNT NACH AUFGABENKONTEXTEN UND DEM REPRÄSENTATIONSTYP
(N=128ITEMS)
MER I MER II MER III
M SD M SD M SD
Ökologie Diagramm -0,04 0,83 -0,36 1,10 0,17 0,76
Schema 0,40 0,26 -0,06 1,00 0,98 0,73
Stoffwechsel Diagramm 0,61 0,60 -0,42 1,22 0,77 0,74
Schema 0,60 0,77 -0,32 1,05 0,55 0,62
Genetik Diagramm 0,28 0,74 -0,22 0,93 -0,05 1,23
Schema 0,17 0,53 0,77 1,08 0,15 0,81
Der differenzierte Blick auf die Itemschwierigkeiten zeigt, dass neben der MER-Integration und dem Aufgabenkontext auch der Repräsentationstyp eine Rolle im Hinblick auf die Itemschwierigkeit spielt. So sind es vor allem Diagrammaufgaben in der Stoffwechselphysi-ologie, die die Informationsentnahmenahe Integration schwierig machen (MMERISD=0,61, SD=0,60). Gleichzeitig ist die konstruktionsnahe Integration von Diagrammaufgaben in der Stoffwechselphysiologie am leichtesten (MMERIISD=-0,42, SD=1,22). Des Weiteren kann für die MERII-Integration festgehalten werden, dass die Testaufgaben insgesamt am leichtesten für die untersuchte Stichprobe zu lösen waren, eine Ausnahme stellen MERII-Aufgaben im Kon-text Genetik dar, die eine Integration mit dem Repräsentationstyp Schema erfordern
(MMERIIGS=0,77, SD=1,08). Während MERIII-Aufgaben aus der Stoffwechselphysiologie
insge-samt am schwierigsten zu lösen waren, zeigt der Blick auf den Repräsentationstyp, dass Schemaaufgaben im Kontext Ökologie noch schwieriger zu lösen waren, als die Diagramm-aufgaben im Kontext Stoffwechsel (MMERIIIÖS=0,98, SD=0,73). Die Ergebnisse implizieren, dass eine zusätzliche qualitative Untersuchung der Testaufgaben einen Beitrag zur Interpretation der MER-Integrationsprozesse leisten kann. In diesem Zusammenhang sei auf die qualitative Analyse der Testaufgaben im Rahmen der Hauptstudie verwiesen (s. Kapitel 9.4).
Über die mehrfaktoriellen Varianzanalyse (ANOVA) wird überprüft, ob sich die Mittelwerte der Itemschwierigkeiten aus dem 3 x 3 x 2-Design des Kompetenzstrukturmodells auch statis-tisch signifikant voneinander unterscheiden. Normalverteilung und Varianzhomogenität als Voraussetzung für die Durchführung der Varianzanalyse wurden kontrolliert, der Levene-Test ist nicht signifikant (F(17,110) = 1,551, p = 0,09). Der Test ist insgesamt signifikant, d.h. das Gesamtmodell ist signifikant (F(17,110) = 1,737, p = 0,046, partielles 2=0,21). Als Anteil der Streuung um den Gesamtmittelwert können 9 % Varianz durch das Modell erklärt werden (korr. R-Quadrat = 0,09). Im Hinblick auf die unterschiedlichen Komponenten gibt es im mehr-faktoriellen Modell hingegen keinen Haupteffekt der MER-Integration, des Aufgabenkontex-tes oder des Repräsentationstyps auf die Itemschwierigkeit (p > 0,05). Aus diesem Grund wurden zusätzlich einfaktorielle Varianzanalysen durchgeführt, indem jede Komponente aus dem Kompetenzstrukturmodell als eine unabhängige Variable definiert wurde (z.B. MER-In-tegration) und die Schwierigkeitsunterschiede in dieser Gruppe analysiert wird. Da der Le-vene-Test signifikant ist (F(2,125) = 6,645, p = 0,002) und damit keine Varianzhomogenität vorliegt, wurde der Welch-Test herangezogen. Als Ergebnis resultiert, dass der Test signifi-kant ist (F(2,125) = 5,656, p = 0,004) und ein Haupteffekt der MER-Integration auf die Itemschwierigkeit vorliegt. Multiple Mittelwertsvergleiche im Rahmen der Post-Hoc-Analyse mit Bonferroni-Korrektur zeigen, dass signifikante Unterschiede zwischen den Komponenten MERI und MERII (0,57, 95%-CI [0,11, 1,02]; p < 0,05) und zwischen den Komponenten MERII und MERIII (-0,59, 95%-CI [-1,08, -0,11]; p < 0,05) vorliegen. Die einfaktorielle Varianzanalyse der Aufgabenkontexte ergab keine statistischen Unterschiede in den Itemschwierigkeiten von Ökologie, Stoffwechsel oder Genetik (F(2,125) = 0,862, p = 0,425). Zur Berechnung der Schwierigkeitsunterschiede im Repräsentationstyp wurde ein t-Test für unabhängige Stich-proben durchgeführt. Analog zur Varianzanalyse setzt der t-Test Varianzhomogenität aus.
Diese wurde überprüft, der Levene-Test ist nicht signifikant (F(1,126) = 1,418, p = 0,236). Die Teststatistik beträgt t = -2,360 (-0,40, 95%-CI [-0,74, 0,06]; p = 0,02) bei einer Effektstärke von r = 0,21. Damit liegt ein signifikanter Unterschied zwischen dem Repräsentationstyp Di-agramm und Schema vor.
Inwieweit der Repräsentationstyp innerhalb der verschiedenen MER-Integrationsleistungen sowie innerhalb den verschiedenen Aufgabenkontexten eine Rolle spielt, wurde in Ergänzung ebenfalls untersucht. Die Ergebnisse der Schwierigkeitsverteilungen sind in ABBILDUNG 21 und ABBILDUNG 22 dargestellt.
ABBILDUNG 21: MITTLERE AUFGABENSCHWIERIGKEITEN (ITEMPARAMETER) NACH KOMPONENTEN DER MER-INTEGRATION FÜR DIE ZWEI REPRÄSENTATIONSTYPEN (N=128ITEMS,M=MITTELWERT) Das Schwierigkeitsprofil zeigt insgesamt, dass Schemaaufgaben tendenziell über alle MER-Integrationsprozesse schwieriger zu lösen sind als Diagrammaufgaben. Am leichtesten sind Testaufgaben zur MERII-Integration, die Diagramme enthalten (MMERIID=-0,35, SD=1,07). Auch die Schemaaufgaben der MERII-Integration sind mit einem Mittelwert von MMERIIS=0,19 (SD=1,07) leichter als die anderen Items der Komponenten MERI oder MERIII. Testaufgaben mit Diagrammen, die eine Informationsentnahmenahe Integration erfordern (MMERID=0,29, SD=0,76), sind hingegen schwieriger als MERIII-Aufgaben (MMERIIID=0,20, SD=0,87). Am schwierigsten zu lösen sind Testaufgaben der MERIII-Integration, die ein Schema enthalten
(MMERIIIS=0,61, SD=0,78), gefolgt von MERI-Aufgaben ebenfalls mit einer Schemazeichnung
(MMERIS=0,47, SD=0,67). Die anschließende zweifaktorielle Varianzanalyse ist statistisch sig-nifikant (F(5,122) = 3,330, p = 0,007, partielles 2=0,12), zusätzlich liegt ein Haupteffekt des Repräsentationstyps auf die Itemschwierigkeit vor (p < 0,05).
Hinsichtlich der unterschiedlichen Aufgabenkontexte zeigt sich das folgende Bild der Vertei-lung der Itemschwierigkeiten (vgl. ABBILDUNG 22).
ABBILDUNG 22: MITTLERE AUFGABENSCHWIERIGKEITEN (ITEMPARAMETER) NACH KOMPONENTEN DER AUFGABENKONTEXTE FÜR DIE ZWEI REPRÄSENTATIONSTYPEN DIAGRAMM UND SCHEMA (N=128 ITEMS,M=MITTELWERT)
Schemaaufgaben innerhalb des Kontextes Ökologie mit einem Mittelwert von MÖkoS=0,76 (SD=0,23) sind schwieriger für die untersuchte Stichprobe zu lösen als Testaufgaben mit Di-agrammen (MÖkoD=-0,07, SD=0,14). Im Kontext Stoffwechsel sind Diagrammaufgaben schwieriger zu lösen (MStwD=0,29, SD=0,18) als im Kontext Ökologie und im Kontext Genetik, aber leichter als Schemaaufgaben mit einem Mittelwert von MStwS=0,38 (SD=0,20). Ein ähnli-ches Bild zeigt sich im Kontext Genetik. Schemaaufgaben sind mit einem Mittelwert von MGenS=0,35 (SD=0,23) schwieriger zu lösen als Diagrammaufgaben (MGenD=0,01, SD=0,23).
Ergebnisse einer zweifaktoriellen Varianzanalyse mit den Gruppierungsvariablen Repräsen-tationstyp und Aufgabenkontext zeigen nach Überprüfung der Eingangsvoraussetzungen (Normalverteilung, Varianzhomogenität) hingegen keine statistisch signifikanten Effekte. Die Items 52, 60 und 61 stellen Ausreißer im Boxplot-Diagramm dar, werden aber aufgrund der Überprüfung der Testaufgaben als Items für die Hauptstudie für diese Darstellung der Ergeb-nisse nicht entfernt.
Aufgrund der sichtbaren Schwierigkeitsunterschiede, den allerdings nicht auch statistisch vorliegenden signifikanten Unterschieden in den Varianz- und Posthoc-Analysen, ist eine qualitative Analyse der Testaufgaben anzustreben. Diese kann ein detaillierteres Bild der Schwierigkeitsverteilung im Hinblick auf Anforderung, Aufgabenstellung und MER-Integrati-onsleistung in den unterschiedlichen Aufgabenkontexten liefern und ist Bestandteil der Er-gebnispräsentation im Rahmen der Hauptstudie (s. Kapitel 9.4).