Auswahl der der Kontrollvariablen

vorliegenden Fragestellung das Risiko einer fälschlichen Beibehaltung der Nullhypothese minimiert werden muss. Zur Kontrolle desβ-Fehlers gibt es mehrere Möglichkeiten (Diehl

& Arbinger, 1990), wobei die einfachste Methode darin besteht, das Signifikanzniveauα zu erhöhen. So empfehlen Bortz und Döring (2006) für die Testung von Äquivalenzan-nahmen einα von0.20, um die Teststärke auf ein vertretbares Niveau zu heben. Dieser Vorschlag wurde übernommen, wobei auch hier die Angaben zu den empirischen Wahr-scheinlichkeiten pimmer einer zweiseitigen Testung entsprachen.

Neben den üblichen Kennzahlen, wie den Prüfgrößen und den Freiheitsgraden, schien es angebracht zu sein, ein Maß für die praktische Bedeutsamkeit der gefundenen Zu-sammenhänge zu berichten. Um die Stärke der Effekte zu veranschaulichen, wurde η¯² gewählt, da dessen Berechnung keine besonderen Voraussetzungen erfordert und relativ leicht zu interpretieren ist (vgl. Diehl & Arbinger, 1990).

eingeht, die Anzahl der Freiheitsgrade um 1, was bei der Signifikanztestung einer Verklei-nerung der Stichprobe gleichkommt. Die Auswahl der Kontrollvariablen muss demnach mit Bedacht erfolgen, da eine Berücksichtigung von Kovariaten mit nur geringem Einfluss auf die Varianz der abhängigen Variablen letztlich zu einer Verringerung der Teststärke führt.

Auch im Rahmen der vorliegenden Arbeit wurden potentielle Störgrößen erhoben, wo-bei diese jedoch nicht zwingend in der Analyse berücksichtigt werden sollten. Die Ent-scheidung, eine Kontrollvariable aufzunehmen, machte nur dann Sinn, wenn sich deren durchschnittliche Ausprägung nicht gleichmäßig auf die einzelnen Experimentalgruppen verteilte. Aus diesem Grund wurden Äquivalenztests gegen eineα-Fehlerwahrscheinlichkeit von 20% durchgeführt. Als Prüfgröße dienten die F-Werte einer ANOVA mit den zweistufi-gen FaktorenReihenfolgeundInformationsverhältnis. Die Interpration von F-Werten setzt jedoch voraus, dass die abhängige Variable normalverteilt ist und sich die Fehlervarian-zen in den Gruppen nicht unterscheiden. Tabelle 6.1 zeigt das Ergebnis der Kolmogorow-Smirnow- und Levene-Tests für die einzelnen Kontrollvariablen.

Tabelle 6.1:Kolmogorow-Smirnow- und Levene-Tests für die Auswahl der Kontrollvariablen

Irrtumswahr-Merkmal Verfahren Prüfgröße Freiheitsgrade

scheinlichkeit Levene−Test F=0.04 d f1=3; d f2=80 p=.988 Interesse

K−S−Test ZK−S=2,10 − p< .001^∗∗

Levene−Test F=1.44 d f1=3; d f2=80 p=.237 Erdkundenote

K−S−Test ZK−S=1,83 − p=.002^∗∗

Levene−Test F=1.15 d f1=3; d f2=80 p=.333 Vorwissen

K−S−Test ZK−S=1,05 − p=.223

Motivation Leven−Test F=0.72 d f1=3; d f2=80 p=.544

FAM K−S−Test ZK−S=0.56 − p=.910

Verbale Leven−Test F=1.48 d f1=3; d f2=80 p=.227

Intelligenz K−S−Test ZK−S=1,25 − p=.089

Raumliche¨ Levene−Test F=0.55 d f1=3; d f2=80 p=.649

Intelligenz K−S−Test ZK−S=1,11 − p=.167

Lernstil Levene−Test F=0.44 d f1=3; d f2=80 p=.726

Verbalizer K−S−Test ZK−S=1,23 − p=.098

Lernstil Levene−Test F=1.58 d f1=3; d f2=80 p=.200 Visualizer K−S−Test ZK−S=2.04 − p< .001^∗∗

Anm.: K-S-Test = Kolmogorow-Smirnow-Anpassungstest; signifikante Abweichun-gen bzw. Unterschiede werden durch ein Sternchen (* < .05) bzw. durch zwei Stern-chen (** < .01) hervorgehoben

Es ist zu erkennen, dass die Fehlervarianzen bei allen Kontrollvariablen durchaus ver-gleichbar waren, weshalb die erste Voraussetzung als erfüllt angesehen werden konnte.

Anders verhielt es sich dagegen mit der Normalverteilungsannahme, die nicht in jedem

Fall zutraf. So überschritten dieVisuailizer-Skala, dasInteresse für Geologieund die An-gaben zu der Erdkundenote den kritischen Wert der Kolmogorow-Smirnow-Prüfstatistik deutlich, was es ziemlich unwahrscheinlich machte, dass diese Merkmale normalverteilt waren. Milligan, Wong und Thompson (1987) konnten in Simulationsstudien jedoch bele-gen, dass die F-Werte zweifaktorieller Varianzanalysen durchaus gültige Schlüsse zulas-sen, selbst wenn das Kriterium der Normalverteilung verletzt ist. Allerdings müssen dazu die Zellen gleichmäßig besetzt bzw. der Versuchsplan orthogonal sein, was im Rahmen der ersten Studie gegeben war. Aufgrund dieser relativen Robustheit konnte letztlich für alle Kontrollvariablen Varianzanalysen gerechnet werden, um deren Verteilung zu prüfen.

Für die Personenmerkmale Interesse und Erdkundenote ergab die ANOVA keine si-gnifikanten Ergebnisse, weshalb sie nicht als Kovariaten berücksichtigt werden muss-ten. Etwas anders verhielt es sich mit demdomänenspezifischen Vorwissen, bei dem ein Unterschied gefunden wurde. Während der FaktorInformationsverhältnis(F_(1;80)=0.056, p=.813, η¯² =.001) und der Interaktionseffekt (F_(1;80)=0.182, p=.671, η¯² =.002) den kritischen Wert jeweils verfehlten, lag die Irrtumswahrscheinlichkeit beim Vergleich der Reihenfolge (F_(1;80)=2.748, p=.101, η¯²=.033) unter dem Wert des Signifikanzniveau

vonα =.20. Damit galt die Äquivalenzannahme als verletzt, weshalb dasVorwissenals

Kontrollvariable in die Analyse aufgenommen wurde. Auch das Merkmal derMotivation, das mit einer Kurzform desFAM(siehe Abschnitt 5.2.4) erhoben wurde, war offensichtlich nicht gleichmäßig verteilt. Zwar zeigten sich beim Informationsverhältnis(F_(1;80)=1.064, p=.305, η¯² =.013) und der Interaktion (F_(1;80)=0.898, p=.346, η¯²=.011) wiederum keine bedeutsamen Unterschiede. Doch überschritt die Prüfstatistik des Faktors Reihen-folge(F_(1;80)=2.101,p=.151,η¯²=.026) den kritischen Wert, weshalb auch die Motivation statistisch kontrolliert werden musste.

Für die beiden Intelligenz- und Lernstilskalen wurde MANOVAs berechnet, um die Äqui-valenzannahme zu prüfen. Die betreffenden Skalen waren jeweils Teil eines übergeord-neten Konstruktes, so dass zumindest theoretisch davon ausgegangen werden musste, dass die beiden Messwerte nicht unabhängig waren. Da die MANOVA aber besonde-re Anforderungen an die abhängigen Variablen und debesonde-ren Verhältnis zu einander stellt, wurde vor der Berechnung der Box-Test durchgeführt, der jedoch weder im Fall der Intel-ligenz (MBox=11.59, F =1.229, d f₁ =9, d f₂ =73342.77, p=.271), noch bei den Lern-stilskalen (MBox =5.98, F =.634, d f₁ =9, d f₂ =73342.77, p =.769) signifikant wurde.

Die multivariaten Tests bestätigten, dass die Leistung in den IST-Skalen als gleichver-teilt gelten konnten, während die Ergebnisse zum Lernstil diese Deutung jedoch nicht zuließen. So zeigte der Kennwert Pillai’s Spur (V) einen Unterschied zwischen den Grup-pen des FaktorsReihenfolge an (V =.057,F_(2;79)=2.373, p=.100,η¯²=.057), der eine α-Fehlerwahrscheinlichkeit von 20% unterschritt. Das Informationsverhältnis (V =.017, F_(2;79) =.689, p=.505, η¯² =.017) und der Interaktionseffekt (V =.001, F_(2;79)= .055,

p=.946,η¯²=.001) waren zwar nicht signifikant, doch musste die Äquivalenzannahme

als verletzt angesehen werden.

Fasst man die Untersuchung zu den Kontrollvariablen zusammen, dann fällt auf, dass die Abweichungen in erster Linie den FaktorReihenfolge betrafen. Offensichtlich

unter-schieden sich die Teilnehmer dieser Gruppen trotz der randomisierten Zuweisung, wie Tabelle 6.2 zeigt, die Zellenmittelwerte und Standardabweichung der berücksichtigten Ko-variaten enthält.

Tabelle 6.2:Mittelwerte und Standardabweichung der Kontrollvariablen pro Versuchsbedingung Versuchsbedingungen

Text vor Bild Text vor Bild Bild vor Text Bild vor Text Merkmal

kongruent komplemntär kongruent komplementät X¯=6.76 X¯ =6.43 X¯ =5.71 X¯ =5.81 Vorwissen

sX¯ =2.16 sX¯ =2.20 sX¯=1.95 sX¯ =2.80

Motivation X¯=3.16 X¯ =3.18 X¯ =2.76 X¯ =3.01 FAM sX¯ =0.82 sX¯ =0.70 sX¯=0.90 sX¯ =0.68

Lernstil X¯=6.24 X¯ =6.19 X¯ =7.10 X¯ =6.95 Verbalizer sX¯ =1.76 sX¯ =2.32 sX¯=2.05 sX¯ =1.94

Lernstil X¯=7.76 X¯ =8.47 X¯ =7.19 X¯ =7.62 Visualizer sX¯ =2.07 sX¯ =1.69 sX¯=2.44 sX¯ =2.56

Anm.:X¯ =Mittelwert;sX¯ =Standardabweichung, in jeder Zelle des 2x2 Ver-suchsplans befanden sich n=21 Personen

Das betrifft vor allem dasVorwissen, aber auch dieMotivation. Demnach verfügten die Personen in den Text-vor-Bild-Gruppen nicht nur über mehr domänenspezifische Kennt-nisse, sondern waren gleichzeitig auch motivierter. Es erschien also durchaus angebracht zu sein, diese Unterschiede regressionstechnisch zu bereinigen, um einer Verzerrung der Ergebnisse entgegen zu wirken. Ob auch die Kontrolle des Lernstils die Teststärke erhö-hen würde, war nicht ganz so sicher, da nur ein schwacher Zusammenhang des Merkmals mit den abhängigen Variablen vermutet werden konnte. Allerdings zeigt Tabelle 6.2, dass durchaus Unterschiede hinsichtlich der Verarbeitungspräferenz bestanden. Während in den Text-vor-Bild-Gruppen tendenziell mehr Viszualizer zu finden waren, bevorzugten die Teilnehmer in den Bild-vor-Text-Gruppen eher verbales Material für den Wissenserwerb.

Die Zusammenhänge waren zwar schwach, doch da sich die Anzahl der Kovariaten im Rahmen hielt, sollte auch der Lernstil statistisch kontrolliert werden . Allerdings wurde aus der Visualizer- und Verbalizerskala ein Wert gebildet (vgl. Kirby et al., 1988), womit sich die Reduzierung der Freiheitsgrade in Grenzen hielt.