4.7 Stichprobe
5.1.2 Codierung der Reflexionsaufgaben (Items 11-17)
Die Reflexionsaufgabe besteht aus drei MC-Fragen und vier Freitextantworten. Wäh- Beschreibung und Verbesse- rungsvor-schläge zu Strategien rend die Codierung der MC-Fragen und der ersten Freitextaufgabe (Items 11 bis 14)
sich aufgrund des Aufgabenformats sehr einfach darstellt, waren bei den anderen Frei-textantworten die von den Schülerinnen und Schülern gegebenen Verbesserungsvorschläge jeweils danach zu unterscheiden, ob sie überhaupt einen Verbesserungsvorschlag geben und dieser dann inhaltlicher oder strategischer Natur ist.Inhaltlichbedeutet in diesem Fall, dass der Verbesserungsvorschlag eng auf einzelne Kriterien bezogen ist,strategische Verbesserungsvorschläge haben eine von einzelnen Kriterien losgelöstere Sichtweise, die den Entscheidungsprozess in den Blick nimmt. Bei den strategischen Verbesserungsvorschlägen wurde beim Scoring zudem noch genauer danach unterschieden, ob sie nur in die richtige Richtung gehen („teilweise strategisch“) oder schon vollständig und umfassend sind. Die Ergebnisse der ersten Datenanalyse und die Prüfung vielfältiger Variationen legten eine Reduzierung der Kategorienanzahl von vier auf drei Kategorien nahe (siehe Kapitel5.3.4).
Im Folgenden wird daher die Codierung bei den einzelnen Verbesserungsvorschlägen noch einmal ausführlich dargestellt.
Item 15: Codierung des Verbesserungsvorschlags für die non-kompensatorische Strategie
In die Kategorieteilweise strategischwurden Antworten von Schülerinnen und Schülern generelles Vorgehen aufgenommen, die zwar eine strategische Ausrichtung haben, aber nicht vollständig zu
54 5 Auswertungsmethodik
Tabelle 5.2:Scoring Guide für die Bewertung der Reflexionsaufgabe.
Scoring Guide für die Reflexionsaufgabe
Item Schüler/-in erwähnte... Score
Nr. ursprünglich angepassta
11 MC; Beschreibung falsche Antwort 0 0
int.-rechtfertigend richtige Antwort 1 1
12 MC; Beschreibung falsche Antwort 0 0
non-kompensatorisch richtige Antwort 1 1
13 MC; Beschreibung falsche Antwort 0 0
kompensatorisch richtige Antwort 1 1
14 Passendere keine / Option 1-3 0 0
Entscheidung Sabine / Option 4 1 1
15 Verbesserungsvorschlag keinen Vorschlag 0 0
für nur inhaltlichen Vorschlag 1 1
non-kompensatorische teilweise strategischen Vorschlag 2 1
Strategie voll strategischen Vorschlag 3 2
16 Verbesserungsvorschlag keinen Vorschlag 0 0
für nur inhaltlichen Vorschlag 1 1
kompensatorische Vorschlag „nichts zu verbessern“ 2 1
Strategie teilweise strategischen Vorschlag 3 1
voll strategischen Vorschlag 4 2
17 Verbesserungsvorschlag keinen Vorschlag 0 0
für nur inhaltlichen Vorschlag 1 0
int.-rechtfertigendes teilweise strategischen Vorschlag 2 1
Verhalten voll strategischen Vorschlag 3 2
anach ersten Raschmodellierungen und Prüfung der Item-Fit-Indizes (siehe Kapitel5.3.4)
Ende gedacht sind. Dies kann z. B. der Fall sein, wenn die Schülerinnen und Schüler zwar fordern, dass alle Kriterien berücksichtigt werden sollen, sie aber nur bis zu zwei Optionen diskutieren. Ein vollständiger Vergleich aller Optionen findet hier immer noch nicht statt.
Erwähnen die Schülerinnen und Schüler in ihren Antworten, dass Bernd alle Kriterien und alle Optionen in seine Entscheidung mit einbeziehen soll, so wurde dies der Kategorie vollständig strategischzugeordnet. Ebenso, wenn die Antwort der Schülerinnen und Schüler erkennen ließ, dass Bernd nach einem Ausschlussverfahren vorgegangen ist und erläutert wurde, weshalb dieses nicht alle Waschmaschinen mit einbezogen hat (siehe Tabelle5.2).
Beispiele:
„Bernd hat vergessen, dass die Waschmaschine 3 einen weiten [Transport-]
Weg hat.“Ursprünglicher Score 1 bei Item 15. Beispiel für einen inhaltlichen Verbesserungsvorschlag. Testheft Nr. 159 (SARE02, Klasse 12).
„Er hätte den Rest der Kriterien auch mit einbeziehen müssen, als nur noch Waschmaschinen 3 und 4 übrig blieben.“Ursprünglicher Score 2 bei Item 15.
5.1 Datenaufbereitung 55
Beispiel für einen teilweise strategischen Verbesserungsvorschlag. Testheft Nr.
822 (SIWA26, Klasse 12).
„Bernd hätte die WM nicht gleich ausscheiden lassen sollen, nur weil ihm ein Kriterium nicht passt. Er hätte alle Vor- und Nachteile aller WM vergleichen sollen.“ Ursprünglicher Score 3 bei Item 15. Beispiel für einen vollständig strategischen Verbesserungsvorschlag. Testheft Nr. 229 (INMA19, Klasse 10).
„Er geht nach dem Ausschlussprinzip vor. Am Ende bleibt einfach eine WM über.
Die Waschmaschine die über bleibt, prüft er gar nicht nach seinen Vor- und Nachteilen.“Ursprünglicher Score 3 bei Item 15. Beispiel für einen vollständig strategischen Verbesserungsvorschlag. Testheft Nr. 869 (HEAD07, Klasse 12).
Item 16: Codierung des Verbesserungsvorschlags für die kompensatorische Strategie
Der Kategorie teilweise strategisch wurden analog Antworten von Schülerinnen und generelles Vorgehen Schülern zugeschrieben, die eine strategische Ausrichtung haben, aber nicht vollständig
richtig zu Ende gedacht sind bzw. bei denen nicht durchgängig sinnvoll argumentiert wurde.
Für die Kategorievollständig strategisch gilt als Anforderung, dass die Schülerinnen und Schüler als Verbesserungsvorschlag geben, unwichtige Kriterien1 mit dem Faktor 0 zu gewichten (also dieses Kriterium bei der Auswahl von Optionen nicht mit einzubeziehen) und/oder die Punktvergabe wird auf einem hohen Niveau generell kritisiert, weil sie subjektiv oder die Umsetzung der Information in Punkte nicht angemessen ist.
Anders als bei den anderen Strategien in den anderen Aufgabenteilen wurde hier zudem Spezialfall
„alles richtig gemacht“
eine Kategorie eingeführt um Antworten von Schülerinnen und Schülern aufzunehmen, die beschreiben, dass Sabine alles richtig gemacht habe und es deshalb keinen Verbesserungs-vorschlag geben sollte. Dies geschah vor dem Hintergrund, dass es ungerechtfertigt erschien, diese Einschätzung vom Niveau her unterhalb eines inhaltlichen Verbesserungsvorschlags anzusiedeln. Das im Testheft vorgestellte kompensatorische Vorgehen von Sabine ist bereits sehr komplex und ausgewogen, so dass Antworten von Schülerinnen und Schülern, die dazu raten nichts zu verändern weil bereits alles gut berücksichtigt sei, höher als ein inhaltlicher Vorschlag eingestuft sein sollte (siehe Tabelle 5.2).
Beispiele:
„Sabine könnte in ihrem Vorgehen etwas objektiver sein. Nicht nur die Energie-menge ist sehr wichtig, auch der Transportweg. Er sollte möglichst kurz sein.“
1 Im Aufgabenheft erläutern drei fiktive Personen, welche Kriterien ihnen beim Kauf einer Waschmaschine wichtig und welche unwichtig sind.
56 5 Auswertungsmethodik
Ursprünglicher Score 1 bei Item 16. Beispiel für einen inhaltlichen Verbesse-rungsvorschlag. Testheft Nr. 969 (CHJO30, Klasse 12).
„Ich finde, dass sie eine gute Möglichkeit gefunden hat die Waschmaschinen zu vergleichen. Vielleicht ist ihre Methode ein bisschen zeitaufwändig.“ Ursprüng-licher Score 2 bei Item 16. Beispiel für einen Vorschlag, dass sie „alles richtig gemacht“ hat. Testheft Nr. 317 (GTJT14, Klasse 10).
„Sie könnte eventuell die Wichtigkeit noch etwas genauer unterteilen, um so zu einem eindeutigeren Ergebnis zu gelangen.“ Ursprünglicher Score 3 bei Item 16. Beispiel für einen teilweise strategischen Verbesserungsvorschlag. Testheft Nr. 964 (SUHO12, Klasse 12).
„Sie könnte unwichtige Kriterien aus der Wertung weglassen und nur wichtige nicht so stark bewerten.“Ursprünglicher Score 4 bei Item 16. Beispiel für einen vollständig strategischen Verbesserungsvorschlag. Testheft Nr. 454 (SIJÖ16, Klasse 10).
Item 17: Codierung des Verbesserungsvorschlags für das intuitiv-rechtfertigende Vorgehen Alsteilweise strategischwurden in diesem Aufgabenteil Schülerinnen- und Schülerantworten generelles
Vorgehen gewertet, die entweder dazu raten alle Optionen zu betrachten oder eine Gewichtung von Kriterien vorzunehmen. Enthielt der Verbesserungsvorschlag beide Aspekte, wurde dieser der Kategorie vollständig strategisch zugeordnet.
Beispiele:
„Eine Waschmaschine aus Deutschland kaufen, um denCO2-Ausstoß zu ver-ringern.“ Ursprünglicher Score 1 bei Item 17. Beispiel für einen inhaltlichen Verbesserungsvorschlag. Testheft Nr. 594 (RADI20, Klasse 8).
„Er sollte bei jeder Waschmaschine alles beachten.“ Ursprünglicher Score 2 bei Item 17. Beispiel für einen teilweise strategischen Verbesserungsvorschlag.
Testheft Nr. 484 (BIRE18, Klasse 8).
„Er betrachtet nur Waschmaschine 3, vergleicht nicht mit den anderen Maschi-nen und wägt Kriterien nicht nach ihrer Wichtigkeit ab.“Ursprünglicher Score 3 bei Item 17. Beispiel für einen vollständig strategischen Verbesserungsvorschlag.
Testheft Nr. 917 (HIDI16, Klasse 12).
5.1 Datenaufbereitung 57