Testendform

Für die Erstellung der Endformen der modellkonformen Lernkontrollen sind die vorgegange-nen Analysen zu berücksichtigen. Es gilt der Grundsatz, dass alle auffälligen Items betrachtet werden müssen und dass diese bei zusätzlich schlechter Validität auch modifiziert oder gestri-chen werden sollten. Durch die Berechnung der Schwierigkeit kann die Reihung der Items positiv verändert werden. Jeder Test sollte mit einfachen Aufgaben starten, damit eine positiv wirkende Emotion beim Lerner entstehen kann.

Anwendungsfall Präsenzveranstaltung:

Beim Testbeispiel zur Präsenzveranstaltung fallen zwei Items auf. PV03 durch seine geringe Trennschärfe und PV05 durch seine hohe Schwierigkeit und den hohen Einfluss auf die Reli-abilität. Bei PV03 wird nach der korrekten chemischen Summenformel für die Karbonatisie-rung gefragt. Diese Frage wurde von etwa zwei Drittel der Probanden korrekt beantwortet.

Seltsamerweise konnten diese Frage relativ viele, verhältnismäßig schlechte Probanden kor-rekt lösen. Da die inhaltliche Validität gegeben ist, bleibt das Item in gleicher unveränderter Weise erhalten. Das Item PV08 fragt nach den Karbonatisierungstiefen an den verschiedenen Stellen einer Straßenbrücke aus Beton. Das zugehörige Bild ist in der Abbildung 5-25 darge-stellt.

Abbildung 5-25 Item PV05 - Teil der Aufgabenstellung

Obwohl die Aufgabe in identischer Form in der zugehörigen Vorlesung durchgenommen wurde, konnten lediglich fünf Prozent der Studenten die Aufgabe vollständig richtig lösen.

Mehr als ein Drittel der Probanden erzielte keinen einzigen der möglichen sechs Punkte. Of-fensichtlich hat die Mehrheit der Studenten das Prinzip der Karbonatisierung und die zugehö-rigen Einflüsse nicht verstanden. Daraus ergäbe sich nun ein klassischer Fall für eine Lern-steuerung. Der Dozent könnte geeignete Maßnahmen für die Aktionsphase vornehmen und zum Beispiel eine Wiederholung dieser Aufgabe in der folgenden Vorlesung vorsehen. Da diese Aufgabe aber auch sehr inhaltsvalide ist, bleibt sie dem Test erhalten. Im Übrigen ist die Qualität der Lernkontrollen zur Präsenzveranstaltung nicht ausschließlich über die Gütekrite-rien zu definieren. Viel wichtiger ist in diesem Zusammenhang, dass die Lernkontrollen auf einfache Art und Weise, ohne großen Aufwand, schnell und somit effizient erstellt werden können. Diese Lernkontrollen sind deshalb dem Rapid Learning zuzuschreiben.

Anwendungsfall E-Learning / Blended Learning:

Beim Test zum Lehrpfad Konsistenzbestimmung sind drei Items auffällig, allerdings liegen die zugehörigen Werte nur sehr knapp unterhalb der entsprechenden Grenzen. Die Items EL09 und EL10 müssen auf Grund ihrer etwas zu geringen Trennschärfe untersucht werden.

Dabei handelt es sich um Fragen zu den Versuchen zur Bestimmung von Slump- und Vébémaß, die im Lehrpfad ausführlich erläutert werden, so dass keine Streichung notwendig erscheint. Die Frage EL06 ist zwar relativ schwierig, was wahrscheinlich daran liegt, dass es sich um eine Lückentextfrage (offenes Antwortformat) handelt, ist jedoch inhaltsvalide und bleibt somit auch erhalten.

Fahrtrichtung

Anwendungsfall Weiterbildung:

Beim Beispiel zur Weiterbildung fallen vier Items auf. Die Fragen WB02 und WB06 weisen beide einen Schwierigkeitsindex von ca. 80 auf und sind somit erwartungsgemäß auch nicht sehr trennscharf. Da der Test nur aus zehn Fragen besteht, ist die Streichung der Fragen nicht zu empfehlen: Bei beiden Fragen handelt es sich um Richtig-Falsch-Aufgaben, die durch eine Modifizierung und Ergänzung weiterer Wahlmöglichkeiten schwieriger und damit auch bes-ser gemacht werden könnten. Das Item WB09 wurde bereits in Rahmen der Distraktorenana-lyse untersucht und fällt nun erneut wegen seiner geringen Trennschärfe auf. Da die Frage ei-ne wichtige Kompoei-nente des Lernziels auf der Taxonomieebeei-ne Synthese prüft und damit auch sehr inhaltsvalide ist, bleibt sie erhalten. Bei Item WB10 handelt es sich um eine Be-rechnungsaufgabe und um die schwerste Aufgabe des Tests. Auffällig ist lediglich die poten-tielle leichte Erhöhung der Reliabilität bei Streichung des Items, was aber nicht vollzogen wird, da die Inhaltsvalidität auch hier gegeben ist.

Anwendungsfall E-Prüfung:

Bei der E-Prüfung sind im Rahmen der Analyse viele Items auffällig geworden. Fünf Items haben P-Werte für die Schwierigkeit von zum Teil deutlich über 80 und trotzdem eine gute Trennschärfe. Da alle diese Fragen inhaltsvalide sind, sollten sie in der Testendform erhalten bleiben und darin als Eisbrecher zu Beginn erscheinen. Bei dem Item EP03 fällt auf, dass 94 Prozent der Pobanden die Aufgabe richtig lösen konnten. Bei der Aufgabe handelt es sich und eine Drag’n’Drop-Aufgabe, bei der der so genannte Behaglichkeitsbereich richtig bestimmt werden muss. Dabei waren bislang enorme Toleranzen erlaubt, die für die Testendform nun stark reduziert wurden. Bei diesem Test fällt besonders negativ auf, dass fünf Items eine nega-tive Trennschärfe aufweisen. Item EP18 ist offensichtlich auch sehr einfach, da es sich um ei-ne Frage handelt, die eigentlich jeder in der Probandengruppe beantworten könei-nen müsste.

Bei dieser Frage könnte der Einbau einer zusätzlichen Schwierigkeit die Wertigkeit der Auf-gabe verbessern. Bei Item EP15 muss lediglich zwischen zwei Wahlmöglichkeiten unter-schieden werden. Auch in diesem Fall könnte eine Erhöhung der Schwierigkeit, zum Beispiel durch die Ergänzung zusätzlicher Wahlmöglichkeiten, die Aufgabe verbessern. Bei Aufgabe EP27 handelt es sich um eine sehr inhaltsvalide Aufgabe, bei der das Ergebnis vor allem we-gen der hohen Schwierigkeit sehr verwundert. In diesem Fall ist eher zu hinterfrawe-gen, warum ein Gros der Teilnehmer die Aufgabe nicht beantworten konnte. Als Abhilfe müsste vielmehr die zugehörige Vermittlungseinheit angepasst werden. Die Fragen EP17 und EP30 sind unge-nügend valide und sind zu streichen bzw. durch zwei neue Fragen zu ersetzen. Durch EP30 offenbart sich leider ein zusätzliches inhaltliches Problem. Zwar wurde der Inhalt zu EP30 nicht bei den Instruktionsphasen vermittelt, jedoch handelt es sich hierbei um eine Frage, die mit reinem Ingenieursachverstand gelöst werden kann, was im konkreten Fall auch 69 Prozent der Probanden gelang. Die negative Trennschärfe definiert nun, dass diese Frage besser von den schlechteren Prüfungsteilnehmern beantwortet werden konnte. Das bedeutet, dass ein gu-ter Ingenieursachverstand nicht zwingend zu einem guten Ergebnis bei der Prüfung Fachpla-ner EFachpla-nergieeffizienz führt.