Fragen und Tests

Wie bereits erwähnt, konnten mit dem gewählten Testsystem alle modellkonformen Tests umgesetzt werden. Für die Testfragen wurden sowohl offene als auch gebundene Antwort-formate berücksichtigt.

Prinzipiell besteht eine Frage oder vielmehr ein Item aus dem Fragestamm, in dem auch die eigentliche Frage integriert ist, den Wahlmöglichkeiten und den Produkten, in denen die Aus-wertungskriterien und das Feedback definiert sind. Die Abbildung 5-6 stellt die Komponenten eines Items dar.

Abbildung 5-6 Komponenten eines Items

Die Produkte berücksichtigen das Antwortverhalten und steuern entsprechend die Bewertung.

Bei dem Modell wird grundsätzlich zwischen den Produkten „optimal“, „eine bestimmte korrekte Wahlmöglichkeit angekreuzt“ und „nicht bearbeitet“ differenziert. Zu beachten ist, dass es auch mehrere Produkte mit der Bezeichnung „eine bestimmte korrekte Wahlmöglich-keit angekreuzt“ geben kann, abhängig von der Anzahl der korrekten WahlmöglichWahlmöglich-keiten. Für jedes Produkt gibt es eine Bewertung, die gegebenenfalls akkumuliert wird. Werden zum Bei-spiel bei einer Mehrfachantwort-Frage, bei der es drei richtige und zwei falsche Wahlmög-lichkeiten gibt, nur zwei von drei richtigen WahlmögWahlmög-lichkeiten angekreuzt, so wird zweimal das Produkt „eine bestimmte korrekte Wahlmöglichkeit angekreuzt“ aktiviert und die Bewer-tung somit aufsummiert. In diesem Fall gäbe es somit zweimal einen Punkt, also zwei Punkte.

Wenn falsche Wahlmöglichkeiten angekreuzt werden, gibt es in der Regel einen Punktabzug, wobei bei einer Frage in der Summe nicht weniger als Null Punkte erzielt werden können.

Die verwendeten Fragenarten mit gebundenen Antwortformaten sind in Tabelle 5-1 darge-stellt. Außerdem werden Empfehlungen für die Anwendung hinsichtlich der Taxonomieebe-nen gegeben. Der aus Erfahrungswerten ermittelte durchschnittliche Zeitbedarf für die techni-sche Umsetzung der jeweiligen Fragenart ist ebenfalls in der Tabelle zu finden. Im Rahmen der Arbeit wurden auch Fragen erstellt, für deren Konstruktion ein ganzer Arbeitstag notwen-dig war.

Tabelle 5-1 Gebundene Antwortformate - Eigenschaften

Fragenart Kürzel geeignet für Ta-xonomieebene (nach Bloom)²

Zeitbedarf für die technische Erstellung

[min]

Anmerkung

Multiple Choice MC W, K 5 – 10

Mehrfachantwort MA W, K, AW 10 – 15

Lückenwahlfrage LW W, K, AW 10 – 15 Lückentextfrage, bei der Wahlmöglichkeiten vor-gegeben sind

Zuordnung ZO W, K, AW, AL, S, B

10 – 15

Rangordnung RO W, K, AW, AL, S 10 – 15 wie Zuordnung, allerdings kann jeder Rang nur ein-mal zugeordnet werden Drag’n’Drop DD W, K, AW, AL, S,

B

30 – 60 wie Zuordnung; mit dem Schwerpunkt einer grafi-schen Umsetzung

Beispiele zu den einzelnen Fragearten sind im Anhang B zu finden.

Bei den offenen Frageformen ist zunächst die Lückentextfrage (LT) zu nennen. Sie stellt die einfachste offene Form dar, weil in die Lücken zumeist Schlagworte geschrieben werden müssen, die vom computergestützten System noch relativ einfach zu bewerten sind. Eine Ab-wandlung davon stellt der Fragetyp Numerisch (NU) dar, bei dem ein Zahlenwert in die Lü-cke einzutragen ist, der entweder gewusst, geschätzt oder berechnet werden muss. Auch diese Form ist einfach zu bewerten. Anders verhält sich dies bei den Textfragen, die in der Literatur meist als Essay-Fragen bezeichnet werden. Eine computergestützte Bewertung sollte hierbei nur erfolgen, wenn das Ergebnis keine hohe Relevanz hat, also keinesfalls bei E-Prüfungen.

Eine Abwandlung dieser Form stellt die Aufsatz-Frage (AU) dar. Der Unterschied zur Text-frage besteht darin, dass die Frage nicht unmittelbar bewertet wird, sondern ein „menschlicher Prüfer“ zwischengeschaltet ist, freilich mit dem Nachteil, dass das Gesamtergebnis erst nach der Prüfung der Aufsatz-Fragen und damit relativ spät bekannt gegeben werden kann. Bei den Fragen mit offenen Antwortformaten sind Inhalte auf allen Taxonomieebenen prüfbar. Der Zeitbedarf für die Erstellung ist abhängig davon, ob der Rechner die Bewertung übernehmen

2 (W: Wissen; K: Kennen; AW: Anwenden; AL: Analyse; S: Synthese; B: Bewertung)

soll. Wenn ja, ist er im Durchschnitt relativ hoch (20 – 30 min), wenn nicht, dann reichen meist 10 – 15 Minuten vollkommen aus.

Damit ein Test entsteht, müssen die gewünschten Fragen zu einer Einheit verbunden werden.

Bei den meisten Lernkontrollen ist die Reihenfolge der Fragen bewusst gewählt worden, zum Beispiel sollte man immer mit relativ einfachen Fragen als „Eisbrecher“ beginnen. Bei einem kleinen Teil der Lernkontrollen werden die Fragen – auf Wunsch des Autors – in zufälliger Reihenfolge angezeigt.

Die Darstellung der Fragen kann entweder in Listenform (Blocktest) oder, mit Hilfe einer zu-sätzlichen Navigation, schrittweise erfolgen, wie die Abbildung 5-7 verdeutlicht.

Abbildung 5-7 Darstellungsvarianten einer Lernkontrolle - links: Listenform; rechts: schrittweise Form mit zusätzlicher Navigation

Der große Vorteil der Listenform ist darin zu sehen, dass alle Fragen eines Tests sofort und auf einer Seite dargestellt werden und kein Eindruck entsteht, dass etwas fehlen könne. In vie-len Fälvie-len passen nicht alle Fragen auf eine Bildschirmseite, so dass gescrollt werden muss.

Darauf kann bei der schrittweisen Form verzichtet werden. Weiterhin ergeben sich auch Vor-teile aus der zusätzlichen Navigation. Zum Beispiel kann man einen Marker zu einer Frage setzen, die man erst später beantworten möchte oder bei der man sich noch nicht ganz sicher ist und findet diese Frage sehr schnell wieder (siehe Abbildung 5-7, rechts: Frage 3). Bei einer schriftlichen (computergestützten) Umfrage bei den WiBA-Net^®- Studenten im Jahre 2006 wurden die Vorlieben hinsichtlich der Darstellungsform der Lernkontrollen erfragt. Als Er-gebnis kam heraus, dass beide Varianten gleich beliebt sind. Da die Pädagogen des WiBA-Net^® die Listenform, wegen der genannten Vorteile, favorisierten, ist diese bei fast al-len modellkonformen Lernkontrolal-len wieder zu finden.

Bei beiden Varianten besteht weiterhin die Möglichkeit, dass bestimmte Fragen nur angezeigt werden, wenn zum Beispiel die zuvor gestellte Frage richtig beantwortet wurde. Damit kann man auch adaptive Tests erstellen, bei denen die nächsten Fragen auf Grundlage der Bewer-tung der zuvor gestellten Fragen dargeboten werden. Bei der Modellanwendung

Weiterbildung wurde dieses Vorgehen mit Hilfe des Lehrpfads „Witterungsbereinigung“ ge-testet. Es zeigte sich schnell, dass die Teilnehmer nicht bereit waren den Test vollständig zu bearbeiten. Der Test erhielt einen Übungscharakter, der ungewohnt war, weshalb der Test meist schon nach der ersten falschen Antwort abgebrochen wurde. Da diese Form von den Kunden nicht angenommen wurde, gab es dazu bislang keine weiteren Versuche.

5.6.4 Arbeitsanweisung - Erstellung computergestützter Lernkontrollen