Fragenkatalog

Weiterbildung wurde dieses Vorgehen mit Hilfe des Lehrpfads „Witterungsbereinigung“ ge-testet. Es zeigte sich schnell, dass die Teilnehmer nicht bereit waren den Test vollständig zu bearbeiten. Der Test erhielt einen Übungscharakter, der ungewohnt war, weshalb der Test meist schon nach der ersten falschen Antwort abgebrochen wurde. Da diese Form von den Kunden nicht angenommen wurde, gab es dazu bislang keine weiteren Versuche.

5.6.4 Arbeitsanweisung - Erstellung computergestützter Lernkontrollen

Tabelle 5-2 Lernkontrollen – Anzahl und Themengebiete

Anwendungsfall Anzahl Tests Themengebiete

Präsenzveranstaltung 14 • Werkstoffe im Bauwesen E-Learning/

Blended Learning

83 • Werkstoffe im Bauwesen

• Erneuerbare Energien

Weiterbildung 151 • Bauphysik

• Anlagentechnik

• Energieeffizienz

E-Prüfung 10 • Bauphysik

• Anlagentechnik

• Energieeffizienz

Bei standardisierten Tests kann man in aller Regel von einheitlichen Rahmenbedingungen für die Analyse ausgehen. Die Probandengruppe ist stets homogen aufgebaut und die Testungen werden in aller Regel an einem Ort und gleichzeitig durchgeführt. Die hier zur Verfügung stehenden Daten wurden nicht unter solchen einheitlichen Randbedingungen gewonnen (in-formelle und lernzielorientierte Tests). Die Testungen wurden teilweise über viele Jahre und an sehr inhomogenen Personengruppen durchgeführt. Diesem Umstand ist bei der Interpreta-tion der Analyseergebnisse (siehe Abschnitt 5.8) Rechnung zu tragen.

5.6.5.2 Metadaten

Zu den modellkonformen Testfragen werden zusätzlich einige Metadaten erfasst. Dies sind beschreibende Daten, die insbesondere bei der Konstruktion der Tests helfen. Im System sind die folgenden Metadaten hinterlegt:

• maximale Punktzahl

• Nutzung

o nicht-öffentlich, z.B. nur für Klausuren o öffentlich, für alle Bereiche

• Schwierigkeitsindex

• Bloomsche Taxonomieebene

Bei der Ergänzung durch Metadaten wurde besonders darauf geachtet, dass nur die wichtigs-ten erfasst werden, so dass der für ihre Erfassung aufzuwendende Zeitbedarf gering bleibt. Bei vielen E-Learning-Projekten hat man sehr viele Ressourcen mit der Generierung von Metada-ten, meist unter Berücksichtigung des Scorm-Standards, verbraucht, um dann doch festzustel-len, dass viele dieser Daten gar nicht mehr genutzt werden. Dieser Umstand wird in

E-Learning-Kreisen häufig als „Friedhof der Metadaten“ bezeichnet und soll beim hier vorge-stellten Modell unbedingt vermieden werden.

Durch das Metadatum „Autor“ lassen sich Tests automatisch erzeugen, die nur Fragen eines bestimmten Autors beinhalten. Das Datum „Nutzung“ ist wichtig, damit Fragen, die aus-schließlich für verbindliche Prüfungen vorgesehen sind, nicht bereits in der Prüfungsvorberei-tung dem Lerner angezeigt werden. Mit Hilfe des Schwierigkeitsindex lässt sich die Schwie-rigkeit der Frage auch für den gesamten Test abschätzen und mit der Hinterlegung der „Taxo-nomieebene“ lassen sich zum Beispiel alle anwendungsbezogenen Fragen zu einem Themen-gebiet herausfiltern und zu einem neuen Test zusammenstellen.

5.6.5.3 Kriterien zum Erstellen modellkonformer Testfragen

Schon Gage hat festgestellt, dass das Konstruieren von Testfragen mit gebundenen Antwort-formen eine „Art Kunst“ darstellt [GAGE 1986]. Um qualitativ gute Tests zu erzeugen, ist ei-ne Vielzahl von Kriterien zu beachten. Im Rahmen dieser Arbeit hat sich gezeigt, dass diese in reduzierter Form auch auf Lernkontrollen anzuwenden ist. Die folgende Aufstellung bein-haltet deshalb die wesentlich Konstruktionshinweise für die Erlangung guter modellkonfor-mer Lernkontrollen und wurde im Rahmen der WiBA-Net^®-Arbeitsgruppe Tests erstellt. Im Übrigen sollten viele davon auch bei der Konstruktion von Testfragen mit offenen Antwort-formen berücksichtigt werden.

Allgemein:

• Keine verwirrenden Formulierungen verwenden

• Keine stereotypen Formulierungen verwenden

• Keine doppelten Verneinungen verwenden

• Stets so klar und unmissverständlich wie möglich formulieren, was bei der Aufgabe getan werden soll

• Nur eindeutige Wörter und Begriffe verwenden

• Komplizierte Satzkonstruktionen vermeiden

• Auf funktionslose Füllwörter verzichten

• Ungenaue bzw. falsche Darstellungen von Sachverhalten vermeiden, auch dann, wenn sie für die Lösung der Aufgabe belanglos sind

• Unnötige und übertriebene Genauigkeit vermeiden

• Keine unnötige Erschwernis erzeugen, indem man Daten angibt, die zum Lö-sen der Aufgabe unnötig sind (Ausnahme: Die Auswahl der notwendigen Da-ten ist gewollt und Teil der Aufgabe)

• Versteckte Hinweise auf die korrekte Lösung vermeiden

Bei Multiple Choice:

• Im Fragenstamm entweder eine direkte Frage oder einen unvollständigen Satz, der mit Hilfe der Wahlmöglichkeiten zum vollständigen wird, verwenden

• Den Fragestamm stets so formulieren, dass bei den Wahlmöglichkeiten keine Wortwiederholungen entstehen

• Negierungen in Antwortmöglichkeiten deutlich hervorheben Bei den Wahlmöglichkeiten:

• Auf korrekte Grammatik bei allen Wahlmöglichkeiten achten, insbesondere dann, wenn mit diesen der Satz vervollständigt wird (Häufig achtet man nur beim Attraktor auf korrekte Grammatik)

• Alle Wahlmöglichkeiten so formulieren, dass sie für einen Nutzer, der die Antwort nicht kennt, gleich plausibel wirken

• Keine Wahlmöglichkeiten verwenden, die sich gegenseitig voraussetzen oder einschließen

• Alle Wahlmöglichkeiten annähernd gleich lang formulieren, denn man neigt dazu, den Attraktor sehr ausführlich darzustellen

• Wahlmöglichkeiten, wie „Keines von diesen“, „Alle sind richtig“ nur sparsam verwenden

• Wahlmöglichkeiten in eine logische Reihenfolge bringen, wenn das möglich ist

• Folgende Wörter können Attraktoren entlarven und sollten deshalb vermieden werden

o gewöhnlich o im Allgemeinen o oft

o manchmal

• Folgende Wörter können Distraktoren entlarven und sollten deshalb auch ver-mieden werden:

o immer o nie o alle o keiner o nur

Neben diesen Kriterien für gute Testfragen spielt auch die Testlänge eine wichtige Rolle. Zu-nächst einmal muss definiert werden, ob ein Speed- oder ein Niveautest konstruiert werden soll. Das Vermischen dieser beiden Arten ist vor allem bei verbindlichen Prüfungen, wie auch E-Prüfungen, zu vermeiden, denn andernfalls prüft man die Probanden hinsichtlich der beiden Kriterien Kompetenz und Bearbeitungsgeschwindigkeit, wobei letzteres zu stark gewichtet wird. Dies führt insbesondere bei Probanden mit mittleren Fähigkeiten zu ungerechten Ergeb-nissen, da eine Abgrenzung zu schlechten Studenten, die sich vor allem auf das schnelle Sam-meln von Punkten fixieren, nicht mehr möglich ist. Bei den sehr guten Studenten hat die Vermischung in der Regel keinen Einfluss auf das Ergebnis.

Bei den Lernkontrollen ist die Testlänge weniger entscheidend. Allerdings hat sich im Rah-men des WiBA-Net^® durchgesetzt und bewährt, dass die Bearbeitungsdauer für einen Posttest zehn Minuten nicht übersteigen soll, so dass in diesen Tests auch nur selten mehr als zehn Fragen vorzufinden sind.