3.2 Prüfung in 2012
3.2.3 Ergebnisse
Tabelle 3.1.Deskriptive Daten der Stichprobe für die Untersuchung im Jahr 2012.
Geschlechtsverteilung
Gruppe weiblich männlich Alter
SC 82 47 24.6
R5 32 27 24.5
DO 37 20 25.0
Gesamt 151 94 24.7
de dennoch eine hypothetische Bestehensrate ermittelt. Hierzu wurde anhand der in Abschnitt3.1.4geschilderten Überlegungen die hypothetische Bestehensgrenze auf 60% der Maximalpunktzahl festgelegt, da die Ratewahrscheinlichkeit in derSR -Grup-pepR =1/5=.20 betrug.
In derR5 -Gruppe wurde jede der 50 Alternativen einzeln nach folgendem Schema bewertet: Eine Alternative wurde genau dann als korrekt beantwortet angesehen und mit einem Punkt bewertet, wenn entweder die Alternative richtig war und mit „sicher richtig“ oder „eher richtig“ beantwortet wurde oder wenn die Alternative falsch war und mit „sicher falsch“ oder „eher falsch“ beantwortet wurde. In allen anderen mög-lichen Fällen wurde die Alternative als nicht korrekt beantwortet angesehen und mit Null Punkten bewertet. Die Punkte der einzelnen Alternativen wurden gleichgewichtet aufsummiert, so dass eine Maximalpunktzahl von 50 Punkten erreicht werden konn-te. Auch hier wurde eine hypothetische Bestehensrate ermittelt. Da nun bei jeder ein-zelnen Alternative jeweils fünf Kategorien zur Beantwortung zur Verfügung standen, von denen jeweils zwei zu einer korrekten Antwort führten, erhöhte sich die Ratewahr-scheinlichkeit aufpR =2/5=.40. Daher betrug die hypothetische Bestehensgrenze in derR5 -Gruppe anhand der in Abschnitt3.1.4geschilderten Überlegungen nun 70%
der Maximalpunktzahl.
Ergebnisse der Punktebewertung
Während 95.6% der Prüflinge das gesamte Modul bestanden, war die Bestehensrate der regulären Abschlussklausur zwar um neun Prozent geringer, lag mit 86.9% je-doch weiterhin recht hoch. Demgegenüber hätten nur 78.3% der Prüflinge in derSR -Gruppe die Zusatzaufgaben bestanden, obwohl diese exakt den gleichen Lernstoffmit dem gleichen Aufgabenformat wie die reguläre Abschlussklausur prüften. In derR5 -Gruppe sind es sogar nur noch 50.8% der Prüflinge, die diese Aufgaben bestanden hätten.
Um den Zusammenhang der Leistungen in den Zusatzaufgaben und der Leistungen in den regulären Klausuren zu ermitteln, wurden Korrelationen bestimmt. Die Korre-lation zwischen dem Gesamtpunktwert (GP) aus Zwischen- und Abschlussklausur und dem Punktwert in den Zusatzaufgaben war in derR5 -Gruppe am größten mit r =.365, p =.004, und wurde dicht gefolgt von der Korrelation in derSC -Gruppe mit r =.359, p< .001. Es konnte demnach kein signifikanter Unterschied der beiden Korrelationen7 festgestellt werden,z =.043,p =.483.
Eine Zusammenfassung der Ergebnisse findet sich in Tabelle3.2. In Abbildung3.4 sind Streudiagramme der erreichten Gesamtpunkte in den beiden Klausuren im Ver-hältnis zu den erreichten Punkten in den Zusatzaufgaben für beide Gruppen darge-stellt.
Ergebnisse der Signalentdeckungsparameter
Eine Schätzung der Signalentdeckungsparameter ist in derSR -Gruppe nicht sinnvoll, da hier jeweils bei einer Aufgabe aus fünf Alternativen nur eine einzige ausgewählt
7Alle in dieser Arbeit berichteten Signifikanztests auf Unterschiede zwischen zwei Korrelationen wur-den mittels Fischersr-zu-z-Transformation durchgeführt (s. J. Cohen & Cohen,1983, S. 54, Glei-chung 2.8.5 und Preacher,2002).
Tabelle 3.2.Ergebnisse für die reguläre Prüfung und die Zusatzaufgaben im Jahr 2012. Darge-stellt sind die Ergebnisse für die reguläre Zwischen- (ZK) und Abschlussklausur (AK) sowie deren Summe (Gesamtpunktwert, GP). Weiterhin sind die Ergebnisse der Zusatzaufgaben in beiden GruppenSRundR5sowohl für die Bewertung mit Punkten als auch für die Para-meterschätzung nach der Signalentdeckungstheorie (SDT) abgedruckt.
N Min Max M SD
Bestehens-rate
rmit GP
rmit AK reguläre Klausuren
ZK 245 .500 .933 .789 .085 .976 .774*** .402***
AK 245 .167 .967 .705 .119 .869 .891*** 1
GP 245 .350 .917 .747 .086 .959 1 .891***
Zusatzaufgaben, Punkte
SR 129 0 1 .683 .212 .783 .359*** .308***
R5 59 0 .980 .640 .230 .508 .365** .417***
Zusatzaufgaben,SDT R5
s 59 -.210 5.289 1.514 .880 .243 .307**
2s 59 .087 16.151 2.177 2.360
AUC 59 .457 .971 .795 .130 .359* .457***
Anmerkungen: ***p< .001; **p< .01; *p< .05
werden musste und dies den Prüflingen bekannt war. Rein praktisch ist es weiterhin möglich, die eine richtige Alternative als das Signal und die vier anderen, falschen Al-ternativen als das Rauschen aufzufassen. Dies ist jedoch wenig sinnvoll, da ein Prüf-ling nur bei einer Alternative eine durch die Datenlage nachvollziehbare Entscheidung trifft. Erkennt der Prüfling die richtige Alternative, müssen die falschen Alternativen nicht weiter geprüft werden, so dass dort keine Entscheidung getroffen wird, also we-der bewusst einfalse alarm noch eine correct rejection entstehen kann. Es wurden daher nur in derR5 -Gruppe die Signalentdeckungsparameter mittels des in Kapitel 2dargestellten cumulative link model -Ansatzes in einem unequal-variance-Modell geschätzt.
SC-Gruppe
GP, Anteil Punkte
ZA,AnteilPunkte
0
0
.25
.25
.50
.50
.60
.60
.75
.75
1
1
R5-Gruppe
GP, Anteil Punkte
ZA,AnteilPunkte
0
0
.25
.25
.50
.50
.60
.70
.75 1
1
Abbildung 3.4.Gesamtpunkte (GP) in der regulären Prüfung 2012 abgetragen gegen die Punk-te in den Zusatzaufgaben (ZA), jeweils als AnPunk-teil an der Maximalpunktzahl für die beiden GruppenSRundR5. Jeder Punkt im Koordinatensystem stellt die Leistung eines einzelnen Prüflings dar. Rot markiert sind die für die Aufgabenart maßgeblichen Bestehensgrenzen für 50% Wissen. Prüflinge, die sich auf bzw. innerhalb des roten Rechtsecks befinden, ha-ben sowohl die regulären Klausuren als auch die Zusatzaufgaha-ben bestanden.
Wie in Abschnitt 3.2.2beschrieben, wurden diejenigen Prüflinge von der Auswer-tung ausgeschlossen, die bei mehr als fünf Alternativen keine Antwort abgegeben haben. Hier ist es jedoch wichtig zu bemerken, dass dies weiterhin dazu führen kann, dass bis zu fünf Antworten für einen Prüfling fehlen. Da das Signalentdeckungsmodell jedoch keine Möglichkeit bietet, fehlenden Datenpunkten Rechnung zu tragen, wurden diese bei der Parameterschätzung verworfen und die Parameter nur an die vorhan-denen Daten angepasst, so dass den Schätzungen der einzelnen Prüflinge ggf. leicht unterschiedliche Fallzahlen zugrunde liegen.
Um den Zusammenhang der geschätzten Signalentdeckungsparameter mit den Leistungen in den regulären Klausuren bestimmen zu können, wurden wiederum Kor-relationen fürsundAUC berechnet. Die Korrelation zwischen dem Gesamtpunktwert aus den Klausuren undsist mitr =.243 die geringste aller berechneten
Korrelatio-R5-Gruppe
GP, Anteil Punkte s
0
0
.25 .50.60 .75 1
123456
R5-Gruppe
GP, Anteil Punkte
AUC
0
0
.25
.25
.50
.50
.60 .75
.75
1
1
Abbildung 3.5.Anteil der Gesamtpunkte (GP) in der regulären Prüfung 2012 abgetragen ge-gen die geschätzten Parameter für das Signalentdeckungsmodell in den Zusatzaufgaben für dieR5-Gruppe. Jeder Punkt im Koordinatensystem stellt die Leistung eines einzelnen Prüflings dar. Rot markiert ist die Bestehensgrenze in der regulären Klausur für 50% Wis-sen.
nen und nicht signifikant, p =.064. Demgegenüber ist die Korrelation der AUC mit dem Gesamtpunktwert mitr =.359,p =.005, signifikant und bis zur dritten Komma-stelle genauso groß wie die Korrelation mit dem Gesamtpunktwert bei der Auswertung nach Punkten in den beiden Gruppen, so dass sich ein Signifikanztest an dieser Stelle erübrigt.
Die Ergebnisse fürs,2s undAUC sind auch in Tabelle3.2dargestellt. In Abbildung 3.5sind Streudiagramme der erreichten Gesamtpunkte in den Klausuren im Verhält-nis zu den geschätzten Signalentdeckungsparametern in den Zusatzaufgaben darge-stellt.