Identifikation von Täuschungsversuchen durch Abschreiben in einer papierbasierten MC-Prüfung
Identification of Fraud in Paper-Based MC Exams
Matthias Holzer
1Daniel Bauer
1Martin R. Fischer
11 LMU München, Med. Klinik Innenstadt, München, Deutschland
Text
Problemstellung: In schriftlichen MC-Prüfungen kann durch das Abschreiben vom Nachbarn die Aussagekräf- tigkeit der Ergebnisse negativ beeinflusst werden. Im Folgenden werden Methoden vorgestellt um diese Art von Täuschungsversuchen bei der Auswertung der Ergeb- nisse zu erkennen. Daraus lässt sich ableiten, ob das Prüfungssetting (Abstand der Teilnehmer, Anzahl der Versionen, Modus der Platzwahl etc.) in Ordnung ist oder eventuell modifiziert werden muss.
Methoden:In Ercole [1] wurde ein Ansatz vorgestellt, der auf die Erkennung von Abschreiben in Prüfungen mit drei Antworten je Frage (Aussage ist richtig/falsch/weiß nicht) mit Hilfe des Satzes von Bayes spezialisiert ist. Dieser Ansatz ist nicht direkt auf Fragen mit heterogenen Ant- wortmöglichkeiten und mehr als einer erwarteten Antwort je Frage zu übertragen. Daher wurde der Ansatz für die vorliegende Studie erweitert. Der Likelihoodwert, der bei Ercole das korrekte Wissen des Prüflings und seine Risi- koaversion (weiß-nicht-Antworten) beschreibt, wurde eli- miniert. Im Wesentlichen wird ein Wert für die Ähnlichkeit von jeweils zwei Bögen berechnet, wobei die Identität von Antworten anhand von deren A-priori-Wahrscheinlichkeit gewichtet wird. In Mehrfachantworten wurde einmal jede Antwort wie eine Extra-Frage gezählt (Algorithmus 1). Zum anderen wurde ein weiterer Algorithmus getestet, der nur die Gleichheit aller Antworten einer Mehrfachantwortfrage berücksichtigt (Algorithmus 2).
Die Prüfungspopulation bestand aus dem Studentenjahr- gang des Wintersemesters 2006/2007 in der Prüfung der Inneren Medizin im 6. und 7. Semester an der Ludwig- Maximilians-Universität München. Insgesamt haben 203 Studierende in drei Hörsälen an der Prüfung teilgenom- men. Die Prüfung bestand aus 30 MC-Fragen mit einer oder mehreren richtigen Antworten und es standen 45
Minuten zur Bearbeitung zur Verfügung. Um das Abschrei- ben zu erschweren, wurden die Prüfungshefte in zwei Versionen mit unterschiedlicher Fragenreihenfolge aus- gegeben. Zwischen zwei Prüflingen lag jeweils ein leerer Platz bzw. eine leere Reihe. Zur Auswertung der Ergebnis- se wurde die Position der Prüflinge im Hörsaal aufgezeich- net.
Ergebnisse:Die Verteilung der Übereinstimmungswerte wies eine glatte, glockenförmige Verteilung auf, im Fall von Algorithmus 1 ohne Auffälligkeiten am oberen Rand, im Fall von Algorithmus 2 mit einem Paar mit besonders hoher Ähnlichkeit. Es war nachzuvollziehen, dass hohe Übereinstimmungen immer mit sehr guten Prüfungsleis- tungen korreliert und somit aller Wahrscheinlichkeit nach zufällig zustande gekommen waren. Im Fall des laut Algo- rithmus 2 besonders ähnlichen Paares hatten die Studie- renden 28,5 und 29,5 von 30 Punkten erreicht und saßen in unterschiedlichen Hörsälen. Auch für die nächsten 7 Paare mit der höchsten Übereinstimmung zeigte sich, dass die jeweiligen Prüflinge aufgrund ihrer Position im Hörsaal nicht voneinander abgeschrieben haben konnten.
Diskussion:Das verwendete Verfahren arbeitet naturge- mäß umso besser, je mehr Aufgaben vom Nachbarn ko- piert wurden. Wenn ein Prüfling also nur wenige Fragen kopiert hat, wird dies also in der Regel nicht nachgewie- sen werden können. Auch andere Täuschungsarten wie Spickzettel lassen sich so nicht nachweisen.
Dennoch lässt sich für die untersuchte Prüfung sagen, dass ausreichende Maßnahmen gegen das Abschreiben in Form von genug leerem Platz zwischen den Prüfungs- teilnehmern und der Versionierung der Testhefte getroffen wurden.
Ausblick:Zur Verifikation der Sensitivität des Verfahrens soll zum Ende des Sommersemesters 2007 noch eine weitere Prüfung untersucht werden, in der aus logisti- schen Gründen mit einem höheren Anteil von Täuschungs- versuchen gerechnet werden muss.
Literatur
1. Ercole A, Whittlestone KD, Melvin DG, Rashbass J. Collusion detection in multiple choice examinations. Med Educ.
2002:36(2);166-172.
1/2 GMS Zeitschrift für Medizinische Ausbildung 2008, Vol. 25(1), ISSN 1860-3572
Poster
OPEN ACCESS
Humanmedizin
Korrespondenzadresse:
Matthias Holzer
LMU München, Med. Klinik Innenstadt, Ziemssenstr. 1, 80336 München, Deutschland
Matthias.Holzer@lrz.uni-muenchen.de
Bitte zitieren als
Holzer M, Bauer D, Fischer MR. Identifikation von Täuschungsversuchen durch Abschreiben in einer papierbasierten MC-Prüfung. GMS Z Med Ausbild. 2008;25(1):Doc44.
Artikel online frei zugänglich unter
http://www.egms.de/en/journals/zma/2008-25/zma000528.shtml
Eingereicht:02.11.2007 Überarbeitet:06.11.2007 Angenommen:14.11.2007
Copyright
©2008 Holzer et al. Dieser Artikel ist ein Open Access-Artikel und steht unter den Creative Commons Lizenzbedingungen
(http://creativecommons.org/licenses/by-nc-nd/3.0/deed.de). Er darf vervielfältigt, verbreitet und öffentlich zugänglich gemacht werden, vorausgesetzt dass Autor und Quelle genannt werden.
2/2 GMS Zeitschrift für Medizinische Ausbildung 2008, Vol. 25(1), ISSN 1860-3572
Holzer et al.: Identifikation von Täuschungsversuchen durch Abschreiben ...
