Spektrum der Woche Aufsätze • Notizen
DEUTSCHES ARZTEBLATT
Heft 29 vom 23. Juli 1982
Testverfahren in der Fortbildung
Alternative zum herkömmlichen Multiple choice
Theo Wehner und Horst Dübner
Der Multiple-choice-Test hat nach Ansicht der beiden Au- toren den Nachteil, das Erin- nerungsvermögen an aus- wendig gelernte Antwortal- ternativen zum Bewertungs- maßstab für medizinisches Wissen zu erheben. Aus die- ser Überlegung heraus wur- de ein Alternativmodell ent- wickelt, das sich vor allem durch einen besonderen In- teraktionsprozess zwischen Prüfer und Prüfling aus- zeichnet. Die Arbeit wurde von Professor Dr. Dietrich Habeck von der Universi- tätsklinik Münster gefördert.
Wir bemühen uns seit Jahren um eine Fortentwicklung des her- kömmlichen Multiple-choice- Tests und haben nun erste empiri- sche Resultate mit einem alternati- ven Prüfsystem, wie es von Weh- ner und Kruse (DEUTSCHES ÄRZ- TEBLATT Heft 43/1979 S. 2831 ff.) skizziert wurde, erzielt. Diese Er- gebnisse werden dargestellt, um die Diskussion über Multiple- choice-Prüfungen (M-C-Prüfun- gen) durch konstruktive Argumen- te und die Erprobung alternativer Modelle weiterzuführen. Wir ge- hen dabei keinesfalls davon aus, mit der vorzustellenden Alternati- ve einen „Königsweg" anbieten zu können. Es geht vielmehr darum, das diffuse Unbehagen an der der- zeitigen Prüfungsform aufzugrei- fen und zu konkretisieren.
Unser theoretisches Anliegen ist es, die durch die Einführung der M-C-Prüfungen entstandene Tren- nung von Studium, Prüfungsvor- bereitungszeit und späterer Berufspraxis zu überwinden. Für eine erfolgreiche Tätigkeit (die durch Prüfungen mit M-C-Tests prognostiziert werden soll) inner- halb des ärztlichen Berufsfeldes ist nicht in erster Linie eine riesige Faktenspeicherung notwendig, sondern die Fähigkeit, die in der Situation — dem Arzt-Patient-Ge- spräch — gebotenen Informationen mit vorhandenem Wissen zur Er- kenntnis zu verknüpfen. Konkret sollte die in der Praxis notwendig geforderte Lernfähigkeit sowohl geschult als auch geprüft werden.
Es muß vermieden werden, daß weiterhin das Erinnerungsvermö- gen an auswendig gelernte Ant-
wonalternativen als Bewertungs- kriterium für medizinisches Wis- sen anerkannt wird.
Das Prüfmodell versucht in erster Linie, die Statik herkömmlicher schriftlicher Prüfverfahren zu überwinden. Es trägt damit der Berufspraxis insofern Rechnung, als es einen Interaktionsprozeß zwischen Prüfer und Prüfling mo- delliert. Die Interaktion wird durch eine Rückkoppelung, konkret
„Rückinformation", ermöglicht.
Da Rückinformation bei der päd- agogischen Vermittlung von Wis- sen als unverzichtbarer Bestand- teil angesehen werden muß und in unserem Prüfsystem als zentrale Kategorie angesehen wird, wurde in einer empirischen Studie die Bedeutung von reinem „Richtig/
Falsch-Feedback" bei der Bear- beitung von M-C-Fragen aufge- zeigt. Diese Untersuchung hat ge- zeigt, daß selbst in bezug auf M-C- Prüfung unbedarfte und vom Prü- fungsausgang nicht abhängige Kandidaten — in unserem Fall eine Gruppe von Psychologiestuden- ten — von einfachem „Richtig/
Falsch-Feedback" profitieren kön- nen. Rückinformation hat dabei nicht nur Einfluß auf die unmittel- bare Leistung (die Fehlerrate sank in den Feedback-Gruppen signifi- kant), sondern schafft auch Moti- vation (falsche Lösungen wurden von den Prüflingen aus der Feed- back-Gruppe nach fünf Tagen häufiger erinnert und korrigiert) und erhöht die Handlungskompe- tenz (Prüflinge, welche Rückinfor- mation erhielten, waren sich ihrer gegebenen Antwort bezüglich ei- ner „Richtig/Falsch-Vorhersage"
Ausgabe B DEUTSCHES ÄRZTEBLATT 79. Jahrgang Heft 29 vom 23. Juli 1982 53
Spektrum der Woche Aufsätze -Notizen Testverfahren
sicherer als Personen, die kein Feedback erhielten). Rückmel- dung wird von uns nicht einfach als positive oder negative Sank- tion aufgefaßt, sondern als not- wendige Bedingung zur Verbesse- rung der Anpassung von individu- ellem Verhalten an objektive For- derungen oder Besonderheiten der durchzuführenden Hand- lungen.
Die Relevanz von Rückinformation kann also — die Resultate zusam-
menfassend — belegt werden, so daß im ersten Modifikationsanlauf primär versucht wird, aus jeder Entscheidung des Prüflings zu ei- ner gestellten Frage seinen Denk- prozeß zu erweitern und Konse- quenzen aus der gegebenen Ant- wort anzuregen.
Auf eine Frage y folgt nicht mehr unabhängig von der jeweiligen in- dividuellen Beantwortung eine Frage z, sondern eine aus der Ant- wort von y abgeleitete Frage y i .
Das vorgeschlagene System er- zwingt keine einfache Reaktion, sondern macht vor allem die Denkverlaufsstruktur sichtbar. Ei- ne „Denkresultatsverlängerung"
wird ermöglicht, indem zu einem Problembereich ein Netzwerk von abhängigen, d. h. in einem logi- schen Kontext stehenden Fragen erstellt wird. Darüber hinaus ist je- de vorgegebene Frage und Ant- wortalternative direkt mit einer lo- gischen Folgefrage verknüpft. Es wird dadurch neben reinem Wis- sensstand die persönlichkeitsbe- zogene Lernpotenz und Lernfä- higkeit sichtbar gemacht. Das Mo- dell, das der Lenkung des Prüfpro- zesses zugrunde liegt, entspricht damit dem komplexen Geschehen von Handlungsabläufen. Es läßt verschiedene Handlungsstruktu- ren zur Zielerreichung — hier zur Problembewältigung in Form von Aufgabenbeantwortungen — zu.
Die Fragenmatrix
Die Kriterien zur Konstruktion von antwortabhängigen Fragenmatri- zen und die Systemeigenschaften solcher komplexer Fragenberei- che können an dieser Stelle nicht ausgeführt werden. Grundsätzlich gilt, daß zu einem Thema mehrere Lernziele in sogenannte Krite- riumsfragen, die hierarchisch strukturiert und voneinander ab- hängig sind, umgewandelt wer- den. Die Fragen sollten im Team und im Dialog mit Fachbüchern etc. entwickelt werden. Natürlich müssen sie bezüglich der Wis- sensvoraussetzung oder dem Grad angebotener Entscheidungs- hilfen an die spätere Adressaten- gruppe angepaßt werden.
Zu jeder dargebotenen Antwortal- ternative einer Kriteriumsfrage gibt es bei unkorrekter oder nur teilweise richtiger Beantwortung entweder eine Entscheidungshil- fe, eine Zusatzinformation bzw.
Ergänzung oder eine Zusatzfrage.
Selbstverständlich können sich auch wieder die Zusatzfragen ver- zweigen. Auf diesem Weg wird ge- währleistet, daß jeder Fragenbe- Fragenmatrix — Ausschnitt
Basisstatus
Bei Ihnen erscheint ein 41jähriger Patient auf der Station, der über folgende Beschwerden klagt: starker Schmerz diffus im linken und mittleren Oberbauch, ferner Erbrechen, Übelkeit, Obstipation. Ihm sei außerdem schwindlig. Begon- nen hätten die Beschwerden nach einer Betriebsfeier am gestrigen Abend, auf der er reichlich Kartoffelsalat, Fleischklopse und Bier zu sich genommen habe.
Bisher habe er noch nie derartige Beschwerden gehabt. Die Schmerzen seien am Anfang sehr stark gewesen, nach Novalgin-Tropfen hätten sie etwas nach- gelassen. Appetit habe er keinen.
Bei der körperlichen Untersuchung finden Sie die Bauchdecken elastisch verspannt, 0 Darmgeräusche, linker und mittlerer Oberbauch sehr druck- schmerzhaft. Alle anderen Befunde der Untersuchung o. B.
Welche nächsten diagnostischen Schritte erscheinen Ihnen am rationellsten?
A. Abdomen-Übersicht, Leberflöte, Serum- und Urin-Lipasen und -diastasen B. Abdomen-Übersicht, Gastroskopie, MDP, Magensekretions-Analyse C. Abdomen-Übersicht, i. v. Urogramm, Nieren-Sonogramm, Urin-Status D. Thorax-Übersichtsaufnahme, EKG, CPK, LDH, GOT
E. Ich brauche eine Entscheidungshilfe.
1.2.
Die Abdomen-Übersicht ist außer geblähten Darmschlingen o. B., die Gastro- skopie zeigt eine leichte Oberflächengastritis, MDP ist o. B., Magen-Sekre- tions-Analyse:
Basal: 5 mval/h — 60 ml/h, Stimuliert: 25 mval/h — 98 ml/h Wie gehen Sie weiter vor?
A. Ich revidiere mein diagnostisches Vorhaben und überprüfe Leber- und Pankreaswerte.
B. Ich vermute jetzt eine chronische Pyelonephritis oder einen Harnleiterstein und lasse ein i. v. Urogramm und einen Urin-Status anfertigen.
C. Ich denke als nächstes an einen Herzinfarkt: EKG, CPK, LDH, GOT.
1.3.
In der Abdomen-Übersichtsaufnahme finden sich keine kalkdichten Rund- schatten, im i. v. Pyelogramm stellen sich Kelche und Harnleiter zart und durchgängig dar, kein Anhalt für Harnsäuresteine, im Urin finden sich 2-3 Erythrozyten, 5 Leukozyten, keine signifikante Bakteriurie. Bei der Untersu- chung der Nieren auf Klopfschmerzhaftigkeit stellen Sie einen umschriebenen Druckschmerz links paravertebral auf Höhe L 1 fest.
A. Ich bestimme Serum- und Urinlipase und -diastase und die Leberwerte.
B. Wegen der prognostischen Relevanz möchte ich zunächst einen Verdacht auf atypischen Herzinfarkt abklären.
54 Heft 29 vom Juli 1982 79. Jahrgang DEUTSCHES ÄRZTEBLATT Ausgabe B
Abbildung: Ausschnitt einer visualisierten Fragenmatrix. Lesehilfe: Auf die Antwort C zur Kriteriumsfrage K 1 folgt die Zusatzfrage 1.3. Antwort A stellt die favorisierte Lösung dar
Spektrum der Woche Aufsätze • Notizen Testverfahren
antworter eventuell über Neben- wege das Lernziel erfüllt und die geforderte Kriteriumsfrage beant- wortet. Bevor die Kriteriumsfrage beantwortet werden kann, ist fer- ner sichergestellt, daß die nötigen Wissensvoraussetzungen auch vorhanden sind. Es wird am An- fang ein sogenannter „Basissta- tus" gegeben und am Ende einer Kriteriumsfrage ein jeweiliger
„Zwischenstatus" (dazu ein Bei- spiel im Kasten und Abbildung).
Wir stellen nun einen Teil einer von Dübner 1981 konstruierten Fragenmatrix vor und gehen kurz auf die empirische Erprobung ein.
In der erwähnten Arbeit wurden zu drei verschiedenen Themen insge- samt neun antwortabhängige Fra- genmatrizen konstruiert. Die Fra- gen lagen auf Karteikarten vor und wurden von einem „Prüfer", dem Problembearbeiter, vorgelegt. Der
„Prüfer" legte je nach gegebener Antwort eine Folgefrage vor und fragte bei Zusatzfragen, Ergän- zungen etc., ob der „Prüfling" den Sinnzusammenhang der Frage im Hinblick auf die gegebene Antwort verstanden habe. Falls ein Neben- weg beschritten wurde, wurde zu- sätzlich am Ende eines Kriteriums gefragt, ob der „Prüfling" die ein- gangs vorgelegte Kriteriumsfrage nunmehr beantworten könne. Bei- des geschah, um eventuell Korrek- turen an den Matrizen vornehmen zu können und um weitere quanti- tative und qualitative Beurtei- lungskriterien für die Zusatzfragen zu erhalten.
Erprobt wurden die Matrizen in fünf Testdurchläufen und danach zur Ist-Wert-Messung — als ärztli- che Fortbildungsgrundlage — mit 22 praktizierenden Medizinern. Je- de „Prüfung" dauerte ca. zwei bis drei Stunden und wurde an zwei Terminen durchgeführt. Da für den Bereich der ärztlichen Fortbil- dung eine Leistungsquantifizie- rung als sekundär angesehen wer- den sollte, verzichten wir hier auf die Darstellung der Leistungsbe- wertung von antwortabhängigen Fragenmatrizen.
Der Erprobung mit Praktikern ging eine Untersuchung — mit anderen Fragenmatrizen — an Psychologie- studenten voraus. In beiden Stu- dien ging es darum, mit dem alter- nativen Prüfsystem Erfahrungen zu sammeln und Fragen etwa fol- gender Art zu beantworten:
> Baut das Prüfungskonzept ge- genüber einer M-C-Prüfung Unsi- cherheit und Streß ab?
> Motiviert es zum Weiterlernen?
> Werden negative Werthaltun- gen (Raten als Bearbeitungsstra- tegie) vermieden?
> Wird während der Prüfung ge- lernt?
> Wird das angebotene Feed- back verarbeitet?
> Werden Wiedererkennungslei- stungen oder logisches Denken gefordert?
Die Ergebnisse lassen sich in we- nigen Sätzen zusammenfassen und beziehen sich auf: das „Rich- tig/Falsch-Verhältnis" beim Erst-
und Zweitlöseversuch, die Herstel- lung und Erkennung des Sinnzu- sammenhangs zwischen gegebe- ner Antwort und der Zusatzfrage, die Ausnutzung der angebotenen Struktur und die Inanspruchnah- me von Entscheidungshilfen und Ergänzungen.
Während bei der Erstbearbeitung (Wahl einer Kriteriumsalternative) 46,7 Prozent korrekte Lösungen registriert wurden, erhöhte sich die Quote richtiger Antworten auf 98,6 Prozent nach der Bearbei- tung von Zusatzfragen, also dem Beschreiten von Nebenwegen.
Obwohl eine Zweitbeantwortung nicht mit der Erstantwort gleich- gestellt werden kann, stellt das Prüfmodell über diesen Weg si- cher, daß über das Angebot, die getroffene Entscheidung korrigie- ren zu können (d. h., während der Prüfung neue Problemeinsichten gewinnen zu „dürfen"), die Lern- ziele mit knapp 100 Prozent er- reicht wurden.
22 Teilnehmer hätten — bei Be- schreiten des kürzesten Weges — 440 Fragen beantworten müssen.
Tatsächlich wurden aber 940 Fra-
Ausgabe B DEUTSCHES ÄRZTEBLATT 79. Jahrgang Heft 29 vom 23. Juli 1982 57
Spektrum der Woche Aufsätze · Notizen Testverfahren
gen zum Finden der als korrekt anerkannten Lösungen bean- sprucht. Ergänzungen und Ent- scheidungshilfen wurden 279mal dargeboten. Das Ergebnis zeigt, daß die Struktur- dies wurde auch im einzelnen geprüft- optimal ge- nutzt wurde.
Zur Kontexterkennung liegt fol- gendes Resultat vor. Bei 500 ge- stellten Zusatzfragen wurde der Sinnzusammenhang lediglich in 9 Prozent der Fälle nicht hergestellt bzw. erkannt. Bei 19 Prozent war die Nachfrage trivial, da der Zu- sammenhang bereits durch den Text gegeben oder die Frage zum zweitenmal angelaufen worden war. Bei der Überprüfung des Sinnzusammenhangs ergaben sich die meisten Dialoge zwischen
"Prüfer" und "Prüfling". Meist
wurde die gegebene Antwort be- gründet und die - im konkreten Fall nicht akzeptierte - Denkprä- misse diskutiert. Mitunter wurde dadurch eine gleichwertige Lö- sung sichtbar. Die Protokolle dien- ten der Nachbearbeitung der Ma- trizen und markierten Korrektur- stellen.
Das "Richtig/Falsch-Verhältnis"
der Kriteriumsfragen betrug 148 zu 313. An dieser Stelle muß be- rücksichtigt werden, daß es nicht nur eine einzige richtige Lösung gibt. Die Antwortmöglichkeiten wurden etwa gleich häufig ge- wählt. Absolut gesehen gab es al-
lerdings von Frage zu Frage er-
hebliche Differenzen, so daß Mo- difikationen notwendig wurden.
Bei der Interpretation der hohen
"Falsch"-Quote muß bedacht wer-
den, daß die Prüfungsform natür- lich auch dazu verführt, den Weg
unorthodoxerLösungenzuverfo~
gen. Dies gilt um so mehr, wenn vom Prüfungsausgang- wie in un- serem Fall - nichts abhängt. Die
"Examinierten" erlebten die Prüf-
konzeption als schwierig, aber in- teressant, vor allem jedoch er- kannten sie, daß Lernen und Ge- winn von Einsicht während der Prüfprozedur möglich war und die Handlungskompetenz erhöht wur- de.
Uns geben die Ergebnisse Mut zur Weiterarbeit Konkret werden wir die Modeliierung von flexiblen, ebenfalls standardisierbaren und objektiven Prüfungsformen weiter vorantreiben. Ganz sicher sollten zukünftige Modelle dem "Prüf- ling" unmittelbare Rückinforma- tion zur Verfügung stellen, so daß die Korrektur falscher Lösungen nicht dem Selbstlauf und der Eigeninitiative unterliegt, sondern Bezug nimmt auf pädagogisch- psychologisch gewonnene Er- kenntnis.
Literatur
Dübner, H.: Die Überprüfung einer polystruk- turalen Prüfungsmatrix in der ärztlichen Fort- bildung. Medizinische Dissertation, Münster 1982-Wehner, T.: Prüfung als Denkresultats- verlängerung. Hochschuldidaktische For- schungsberichte 18, Harnburg 1981- Wehner, T.; Kruse, P.: Analyse des Multiple-choice-Ver- fahrens. DEUTSCHES ÄRZTEBLATT 43, 1979, 2831 ff.
Anschrift für die Verfasser:
Dr. Theo Wehner Universität Bremen Bibliothekstraße Postfach 33 04 40 2800 Bremen 33
DR. FLEISS' BLÜTENLESE
Für sich und andere
Aus Goethes Wilhelm Mei- ster: .... . unglaublich ist es, was ein gebildeter Mensch für sich und andere tun kann, wenn er, ohne herr- schen zu wollen, das Gemüt hat, Vormund von vielen zu sein, sie leitet, dasjenige zur rechten Zeit zu tun, was sie doch alle gern tun möchten, und sie zu ihrem Werk führt ... "
Dazu eine Choralstrophe (Jakob Heermann, 1630):
"Gib, daß ich tu mit Fleiß, Was mir zu tun gebühret, Wozu mich dein Befehl ln meinem Stande führet.
Gib, daß ich's tue bald, Zu der Zeit, da ich soll, Und wenn ich's tu, so gib, Daß es gerate wohl."
KURZBERICHTE
Katastrophenmedizin - Verhütung oder
Vorbereitung der Katastrophe?
Mit einem Beitrag zur Katastro- phenmedizin kam jüngst die Ar- beitsgemeinschaft für Medizini- sche Ethik des Leiterkreises der Evangelischen Akademien in Deutschland, eine Arbeitsgruppe aus Medizinern und Theologen, heraus; sie setzt sich darin für eine gegenseitige Annäherung der Standpunkte ein oder, ganz vor- sichtig formuliert, zeigt auf, daß es sich um zwei Standpunkte han- delt, hinter denen jeweils eine in sich schlüssige Ethik steht. Im fol- genden eine Zusammenfassung ihrer Thesen.
..,.. Katastrophenmedizin beziehe sich zuerst einmal auf alle großen Unfälle (Fiugzeugabstürze, große Verkehrsunfälle, Erdbeben usw.).
Wenngleich häufig derartige Kata- strophen vermieden werden könn- ten - beispielsweise durch Ver-
~icht auf den Straßenverkehr -,
seien die Risiken grundsätzlich
akzeptiert, und es werde nur ver- sucht, sie möglichst gering zu hal- ten. Begründet werde dies mit den Vorteilen des modernen Verkehrs, vor allem auch damit, daß dabei keine Absicht der Beschädigung von Menschen vorläge.
..,.. Problematisch wird es nach Ansicht der Arbeitsgemeinschaft dann, wenn die Kalkulierbarkeit der Risiken abnimmt und die Risi- kobereitschaft die Grenze der Fahrlässigkeit erreicht (beispiels- weise auch Duldung der Schad- stoffemission von Industrieanla- gen). Die ethische Frage laute: Ist das Risiko angesichtsder bekann- ten Gefahren zu verantworten? ,ln letzter Zeit seien zunehmend Ge- fahten deutlich geworden, die man vorher nicht gewußt und be- dacht habe und deren Gefahren- potential inzwischen extreme Aus- maße erreicht habe. "Wir müssen erst lernen, wie mit derartigen Ri- sikolagen umgegangen werden
58 Heft 29 vom 23. Juli 1982 79. Jahrgang DEUTSCHES ARZTEBLATT Ausgabe B
