Archiv "Unverbesserliche Ärztliche Vorprüfungen ..." (05.02.1986)

Anhaltszahlen

aufwand von 24 Stunden unter- stellt.

Inzwischen haben die Spitzenver- bände der Krankenkassen die un- verbindlichen Anhaltsrichtwerte der DKG als unannehmbar kriti- siert; sie seien kostentreibend und ein aus der Sicht der Kassen nicht tolerabler Vorgriff auf die im Rahmen von Verhandlungen zu

§ 19 Krankenhausfinanzierungs- gesetz (KHG) gemeinsam festzu- legenden Anhaltswerte. Diesen soll ein neues, analytisches Be- rechnungsverfahren zugrunde ge- legt werden, dessen Ergebnisse allerdings nicht vor Ende 1987 vorliegen dürften.

Die Bundesärztekammer und der Chefarztverband monieren: Es sei zu befürchten, daß die Landesbe- hörden und externe Wirtschafts- prüfungsgesellschaften die von der Deutschen Krankenhausge- sellschaft empfohlenen Anhalts- werte für den Zeitaufwand je Pa- tient und Tag kaum als allgemein- gültige Bemessungskriterien an- erkennen werden. Dies dürfte vor allem deswegen der Fall sein, weil die methodische Umstellung auf den Versorgungszeitaufwand von den bisherigen Empfehlungen völlig abhebt. Darüber hinaus greift der DKG-Entwurf inzwi- schen auch von allen Beteiligten anerkannte ergänzende Bemes- sungskriterien, die das Leistungs- niveau und die individuellen Mög- lichkeiten des Krankenhauses besser berücksichtigen, nicht auf.

Als negativ wertet die Ärzteschaft auch die Absichten, sämtliche ärztliche Tätigkeiten im stationä- ren Bereich mit dem vorgegebe- nen Plan-Zeitaufwand abzudek- ken. Darunter fielen auch ärzt- liche Tätigkeiten, die nicht unmit- telbar am Krankenbett verrichtet werden. Die bisher verwandten Anhaltszahlen sind hier insofern flexibler, als sie es ermöglichen, den medizinischen Fortschritt in Diagnose und Therapie über lei- stungsbezogene Zuschläge als zusätzlichen Personalbedarf zu

berücksichtigen. HC

DEUTSCHES ÄRZTEBLATT

FORUM

Otto Harth

Unverbesserliche

Ärztliche Vorprüfungen _{• • •}

Über Sinn und Unsinn unserer M.c.-Prüfungen

Bei der Ärztlichen Vorprüfung(= ÄVP) vom Herbst 1985 zeigte es sich erneut, daß das Multiplechoice(= M.c.)-Verfahren, so wie es amtlich verwandt wird, untauglich ist, weil es mit einer Reihe von systematischen Fehlern behaftet ist, wie in Heft 36/1985 des DEUTSCHEN ÄRZTEBLATTS beschrieben wurde (1, 2). Gestützt auf die Erkenntnisse der AVP vom Herbst 1985 vertritt der Verfas- ser die Auffassung, daß diese gegen ihre testtheoretische Basis verstoßenden M.c.-Prüfungen weder politisch noch fachlich im nachhinein korrigiert oder "nachgebessert" werden können. Bei den Nachbasserungen (den politischen) vom Frühjahr 1985 und {den fachlichen) vom Herbst 1985 sei mit untauglichen Mitteln die Durchfallquote gesenkt worden. Er verlangt vielmehr eine Kurskor- rektur für die Erstellung und Bewertung der Prüfungen am Institut für medizinische und pharmazeutische Prüfungsfragen (= IMPP).

Es ist schon ein großer und nötiger Be- weis der Klugheit oder Einsicht zu wis- sen, was man vernünftigerweise fragen solle. Denn wenn die Frage an sich un- gereimt ist und unnötige Antworten ver- langt, so hat sie außer der Beschämung dessen, der sie aufwirft, bisweilen noch den Nachteil, den unbehutsamen Anhö- rer derselben zu ungereimten Antworten zu verleiten und den belachenswerten Anblick zu geben, daß einer (wie die Al- ten sagten) den Bock melkt, der andere ein Sieb unterhält.

Kant: K. d. r. V., Elementarlehre II. Teil.

Die transzendentale Logik, Einlei- tung. Idee einer transzendentalen Logik 111.

D

er fachliche Leistungsstand, den ein Student erreicht, hängt von drei Faktoren ab: seiner individuellen geistigen Ver- anlagung und Motivation; dem Curriculum; den Prüfungen. Die staatlichen Prüfungen in der Me- dizin üben einen enormen Einfluß auf den erzielten Leistungsstand aus, stärker als das an Überfüllung leidende Curriculum. Deshalb ist es von elementarer Bedeutung, daß die Prüfungen fachlich ange- messen und qualifiziert sind.

ln der ÄVP im Frühjahr 1985 er- reichten zunächst 42 Prozent der

Prüflinge nicht die Bestehens- grenze. Die sofortige Überprü- fung des Examens durch die Ge- sundheitsminister ergab, daß Form und Inhalt der Prüfung kor- rekt waren. Daraus folgte:

..,.. An der ÄVP im März 1985 ha- ben wesentlich mehr leistungs- schwache Kandidaten teilgenom- men als an den Terminen zuvor.

Bedenken gegen diese Feststel- lung veranlaßte den Bundesrat zu einer Nachbesserungsinitiative:

Jedem Prüfungsteilnehmer wur- den zusätzlich 29 Fragen als rich- tig beantwortet angerechnet. Da- bei handelt es sich um Fragen, die gar nicht gestellt worden waren.

Durch diesen zwangsläufigen Trick konnte wunschgemäß die Durchfallquote von 42 Prozent auf 18,7 Prozent gesenkt werden. Die- ses "nachgebesserte" Prüfungs- ergebnis pervertiert das "tatsäch- liche" Prüfungsergebnis:

..,.. Die Teilnehmer an der ÄVP im März 1985 haben besser abge- schnitten als die in den vergange- nen Frühjahrsprüfungen. Nie- mand wird wohl annehmen, daß Ausgabe A 83. Jahrgang Heft 6 vom 5. Februar 1986 (27) 309

Ärztliche Vorprüfungen

durch diese "Nachbesserung" die Prüfung oder die Leistung der Kandidaten besser geworden sei- en. Wer aber weiß nun, ob die Prü- fung schlechter als die vorange- gangenen oder lediglich schwieri- ger war, oder waren die Kandida- ten leistungsschwächer? Für alle drei Parameter gibt es Argumente und Gegenargumente (1, 2):

CD

Die "Hannover-Kommission"

fand a posteriori 29 ungeeignete und 26 verbesserungsbedürftige Fragen in dieser Prüfung, das heißt die Prüfung war schlecht.

@ Andererseits aber hatte vor der Prüfung die ständige Kontroll- kommission beim IMPP diese

"ungeeigneten" Prüfungsfragen nicht beanstandet und sie genau wie alle anderen als korrekt er- kannt, das heißt die Prüfung war gut, sie war nur entweder schwie- riger oder die Kandidaten waren sch !echter.

G) Andererseits zeigte sich, daß an der ÄVP im März 1985 die Kan- didaten dort schlecht abschnitten, wo viele Wiederholer teilnahmen (zum Beispiel Hannover), und dort relativ gut abschnitten, wo ein wiederholerarmes Kollektiv antrat (zum Beispiel Würzburg), das heißt die Kandidaten waren wohl schwächer.

Hierin erkennt man das Dilemma:

~ Eine zweifelhafte Prüfung ist nicht geeignet, eine verläßliche Beurteilung der fachlichen Quali- fikation der Prüflinge zu leisten.

Das aber verlangt man von jeder Prüfung, muß auch der Staat von seinen Prüfungen verlangen. Was für die ÄVP im Frühjahr 1985 gilt, das gilt auch für alle folgenden, wenn am System weiterhin festge- halten wird.

Vertrauen in den Computer genügt nicht

Eine gute Prüfung zu gestalten ist immer eine subjektive Leistung. Zu allen Zeiten prüften gute Prü- fer fachlich angemessen und kor-

rekt, und sie bewerteten auch die

DEUTSCHES ÄRZTEBLATT

Leistung des Prüflings gerecht.

Nicht jeder Prüfer war und ist ein guter Prüfer. Dementsprechendes gilt auch für die an den IMPP Prü- fungen beteiligten Personen. Gu- te und schlechte Prüfungsfragen sind immer das Produkt einer menschlichen Leistung, ebenso jede Bewertung oder Beurteilung einer Prüfu ngsfrage.

Unter dem Aspekt der subjektiven Unzulänglichkeit haben sich all- gemeine Vorurteile und negative Affekte gegen mündliche Prüfun- gen entwickelt, besonders in der Medizin, der (nicht nur deshalb) dann schriftliche Prüfungen ver- ordnet wurden. Wenn heute Af- fekte gegen die M.c.-Prüfungen nicht mehr aufzutreten scheinen, dann wohl auch deshalb, weil das subjektive Element während der Prüfung nicht in Erscheinung tritt.

Die inhärenten Fehlleistungen der .. Prüfer" werden hier durch ihre Anonymität verschleiert. (Außer- dem sorgt aber der vielköpfige .. große Bruder" dafür, daß fast al- le Studenten auch ihr Studienziel erreichen). So genießen die M.c.- Prüfungen sogar den Ruf, daß ih- nen ein Maximum an Objektivität, Transparenz und Gerechtigkeit zu eigen ist. Dies trifft zwar zu, aber bei genauerer Betrachtung nur für die automatisierte Auswertung mit den aus der Computeranalyse hervorgehenden statistischen und prüfungstheoretischen Kennda- ten. Dieser Teil basiert auf über- kommenen mathematischen An- sätzen. Die Herstellung der Com- puterprogramme für die Compu- teranalyse ist eine Routineangele- genheit Wir haben bereits 1970 ein solches Programm publiziert (3). Damals hat das IMPP noch nicht existiert.

An den M.c.-Prüfu ngen ist also: objektiv die automatisierte Erfas- sung und Auswertung der M.c.- Prüfung, transparent die Rück- meldung der eingegebenen, vom Kandidaten gewählten Antworten und gerecht die Gleichbehand- lung der Prüflinge, was Prüfungs- gegenstand und Auswertung an- geht.

~ Diese Prüfungsobjektivität, -transparenz und -gerechtigkeit verlieren zwangsläufig an Bedeu- tung, weil die IMPP-Prüfungen nicht geeignet sind, die fachliche Leistung der Prüflinge verläßlich zu ermitteln. Diese Prüfungen ver- fehlen ihren Zweck.

Ein unleugbarer Grund hierfür liegt in der Wiederverwendung von Altfragen, die prüfungsmäßig untauglich sind. Trotzdem qualifi- zieren die "testtheoretischen"

Kenndaten der Computeranalyse, diese Fragen als einwandfrei. So täuscht die objektive Computer- analyse eine höhere Verfügbar- keil fachlichen Wissens bei den Prüflingen vor. Und dies ist von IMPP so beabsichtigt.

Subjektivität

und qualifizierte Prüfungen

Gute wie schlechte M.c.-Prü- fungsfragen sind das geistige Pro- dukt von Menschen und nicht das eines Computers. Die vom Com- puter errechneten Werte und Indi- ces besagen per se nichts. Sie sind nur von Wert, wenn sie durch subjektive Beurteilung in zutref- fender Weise interpretiert werden können. Kontrovers kann aller- dings sein, was als "zutreffend"

anzusehen ist.

Jede Urteilstindung ist subjektiv und immer durch ein Maß an Unsi- cherheit belastet. Deshalb bleibt auch bei M.c.-Prüfungen die Unsi- cherheit in der Beurteilung der Examensleistung eines Prüflings bestehen, trotz der Automaten. Die Beurteilung der Examenslei- stung kann nur erfolgen, wenn die Qualität des Examens und seiner Elemente festgestellt ist. Zu die- ser Feststellung bedarf es einer

"Objektivierung" durch eine

nachprüfbare intersubjektive Be- wertung vor und nach dem Ex- amen. Die Gretchenfrage stellt sich dann, wenn die intersubjekti- ven Bewertungen vorher und nachher nicht übereinstimmen.

Wie steht es dann um die "Wahr- heitsfindung"?

310 (28) Heft 6 vom 5. Februar 1986 83. Jahrgang Ausgabe A

Ärztliche Vorprüfungen

Es ist nicht einfach, die Qualität von Prüfungen zu beurteilen, denn man muß zuvor die Quali- tätsmerkmale definiert haben. Für eine qualifizierte M.c.-Prüfung heißt dies, daß jede Prüfungsfrage nach ihrer fachlichen Bedeutung und der zur richtigen Lösung er- forderlichen geistigen Fähigkei- ten des Kandidaten detektiert und dann entsprechend bewertet wird. Andernfalls können Zweifel nicht ausgeräumt werden, ob die medi- zinischen Staatsprüfungen über- haupt Aufschluß über die "wah- re" fachliche Leistung des einzel- nen Kandidaten geben können. Qualifizierte Prüfungsfragen ver- wendet zum Beispiel der TÜV in den Prüfungen zur Erlangung der Fahrerlaubnis. Dort ist die Wertig- keit der Einzelfragen vorher fest- gelegt (1 bis 4 Punkte) und eben- so vorgegeben, wie viele Punkte der Kandidat zum Bestehen benö- tigt (es gibt drei Typen von M.c.- Fragen, außerdem Fragen ohne vorgedruckte Antworten, die also aktiv zu beantworten sind). Ist es nicht überraschend, daß der TÜV in den gegenständlich einfache- ren schriftlichen Prüfungen zur Erlangung des Führerscheins Prü- fungsfragen unterschiedlicher Qualität verschieden bewertet, dagegen in den gegenständlich komplizierten medizinischen Staatsprüfungen Fragen ganz un- terschiedlicher Qualität völlig gleich bewertet werden?

Kollektives Prüfungsmaß oder individuelle

Leistungsprüfung?

Man muß den Wesensunterschied beider M.c.-Prüfungsarten ken- nen, um entscheiden zu können, welchem Prüfungstyp mehr Ver- trauen eingeräumt werden kann: Die M.c.-Prüfungen des IMPP sind normorientiert Bei ordentlich er- stellten Prüfungen dieser Art braucht man die einzelnen Prü- fungsfragen nicht zu qualifizieren. Man muß dabei aber von der Vor- aussetzung ausgehen, daß diese

DEUTSCHES ÄRZTEBLATT

Dies haben sie zurückgewiesen ... diese Ignoranten! (Honore Daumier, 1859) Prüfungen nach der reinen Lehre

normierte Prüfungen sind, in de- nen die Rangfolge der Kandidaten die fachliche Prüfungsleistung wi- derspiegelt. Die Norm ergibt sich aus der mittleren Leistung des Prüflingskollektivs.

Die M.c.-Prüfungen des TÜV sind kriteriumsorientiert, d. h. die gra- duell unterschiedliche Bewertung der Fragen sind Ausdruck der Be- wertung der abgefragten Lernzie- le. Bei diesen Prüfungen spielt die erreichte mittlere Punktzahl des Kollektivs überhaupt keine Rolle, was zählt ist allein die individuelle Leistung des Kandidaten.

Das Drama der M.c.-Prüfungen in der Medizin liegt in den Zweifeln begründet, daß die Selbstnormie- rungskraft der vom Prüflingskol- lektiv erbrachten mittleren Punk- tezahl auch heute noch ein verläß- licher Gradmesser für die Bewer- tung der erbrachten fachlichen Prüfungsleistung ist. Die großen zeitweiligen Schwankungen der Mittelwerte zeigen, daß IMPP den eigenen Vorstellungen nicht ent- sprechen konnte, die Schwierig- keit der Prüfungen konstant zu halten. Eine ausführliche Darstel- lung der Problematik der norm- orientierten IMPP-Prüfungen hat im Anschluß an das "Skandalphy- sikum 1981" Hilke (4) publiziert.

Was zur Vertrauensbildung fehlt, ist eine unabhängige Kontrolle der Prüfungsqualität, zumindest aber müßte eine Standardisierung der M.c.-Prüfungen durch Bei- mengung von Prüfungsfragen, die an einem Kollektiv bekannter Lei- stungsfähigkeit vorgetestet sind, vorgenommen sein. Nur dann wä- re man berechtigt, Leistungskor- rekturen an Prüfungen vorzuneh- men, die aus dem Rahmen gefal- len sind.

...,. Eine punktemäßige Nachbes- serung verbietet die Testtheorie bei normorientierten und nicht standardisierten M.c.-Prüfungen, und zwar deshalb, weil defini- tionsgemäß die Norm identisch ist mit dem Mittelwert der vom Ge- samtkollektiv erreichten Punkt- zahl.

Solange man dies annimmt, kommt es auf Wert und Unwert oder Bedeutung der einzelnen Prüfungsfragen überhaupt nicht an, denn die Rangfolge der von den Kandidaten erreichten Punkt- zahl ist definitionsgemäß iden- tisch mit der Rangfolge der fachli- chen Leistung der Prüflinge. Strit- tig und schwierig ist die Frage nach der Bestehensg renze als Mindestleistung für fachliches Wissen eines Kandidaten. Bietet die Normleistung des Kollektivs Ausgabe A 83. Jahrgang Heft 6 vom 5. Februar 1986 (31) 311

DEUTSCHES ÄRZTEBLATT

Ärztliche Vorprüfungen

einen Angelpunkt für die festzu- setzende Bestehensgrenze?

IMPP kennt das Problem. ln einer Stellungnahme zum Skandalphy- sikum 1985 beruft sich IMPP dar- auf, daß das von den Universitäten zum Examen geführte Kollektiv doch wohl eine fachliche Leistung

"im Sinne einer vertrauensbilden-

den Norm" biete (5). Es ist also lo- gisch, wenn IMPP den "Schwar- zen Peter" an die Universitäten zurückreicht, aber das ändert nichts an der Bedeutung der Staatsexamina als Fachprüfung.

Auf alle Fälle gilt:

..,.. Die normorientierte M.c.-Prü- fung ist, wenn man an die Perma- nenz der normativen Kraft des Kollektivs glaubt, die einfachste Prüfung auf der Weit. Leider aber wird sie immer (berechtigte) Zwei- tel an ihrem fachlichen Wert her- vorrufen. Der Wert dieser Prüfung ist kein Wert an sich.

Die IMPP-Prüfungen vertra- gen keine Nachbesserung

Trotz mehrfacher Kontrolle durch Sachverst2.ndige und Kontroll- kommission geraten in die Exami- na immer wieder "ungeeignete"

Fragen. Dies hängt vor allem an der Unkenntnis, welche Merkmale

die "Ungeeignetheit" ausmachen,

denn wäre dies anders, dann müß- ten sie allmählich vermeidbar

sein. So findet jeder Fachgutach-

ter "ungeeignete" Fragen, die ein

anderer nicht beanstandet (2, 6). Auch die jüngste ÄVP vom August 1985 ist hierfür ein "amtliches"

Beispiel. Die neu institutionalisier- te Überprüfungskommission ver- half durch ihr Urteil, die Durchfall- quote von 29 auf unter 25 Prozent zu senken. Diese Kommission stellte a posteriori fest:

0

fünf Fragen sind "ungeeignet"

(Prütungshett A/B: 1, Tag 18/9, 20/23, 82/81, 148/146 und 2. Tag 17/41) und

f) zwei Fragen enthalten eine zweite richtige Lösungsantwort

(1. Tag 36/28 und 47/17).

Ich habe dies überprüft und kom- me zu dem Ergebnis:

ad 1. außer der letztgenannten Frage sind alle tormal und inhalt- lich korrekt,

ad 2. die zusätzlich als richtig ge- nannten Lösungsantworten sind nachweislich falsch.

Hierdurch wird das Urteil der Sachverständigen und der Kon- trollkommission im wesentlichen bestätigt und es erweist sich, daß die Qualität der IMPP-Fragen durch interindividuelle und inter- kommissionale Überprüfung nicht

"objektiviert" werden können .

Außerdem aber weisen noch min- destens 4 weitere Fragen schwere Mängel auf:

8

die Aufgabe 1. Tag 22/12 ent- hält zwei zutreffende Lösungsant- worten,

O

in der Kombinationstrage 2.

Tag 107/140 ist die amtlich testge- setzte zutreffende Lösungsant- wort nicht haltbar, weil die Termi- ni technici in den Aussagen nicht präzise gebraucht wurden,

0

in der Kombinationstrage 2.

Tag 137/135 macht ein talscher Begritt eine vorgesehene zutref- fende Aussage zu einer Falsch- aussage und

0

enthält die Frage 1. Tag 134/125 durch die verfälschende Überpräzisierung eines aussa- geentscheidenden Begrittes kei- ne eindeutig richtige Wahlantwort Wenn man wirklich wüßte, daß die fachliche Leistungsnorm unserer Studenten eine vertretbare Norm wäre, dann könnte man die stritti- gen Fragen aus der Wertung neh- men und nichts wäre dann auszu- setzen. Daß die IMPP-Leitung die ungeeigneten Fragen allen Prüf- lingen als richtig beantwortet wer- tet, verstößt gegen alle Regeln der normorientierten Prüfung. Denn: ..,.. Jeder Eingriff von außen, der die vom Prüflingskollektiv erreich- te mittlere Punktezahl verändert, 312 (32) Heft 6 vom 5. Februar 1986 83. Jahrgang Ausgabe A

beraubt die normorientierte Prü- fung ihrer einzigen Stütze, die in der Testtheorie verankert ist, und hebt die Berechtigung dieser Prü- fung auf. Eine zur Nachbesserung gebildete Überprüfungskommis- sion dürfte es nicht geben, wenn sie es zuläßt, daß die von ihr ge- fundenen "ungeeigneten" Fragen allen Kandidaten als richtig gelöst angerechnet werden.

Ist es nicht bedeutsam, daß diese normorientierten Primitivprüfun- gen von der IMPP-Leitung in aller Unschuld mit dem Argument ver- teidigt werden, daß die Medizin ein Lerntach sei, bei dem es aus- schließlich auf Faktenwissen an-

käme, im Gegensatz zur Jurispru-

denz, bei der es auf die Fähigkeit des logischen Denkens ankommt (7). Es ist alles nicht mehr einfach:

Jede subjektive Überzeugung muß sich der kollektiven Wahrheit beugen (s. Abb.).

Literatur

Anschrift des Verfassers:

Prof. Dr. med. Otto Harth Physiologisches Institut

II. Lehrstuhl

Saarstraße 21 6500 Mainz

(1) Harth, 0.: Die politisierten Prüfungen in der Medizin. DEUTSCHES ÄRZTEBLATT 82 (1985) Heft 36, S. 2531-2534; (2) Hinrichsen, K.: Die wirklich ungeeigneten Fragen wurden gar nicht eliminiert. Zur Nachbesserung der ärzt- lichen Vorprüfung, Frühjahr 1985. DEUT- SCHES ARZTEBLATT 82 (1985) Heft 36, S.

2534-2536; (3) Brodda, K., und Harth, 0.: Die derzeitige Dauer und die vorgesehene Verkür- zung des vorklinischen Studiums, II. Mittei- lung: Ein Fortran-Programm zur Auswertung medizinischer Prüfungsklausuren nach dem .. ,multiple choice"-System. DEUTSCHES ARZTEBLATT 67 (1970), S. 2941-2957; (4) Hil- ke, R.: Zur Kontroverse um die schriftlichen f>rüfungen nach der Approbationsordnung für Arzte. - Die klassische Testtheorie ein "me- thodisches Fundament"? Teil 1: Der Arzt im Krankenhaus (1982), Heft 6, S. 360-364; Teil II:

Der Arzt im Krankenhaus (1982), Heft 7, S.

410--415; (5) Boelcke, G.: "Skandalphysikum '85" - Einige notwendige Bemerkungen zur Arztlichen Vorprüfung vom Frühjahr 1985.

Dtsch. med. Wschr. 110: 1479-1482 (1985); (6) Rosemeier, H. P., Scheer, J. und Steingrüber, H.-J.: Prüfungen- Stellungnahme der Fach- gutachter "Medizinische Psychologie" beim IM PP zur Korrektur der Ärztlichen Vorprüfung im März 1985, Mitteilungen der Gesellschaft für Medizinische Psychologie, Nr. 22, S. 14-16 (Nov. 1985); (7) Kraemer, H. J.: Anhörung vor der CDU-Landtagsfraktion in Mainz

(18. 11. 1985) (persönl. Mittig. von W. Barni-

kol).