WISSENSCHAFT UND PRAXIS:
Selbstprüfung in der ärztlichen Fortbildung Aus der Medizinischen Universitätsklinik Köln Erkenntnisse -
auch für die Fortbildung Aus dem Institut für
medizinische Prüfungsfragen REGELN zum Erfolg Ein Vorschlag
zur Verbesserung der Fortbildungseffizienz Großbritannien:
Braucht der Allgemeinpraktiker mehr Patienten?
Volker Flörkemeier und Rudolf Gross
Aus der Medizinischen Universitätsklinik Köln (Direktor Professor Dr. R. Gross)
Die Überprüfung des Wissensstandes der in Klinik und Praxis tätigen Ärzte wird in letzter Zeit immer häufiger diskutiert. Als Beispiel sei- en nur die Themen der Jahrestagung des Deutschen Senats für ärztliche Fortbildung (Fachausschuß der Bundesärztekammer) an- geführt, die im DEUTSCHEN ÄRZTEBLATT referiert wurden: "Ärzt- liche Fortbildung: Methoden der Selbstkontrolle" (DÄ 70, 315,1973)
und "Effizienznachweis der ärztlichen Fortbildung (DÄ 72, 239,
1975). Dieser Thematik galt auch bereits unmittelbar vor dem vori- gen Deutschen Ärztetag ein Leitartikel des Präsidenten der Bundes- ärztekammer, Prof. Dr. Hans J. Sewering: "Neue Wege der ärztli- chen Fortbildung" (DÄ 71 [1974] 1867). Die hier vorgelegte Arbeit berichtet über einen Test, bei dem es erstmals unternommen wur- de, die theoretischen Überlegungen zu einer freiwilligen Selbst- überprüfung des Wissensstandes mit Ergebnissen und Erfahrungen zu konkretisieren.
Die Problematik von Kontrollver- fahren ärztlichen Wissens hat zwei Aspekte: einen berufspolitischen und einen didaktischen.
Die berufspolitische Seite ist mit der Diskussion verbunden, ob sol- che Verfahren zum fortlaufenden Qualifikationsnachweis (bis hin zur
"periodischen Neuapprobation") notwendig sind und wie solche Verfahren organisatorisch anzufas- sen und zu bewältigen wären.
Diese Probleme sollen hier nicht weiter angesprochen werden, da sie nicht in unsere Kompetenz fal- len. Es wäre auch eine Mißdeu- tung, aus diesem Aufsatz eine be-
rufspolitische Stellungnahme unse- rerseits ableiten zu wollen, für die wir uns weder befugt noch zustän- dig halten.
~ Außerordentlich interessant aus der Sicht des Fortbildungslehrers und Didaktikers ist dagegen die wissenschaftliche Auswertung frei- williger und anonymer Selbstprüf- verfahren, da sie essentieller Be- standteil einer systematischen und gezielten Lehrplanung für die künf- tige ärztliche Fortbildung sind.
Betrachtet man die vielfältigen und in der Thematik breitgestreuten Fortbildungsmöglichkeiten, so muß festgestellt werden, daß kaum
1274 Heft 18vom 1. Mai 1975 DEUTSCHES ARZTEBLATI'
„weiße Stellen” gefunden werden können. Sowohl die individuelle Fortbildung mit Zeitschriften, Lehr- büchern und dem kollegialen Ge- spräch als auch die großen Fort- bildungsveranstaltungen mit Vor- trägen, Podiumsdiskussionen, Se- minaren und Kursen decken vom Angebot her praktisch alles ab, was in der Medizin heute aktuell und wichtig ist.
Wenngleich diese Tatsache zur Zufriedenheit und Beruhigung der mit der Fortbildung Betrauten An- laß geben mag, kann ein gewisses Unbehagen nicht übersehen wer- den: Es ist die mangelnde Informa- tion über den Adressaten, den Fortbildungswilligen.
Es wäre eine sinnlose Vergeudung von Zeit, Energie und Geld, eine Lehrveranstaltung am Lerner vor- bei oder über den Lerner hinweg durchzuführen. Je mehr wir über die Adressaten wissen, um so prä- ziser kann der Lehrinhalt bestimmt werden.
Die Forderung nach einer Adressa- tenanalyse scheint an sich plausi- bel, jedoch werden die Informatio- nen in der Regel allenfalls ge- schätzt. Erst in jüngster Zeit wer- den in zunehmendem Maße Daten z. B. durch Interviews und beson- ders durch Fragebogenaktionen gesammelt und klassifiziert.
Nun muß allerdings hinsichtlich der Verwertbarkeit solcher Anga- ben einschränkend darauf hinge- wiesen werden, daß der Fortbil- dungswillige nur präzise sagen kann, auf welchen Gebieten er sich fortbilden will, nur vage vermag er anzugeben, auf welchen Gebieten er sich fortbilden muß. Wie soll er wissen, was er nicht weiß? Je wei- ter man sich zeitlich von der Aus- bildung entfernt, um so mehr neuer Wissensstoff kommt hinzu, um so mehr wird von dem alten Wissens- stoff anders bewertet und einge- ordnet.
Rosato (1972) läßt seinen geachte- ten Professor und Lehrer sagen:
„Half of what I teach you is correct and the other half will in a few
years be proven incorrect. The only trouble is, I can't distinguish the one half from the other."
Nach dem bisher Gesagten drängt sich die Forderung nach Selbst- prüfverfahren in der ärztlichen Fortbildung geradezu auf: Bevor man Wissenslücken schließen will, müssen diese identifiziert werden, und zwar mit realitätskonformen und hinsichtlich der verschiedenen Fachdisziplinen auch praxisrele- vanten Testfragen.
Im folgenden soll über die Ergeb- nisse und Erfahrungen einer sol- chen Selbstprüfaktion berichtet
werden, welche wir im Auftrage der Kassenärztlichen Vereinigung Nordrhein durchführten').
Der Modellversuch
Im Juli 1974 wurden wir von Dr.
Muschallik in seiner Funktion als Vorsitzender der KV Nordrhein ge- beten, einen Modellversuch zur Selbstüberprüfung des ärztlichen Wissens zu planen und durchzu- führen. Von Beginn an bestand Übereinstimmung in der Forderung nach Freiwilligkeit und Anonymität.
Als Zielgruppe waren in der Praxis tätige Internisten im Bereich der KV Nordrhein gewählt worden.
Die Testfragenform
Als Aufgabenform dienten Multiple- choice-Fragen. Diese haben zwar gewissen Nachteile, da sie im we- sentlichen nur für das Erfassen ko- gnitiver Fähigkeiten geeignet sind und das latente und momentan nicht verbalisierbare Wissen mit- prüfen. Andererseits genügen Mul- tiple-choice-Fragen in einem ho- hen Maße den Kriterien der Objek- tivität, da von vornherein festgelegt wird, wie die einzelnen Alternativen gewertet werden. Darüber hinaus haben sie für den „Prüfer" ganz entscheidende Vorteile (V. Flörke- meier und Th. Kerschbaum, 1974 a):
Verläßlichkeit der Stichprobe durch Aufgabenvielfalt und Viel- zahl,
1> Rationelles Auswerten mittels elektronischer Belegleser und Großrechner,
Dokumentation der Ergebnisse,
> überregionaler Vergleich, bessere Rückmeldung über ein- zelne Fragen und den gesamten Test durch statistische Aufarbei- tung.
Schließlich wird diese Prüfungs- form beispielsweise vo.n Medizin- studenten zur Selbstkontrolle ak- zeptiert und geschätzt, wie die Un- tersuchungen an der Kölner Medi- zinischen Fakultät zeigen (V. Flör- kemeier und Th. Kerschbaum, 1974 c).
Fragenerstellung
Bei der Fragenerstellung formulier- ten wir zunächst etwa 300 Multiple- choice-Fragen aus vier Hauptge- bieten der inneren Medizin (Kar- diologie, Gastroenterologie, Häma- tologie sowie Endokrinologie und Stoffwechsel). Bei der Formulie- rung und Auswahl der „Rohfragen"
konnten Erfahrungen in zweifacher Hinsicht verwertet werden: Zum ei-
nen die vieljährige Prüfpraxis im medizinischen Staatsexamen, wo- durch typische Falschantworten und Denkfehler geläufig werden, zum anderen die Beschäftigung mit der Erstellung von Multiple-choice-Fra- gen beispielsweise für die vorle- sungsbegleitenden Leistungskon- trollen in der inneren Medizin (Flörkemeier und Gross, 1975).
Die Rohfragen wurden mehreren weiteren Kontrollen unterworfen.
Sie wurden zunächst durch ver- schiedene Fachwissenschaftler der obengenannten Teilgebiete auf ihre sachliche Richtigkeit hin überprüft.
Bei den geringsten fachlichen
1) An dieser Stelle verweisen wir auf das Referat von H. W. Muschallik vor der Vertreterversammlung der KBV in Berlin (am 24. Juni 1974), welches im Wortlaut im DEUTSCHEN ÄRZTEBLATT, Heft 27, Seiten 2106-2117, 1974, wiedergegeben wurde. Unter Schwerpunkt 1 werden Selbstprüfverfahren zur Sicherung der ärztlichen Fortbildung empfohlen.
Zweifeln wurden die entsprechen- den Fragen eliminiert. Schließlich wurden von dem verbleibenden Fragenpool insgesamt 73 Aufgaben von einem Gremium erfahrener In- ternisten*) aus Klinik und Praxis ausgewählt, wobei nunmehr als Kriterien die Schwierigkeit und be- sonders der Praxisbezug im Vor- dergrund standen.
Dem Testfragenautor fällt somit die sehr zeitaufwendige Aufgabe zu, ein Mehrfaches an Aufgaben zu formulieren, damit im notwendigen Revisionsprozeß eine genügend große Zahl einwandfreier und pra- xisbezogener Aufgaben übrigbleibt.
Der Modellversuch wurde zunächst mit einer Pilotstudie begonnen.
Hierbei wurde die Fragensamm- lung gemeinsam mit einem speziel- len Testbogen verschickt bzw. an- läßlich einer Fortbildungsveranstal- tung ausgegeben. Von 120 Frage- bögen wurden 94 zurückgesandt und 92 ausgewertet.
Die Bearbeitungszeit sowie die Be- dingungen, unter denen der Frage-
bogen ausgearbeitet werden sollte, wurden bewußt nicht festgelegt und vorgeschrieben. Wir gehen da- von aus, daß die Beantwortung un- ter den Bedingungen der Praxis er- folgt. Das bedeutet, daß die Mög- lichkeit des Nachschlagens und Nachlesens in der entsprechenden Fachliteratur nicht grundsätzlich ausgeschlossen wird.
Testauswertung
Die Weiterverarbeitung der Ergeb- nisse wurde im Rechenzentrum der Universität Köln durchgeführt.
Durch entsprechende Auswertungs- programme 2) (z. B. Brodda und Harth, 1970; Gaa und Kerschbaum, 1974) 3) können eine schnelle und umfangreiche statistische Analyse der Leistungskontrollen sowie der Testfragenqualität durchgeführt und eine Sammlung von Informa- tionen für nachfolgende Studien bzw. Langzeitbeobachtungen in optimaler Form bereitgestellt wer- den (Kerschbaum und Flörkemei- er, 1974).
Ergebnisse
Die Gesamtergebnisse sind in der Tabelle zusammengefaßt. Einige wesentliche Punkte sollen im fol- genden ausführlicher erörtert wer- den.
Die mittlere Testschwierigkeit von 73,47 Prozent zeigt, daß der Test insgesamt sehr gut ausgefallen war, d. h. im Mittel waren 73 Pro- zent der Fragen richtig beantwortet worden.
Für Leistungstests werden in der Literatur Reliabilitäts-Koeffizienten zwischen --1- 0,85 und + 0,95 ge- fordert (Hubbard, Clemans, 1961).
Nach der Definition Lienerts (1969) versteht man unter der Zuverläs- sigkeit oder Reliabilität eines Tests den Grad der Genauigkeit, mit dem er ein bestimmtes Persönlichkeits- oder Verhaltensmerkmal mißt. Auf einen Leistungstest bezogen, be- deutet Zuverlässigkeit bzw. Reliabi- lität die Reproduzierbarkeit unter gleichgebliebenen Bedingungen.
Mit einem Reliabilitätskoeffizienten von 0,89 wies der Test einen hohen Grad an Zuverlässigkeit auf — zu- mal bei einer Prüfung, die nur dem Vergleich der Leistung von Grup- pen dient, bereits Zuverlässigkeits- koeffizienten von 0,70 genügen (Hubbard, 1974).
Wie aus der Tabelle ersichtlich, waren in der Untertestauswertung zwischen den vier Teilbereichen Kardiologie, Gastroenterologie, Hä- matologie, Endokrinologie/Stoff- wechsel keine wesentlichen Unter- schiede festzustellen.
Bei der Aufgabenanalyse zur Er- mittlung der Testfragenqualität ist
2) An der Fragenauswahl beteiligten sich die Internisten: Dr. Ballhausen, Essen;
Dr. Gatersleben, Aachen; Prof. Dr. Kan- zow, Solingen; Dr. Muschallik, Köln; Dr.
Schüller, Düsseldorf; Dr. Wirtz, Düssel- dorf, denen wir ganz besonders danken möchten.
3) Wir danken Herrn Dipl.-Math. M. Gaa und Dr. Th. Kerschbaum, Köln, für das Überlassen des Datenverarbeitungspro- grammes „MCQA".
Tabelle: Allgemeine Ergebnisse von der Auswertung des Gesamt- testes sowie Angaben zur mittleren Testschwierigkeit der Unterteste Auswertung Gesamttest:
Teilnehmerzahl 92
Zahl der ausgewerteten Fragen 73
Minimale Zahl richtiger Antworten 23
Maximale Zahl richtiger Antworten = 68 Mittelwert richtiger Antworten = 53,63
Standardabweichung = 9,87
Standardfehler = 1,03
Median = 55,50
Meßfehler des Tests ... Punkte (+ —) = 3,26 Reliabilitätskoeffizient (Gulliksen) rtt . = 0,89
Mittlere Testschwierigkeit = 73,47 90
Auswertung der Unterteste,
Angaben zur mittleren Testschwierigkeit:
Kardiologie = 74,1 Vo
Gastroenterologie = 75,1 0/0
Endokrinologie und Stoffwechsel . = 72,7 °A
Hämatologie = 70,0 Vo
1276 Heft 18 vom 1. Mai 1975 DEUTSCHES ÄRZTEBLATT
55 24 67
.14 .12 I.
.10 .04 .06 .04 .02 0.00 -.02 -.04 -.06 -.08 -.10 .14
.12 .10 .05 .0h .04 .02 0.00 -.02 -.04 -.05 -.08 -.10
DIAGRAMM TNEmmsCHAERFEKOEFFIIIENT uEBER SCHWIERIGKEITSINDEX
25
36 66
1 33
39 30 46 40
12 60 41 56 48 22
51 68 38
32 42
6 8 29
5
28 15 34 20
4 13 73
53 43
61 t7
11 64 10
18
37 27 Sb
.22 57 71 16
.20 3 47 59 70 2
.19
.16 35 72 23 19
.99 .34 .54 .9 , .90 .79 .7G .74 .7?
.70 .69 .66 .54 .62 .60 .9A .5h .54 .57 .50 .4, .4h .44 .4?
.40 .39 .1h .34 .3 , .31 .28 .25
.247
31 26 44 9
49 54 14 7
.48 .86 .84 .82 .30 .78 .76 .74 .72 .70 .63 .66 .64 .62 .63 .53 .56 .54 .52 .50 .45 .46 .44 .42 .40 .35 .36 .34 .32 .30 .28 .26 .24 .22 .20 11.
.13 .16
) 10 23 3) 40 50 60 79 80 33 100
Abbildung 1: Diagramm „Trennschärfe über Schwierigkeitsgrad" (hier vor allem aus wissenschaftlichen Gründen wiederge- geben). Im unteren Bereich (I.) sind die Aufgaben, die nicht wieder verwendet werden sollten, da sie zweifelhafter Qualität sind; im mittleren Bereich (II.) sind Fragen, deren Qualität z. B. durch Auswechseln einer einzelnen Alternative noch zu bes- sern wäre; der obere Bereich (III.) zeigt die Aufgaben, die auch hohen Ansprüchen genügen
neben dem Schwierigkeitsindex vor allem der Trennschärfeindex von Interesse. Der Trennschär- feindex einer Aufgabe gibt an, inwieweit die auf den gesamten Test bezogenen „guten Pro- banden" die einzelnen Aufga- ben richtig gelöst haben. Hat die richtige Alternative einer Aufgabe eine schlechte Trennschärfe, so bedeutet das, daß die auf den ge- samten Test bezogenen „guten Probanden" die spezielle Aufgabe falsch gelöst haben. Eine Testauf- gabe, die nicht gute von schlech- ten Probanden trennt, sollte nicht wieder verwendet werden, da sie beispielsweise mißverständlich for- muliert sein kann.
Für das National Board of Medical Examiners in den USA gilt ein Trennschärfeindex von 0,25 als annehmbar. Testfragen mit Trenn- schärfeindices unter 0,15 haben zweifelhafte Qualität (Hubbard, 1974). Die Abbildung zeigt, daß nur wenige Fragen eine geringe Trennschärfe aufweisen und somit nicht mehr in der vorliegenden Form für den im Sommer 1975 ge- planten Großversuch verwendet werden sollten.
Konsequenzen
Wie anfangs bereits erwähnt, ist für den Fortbildungslehrer besonders
wichtig und interessant, welche Fragen von der entsprechenden Zielgruppe mit einer großen Feh- lerquote beantwortet werden.
Bei Ausbau und Perfektionierung des Selbstprüfverfahrens können diese Wissenslücken identifiziert und gezielte Maßnahmen zur Be- seitigung solcher Wissenslücken durchgeführt werden.
An folgenden extremen Beispielen möchten wir das näher bespre- chen:
In der Bundesrepublik Deutschland sind sicher Patienten in der Größen-
ordnung zwischen 10 000 und 100 000 auf Antikoagulantien vom Cumarintyp eingestellt. Die gerade- zu alltägliche Behandlung wird in der Regel von Internisten eingelei- tet und überwacht. Auf einer gro- ßen Zahl von Fortbildungsveran- staltungen, bei denen die Behand- lung von Herzinfarkten, Throm- bosen, Autoimmunkrankheiten usw.
besprochen wird, werden in der Re- gel auch Angaben zum Umgang mit Cumarinen gemacht. Bemer- kenswert war die Tatsache, daß bei unserem Modellversuch nur 16 Prozent der Befragten richtig den Beginn der Antidotwirkung von Vit- amin K angeben konnten. Die mei- sten Kollegen nahmen einen sofor- tigen Wirkungsbeginn nach intrave- nöser Injektion des Vitamin-K-Prä- parates an.
Mit solchen Informationen ausge- rüstet, könnte der Fortbildungsleh- rer intensiver darauf hinweisen, daß im Falle einer (zwar seltenen) schweren Blutungskomplikation unter Cumarintherapie als Sofort- maßnahme die 1. v. Injektion von Vitamin K wenig geeignet ist und daß nur z. B. von Prothrombinkon- zentrat, Frischblut oder -plasma eine schnelle Unterbrechung der Blutungsbereitschaft zu erwarten ist.
Andererseits ist es für den Fortbil- dungslehrer nützlich zu wissen, daß andere Probleme von der Ziel- gruppe perfekt beherrscht werden.
So konnten beispielsweise fast alle Befragten (97,8 Prozent) angeben, daß bei Verdacht auf Hepatitis die Bestimmung des Australia-Anti- gens differentialdiagnostisch wich- tig ist. Dieses ist wiederum ein Hinweis für die schnelle Verbrei- tung einer relativ neuen Untersu- chungsmethode durch die ver- schiedenen Fortbildungsmöglich- keiten und die schnelle Aufnahme und geistige Verfügbarkeit bei den Adressaten.
Mit solchen Informationen kann der Fortbildungslehrer somit eine dem Niveau der Adressaten ent- sprechende Lehreinheit planen und
durchführen, ohne fürchten zu müssen, daß durch ständiges Wie- derholen längst bekannter Tatsa- chen Aversionen auf seiten der Lernwilligen erzeugt werden.
Selbstprüfverfahren als Fortbildung Selbstprüfverfahren haben nicht nur ihren Sinn in der Ermittlung des Ist-Wertes ärztlichen Wissens- standes mit der Möglichkeit, ge- zielter zum Soll-Wert zu kommen, sondern sie stellen bereits selbst eine besondere Form der Fortbil- dung dar. Indem beim Beantworten der Fragen festgestellt wird, wel- che Probleme nicht oder nur müh- sam gelöst werden können, wird eine Anregung gegeben, dieses Thema nochmals in einem Lehr- buch o. ä. durchzuarbeiten. Ohne, daß wir die Kollegen über die Lö- sung der Aufgaben hinaus um ir- gendwelche Angaben gebeten hät- ten, wiesen mehrere spontan auf diesen motivierenden Faktor hin.
Schlußfolgerungen
Die mit Selbstprüfverfahren ver- bundenen Vorstellungen und Ziele konzentrieren sich auf folgende entscheidende Punkte:
I> Informationen über den Wis- sensstand von Fortbildungswilligen sind spärlich und mit den her- kömmlichen Verfahren nur unzurei- chend zu erhalten.
• Wenn Wissenslücken gezielt be- seitigt werden sollen, müssen die- se erst identifiziert werden.
I> Selbstprüfverfahren sind wert- volle Entscheidungshilfen für die Verantwortlichen der Fortbildung und für den einzelnen Arzt.
> Selbstprüfverfahren machen eine fortlaufende Revision und Ab- stimmung des Fortbildungsangebo- tes und das Vermeiden von Fehl- entscheidungen möglich.
> Selbstprüfverfahren sind verläß- liche Grundlagen für Vergleiche (räumlich/zeitlich).
I> Selbstprüfverfahren stellen eine besondere Form der „Fortbildung am Arbeitsplatz" dar.
I> Selbstprüfverfahren müssen in der Hand der Ärzteschaft bleiben, da sie der Information und nicht der Selektion dienen.
Der letzte Punkt sollte selbstver- ständlich sein: Selbstprüfverfahren sind als Entscheidungshilfen für die Fortbildungsplaner sowie für den einzelnen Arzt auf jeden Fall und ausschließlich ein Instrumen- tarium der Ärzteschaft. Folgerichtig müssen die entsprechenden ärztli- chen Gremien selbst die techni- schen und persönlichen Vorausset- zungen für Ausbau und Organisa- tion der Selbstkontrolle ärztlichen Wissensstandes schaffen und auch in der Hand behalten. Das Prinzip der Freiwilligkeit und Anonymität sollte ebenso selbstverständlich sein wie die Mitarbeit der Ärzte.
Den Investitionskosten stehen bei langfristiger Sicht eine Reihe von Vorteilen gegenüber, welche die Auswertung der Testergebnisse und die daraus resultierenden Kon- sequenzen mit sich bringen.
Literatur
1. Brodda, K., und 0. Harth: DEUTSCHES ÄRZTEBLATT 67, (1970), 2941 — 2. Flörke- meier, V., und Th. Kerschbaum: DEUT- SCHES ÄRZTEBLATT 71, (1974a), 2133 — 3. Flörkemeier, V., und Th. Kerschbaum:
DEUTSCHES ÄRZTEBLATT 71, (1974 b), 2479 — 4. Flörkemeier, V., und Th. Kersch- baum: DEUTSCHES ÄRZTEBLATT 71, (1974 c), 2581 — 5. Flörkemeier, V., und R.
Gross: DEUTSCHES ÄRZTEBLATT 72, (1975), 443 — 6. Gaa, M., und Th. Kersch- baum: Program MCQA: Ein Fortran-Pro- gramm zur Auswertung von Multiple-choi- ce-Fragen; Benutzermitteilung des Rechen- zentrums der Universität zu Köln, 1974
—7. Hubbard, J. P., und W. V. Clemans: Mul- tiple-choice Examinations in Medicine, Lea and Febiger, Philadelphia, 1961 — 8. Hub- bard, J. P.: Erfolgsmessung der medizini- schen Ausbildung, Huber-Verlag, Bern, 1974 — 9. Kerschbaum, Th., und V. Flörke- meier: DEUTSCHES ÄRZTEBLATT 71, (1974), 2529 — 10. Lienert, G. A.: Testauf- bau und Testanalyse, Beltz-Verlag, Wein- heim, 1996 — 11. Rosato, F. E., Surgery 71, (1972), 642.
Anschrift der Verfasser:
Dr. med. Volker Flörkemeier und Prof. Dr. med. Rudolf Gross 5 Köln 41
Josef-Stelzmann-Straße Med. Univ.-Klinik
1280 Heft 18 vom 1. Mai 1975 DEUTSCHES ÄRZTEBLATT
