Computer-basedtraining(CBT)inanundergraduatemedicalcurriculum Computer-basedTraining(CBT)inderHumanmedizin

(1)

Computer-based Training (CBT) in der Humanmedizin

eine inhaltsanalytische Kohorten-Studie am Beispiel der Allgemeinen Tumorpathologie

Computer-based training (CBT) in an undergraduate medical curriculum

content analysis in a cohort study concerning gernal tumor pathology

• Josef Smolle¹ Zusammenfassung:

Zielsetzung: Computer-based Training (CBT) als tutorielles e-Learning-Konzept beruht auf einer Zerlegung des Lernstoffs in kleine Ein- heiten (Chunking) und einem stark strukturierten instruktionalen Prozess. Die Studie befasst sich mit der Frage, ob auf diese Art aktiv explizites (sprachlich ausdrückbares) Wissen zu einem humanmedizinischen Thema erworben werden kann.

Methodik: 43 Studierende der Humanmedizin (31 Frauen, 12 Männer) machten ein CBT-Lernobjekt zur Allgemeinen Tumorpathologie mit 32 Frames 3 mal durch und erstellten Kurzessays. Hauptzielgröße war die Differenz der inhaltlichen Frequenzanalyse tumorpatholo- gischer Begriffe und Konzepte in den späteren Essays im Vergleich zum Ausgangsessay.

Ergebnis: Die Frequenzanalyse zeigte im Ausgangsessay 28 +- 25 Treffer, im zweiten 40 +- 19 und im dritten – zwei Wochen später – 35 +- 17 Treffer und damit jeweils eine hoch signifikante Verbesserung (p < 0.01). Die Leistungen im CBT zeigten eine starke Korrelation mit den Ergebnissen der Essays. Im optionalen Feedback überwogen die positiven Aussagen gegenüber den negativen (p < 0.01).

Schlussfolgerung: Mittels Computer-based Training wird nicht bloß die Beantwortung definierter Frames geübt, sondern explizites Wissen vermittelt. Die Leistungen im CBT und der erzielte Leistungszuwachs korrelieren signifikant mit der Qualität von Short Essays.

Schlüsselwörter: Computer-based Training, E-Learning, allgemeine Pathologie, Inhaltsanalyse Abstract:

Background: Computer based training (CBT) is based on chunking of the learning content and follows a highly structured instructional design. The question is addressed whether verbally expressible knowledge can be acquired by CBT in a learning content example in human medicine.

Methods: 43 students of human medicine (31 females, 12 males) studied a CBT learning object on general tumour pathology comprising 32 frames for three times and wrote short essays on the topic. The main goal was to assess the increase of the frequency of terms and concepts of general tumour pathology between the essays as determined by content analysis.

Results: Frequency analysis showed 28 +- 25 hits in the first, 40 +- 19 hits in the second and – after two weeks intermission – 35 +- 17 hits in the third essay, with the increase being highly significant (p < 0.01) The hits in the essay correlated significantly with the perfor- mance in the CBT learning object. In the qualitative feedback, positive remarks prevailed (p < 0.01).

Conclusion: Computer based training does not simply drill the performance in predefined frames, but facilitates the achievement of knowledge which can be verbally expressed. Performance of the individual student in the CBT learning objects is significantly correlated to the quality of the short essay on the same topic.

Keywords: Computer-based training, e-learning, general pathology, content alaysis

Einleitung

Computer-based Training (CBT) gehört zu den tutoriellen Metho- den und hat sich aus der Tradition des programmierten Lernens entwickelt. Gemeinsam mit diesem hat es das Chunking, d.h. die Untergliederung des Lernstoffs in kleine Einzelschritte [1]. In Anlehnung an die verzweigten Programme von Crowder ("bran- ching tutorial programs“) [2] bietet jeder Auswahlframe im CBT mindestens zwei Optionen, von denen eine die richtige ist. Ein entscheidender Punkt im Gegensatz zum behaviouristischen Üben nach Skinner [2] ist die differenzierte Rückmeldung mit einer entsprechenden Begründung und weiterführenden Hinweisen.

An der Medizinischen Universität Graz (MUG) werden seit 2003 systematisch CBT-Lernobjekte entwickelt [3]. Diese Lernobjekte bestehen in der Regel aus 10 – 30 Frames. Derzeit sind an der

MUG mehr als 500 CBT-Lernobjekte in Gebrauch. Voruntersu- chungen haben ergeben, dass Lernstoff, der über CBT vermittelt wurde, in Multiple-Choice-Tests signifikant besser gekonnt wurde als der zum Vergleich herangezogene Präsenzunterricht [4].

Die vorliegende Studie geht der Frage nach, ob es lediglich zu einem Drill von Frames kommt oder ob durch CBT sprachlich aus- drückbares, explizites Wissen erworben werden kann.

Methoden

• Studiendesign

Den an der Studie teilnehmenden Studierenden wurde ein Stoffge- biet aus der Humanmedizin (Allgemeine Tumorpathologie [5]) ausschließlich durch ein CBT-Lernobjekt mit 34 Frames vermittelt und der damit erreichbare Wissenszuwachs untersucht. Zu jeder Auswahl bot das Programm ein differenziertes, inhaltlich weiter-

1Medizinische Universität Graz, Institut für Medizinische Informatik, Statistik und Dokumentation, Graz, Österreich

OriginalarbeitHumanmedizin

©2007 Smolle; licensee GMS Zeitschrift für Medizinische Ausbildung. This is an Open Access article: verbatim copying and redistribution of this article is permitted in all media for any purpose, provided this notice is preserved with the article's original URL.

Artikel online frei zugänglich unter http://www.egms.de/en/journals/mibe/2007-24/zma000404.shtml

Bitte zitieren als: Smolle J. Computer-based Training (CBT) in der Humanmedizin: eine inhaltsanalytische Kohorten-Studie am Beispiel der Allgemeinen Tumorpathologie. GMS Z Med Ausbild.

2007;24(2):Doc110.

g2p(G20061212.1)

- 1 / 4 - GMS Zeitschrift für Medizinische Ausbildung ISSN 1860-3572

(2)

führendes Feedback. Erst nach richtiger Bearbeitung gelangte man zum nächsten Frame. Abbildung 1 und Abbildung 2 zeigen ein Frame-Beispiel. Das Vorhaben wurde der zuständigen Ethikkom- mission gemeldet, die keinen Einwand erhob.

Abbildung 1: Computer-based Training zur allgemeinen Tumorpathologie; Beispiel eines Frames. Vignette und

Auswahloptionen.

Abbildung 2: Computer-based Training zur allgemeinen Tumorpathologie; Beispiel eines Frames. Feedback für die richtige

Antwort.

• Kohorte

An der Studie nahmen 43 Studierende (31 Frauen, 12 Männer) im Rahmen eines freien Wahlfachs im Studium Humanmedizin teil.

• Intervention

Der Ablauf der Studie war für alle teilnehmenden Personen gleich:

Verfassen des ersten Short Essays, zweimalige Absolvierung des CBT-Lernobjekts, Verfassen des zweiten Short Essays, optionale Formulierung von Feedback, zwei Wochen Pause, Verfassen des dritten Short Essays, einmalige Absolvierung des CBT-Lernob- jekts, und nochmalige optionale Formulierung von Feedback. Das Lernobjekt und das Arbeitsformular wurden digital über das Lernsystem VMC (Virtueller Medizinischer Campus) der Medizi- nischen Universität Graz bereit gestellt. Die Studierenden bearbei- teten den Arbeitsauftrag einschließlich Short Essays und Feedback Zeit- und Orts-unabhängig an ihren eigenen Arbeitsplätzen und übermittelten das ausgefüllte elektronische Formular an den Stu- dienleiter. Die Vorgabe für die Short Essays war "10 – 20 Zeilen“, ggf. in Stichwörtern. Für das Feedback gab es lediglich den Hin- weis „Anmerkungen aus Ihrer persönlichen Erlebnissicht (optio- nal)“ im Arbeitsblatt. In den Short Essays wurde die Frequenz von

Begriffen und Konzepten der allgemeinen Tumorpathologie mittels Inhaltsanalyse manuell durch den Studienleiter ausgewertet. Die Inhaltsanalyse bezog sich auf die Liste der Begriffe, die im CBT- Lernobjekt angesprochen wurden. Bei den CBT-Absolvierungen wurden Trefferquote und Zeitaufwand protokolliert. Die Feedbacks wurden wiederum mittels Inhaltsanalyse anhand einer vorab defi- nierten Liste von Kategorien untersucht.

• Zielgrößen

Hauptzielgröße war der Zuwachs der Frequenz an Begriffen und Konzepten der Allgemeinen Tumorpathologie vom ersten zum dritten Short Essay. Nebenzielgrößen waren die Unterschiede zwischen allen drei Essays, die Entwicklung der Trefferquoten in den CBT-Durchgängen, der Zeitaufwand, das qualitative Feedback und schließlich die Zusammenhänge dieser Merkmale untereinan- der.

• Fallzahlabschätzung

Bei einer Standardabweichung von 10.6 für die Differenz zwischen erstem und drittem Essay bei der Frequenzanalyse, ermittelt aus einer ersten Stichprobe von 15 Probanden, und dem Ziel, einen durchschnittlichen Zuwachs von 5 zu erfassen (alpha = 0.05, beta

= 0.10), errechnete sich eine Mindestfallzahl von 40 [6].

• Statistik

Die Hauptzielgröße wurde mit einem t-Test für gepaarte Stichpro- ben untersucht. Abgesehen von Basisstatistik (Mittelwert, Stan- dardabweichung) wurden für die Nebenzielgrößen weiters die li- neare Korrelation nach Pearson und der Wilcoxon-Test angewandt.

Die statistischen Untersuchungen wurden mit dem SPSS für Windows 11.0-Programmpaket (SPSS Inc., Sunnyvale, USA) durchgeführt [7].

Ergebnisse

• Trefferquoten

Vom ersten zum zweiten und vom ersten zum dritten – nach 2 Wochen erfolgten – Durchgang ergaben sich jeweils hoch signifikante Steigerungen (siehe Tabelle 1), vom zweiten zum dritten dagegen eine leichte Verschlechterung. Im dritten Durchgang waren die Ergebnisse der Frauen signifikant besser als die der Männer. Das Ausmaß der Verbesserung der Trefferquote vom ersten zum dritten Durchgang korrelierte negativ mit der Treffer- quote des ersten Durchgangs (p < 0.001).

2007;24(2):Doc110.

g2p(G20061212.1)

- 2 / 4 -

GMS Zeitschrift für Medizinische Ausbildung ISSN 1860-3572

(3)

Tabelle 1: Effektivität des Computer-based Training (CBT) in der Allgemeinen Tumorpathologie. Angabe der Mittelwerte und

Standardabweichungen bzw. der absoluten Häufigkeiten.

• Zeitbedarf

Der Zeitbedarf war für den ersten Durchgang am größten, für den zweiten am geringsten (siehe Tabelle 1), wobei die Unterschiede zwischen allen drei Durchgängen signifikant waren. In allen Durchgängen korrelierte der Zeitaufwand negativ mit der erzielten Trefferquote (r < 0.01).

• Short Essays

Die Frequenzanalyse der Begriffe und Konzepte der allgemeinen Tumorpathologie in den Short Essays (siehe Tabelle 1) ergab eine hochsignifikante Verbesserung zwischen erstem und zweitem Essay (t = 6.1, p < 0.001) und zwischen erstem und drittem Essay (t = 5.1, p < 0.001), während zwischen zweitem und drittem Essay eine eben nachweisbare Verschlechterung zu verzeichnen war (t

= 2.1, p < 0.05). Bei den Frauen waren die ersten beiden Unter- schiede ebenso hoch signifikant, der dritte Essay dagegen zeigte keine Einbuße gegenüber dem zweiten. Bei den Männern dagegen waren alle drei Unterschiede signifikant.

Der erste Essay zeigte eine hoch signifikante Korrelation mit der Trefferquote im ersten CBT-Durchgang (r = 0.68, p < 0.001). Für den zweiten und dritten Durchgang war diese Korrelation deutlich geringer ausgeprägt (r = 0.37, p < 0.05 und r = 0.45, p < 0.01).

• Feedback

Generell zeigte sich ein signifikantes Überwiegen positiver Ein- drücke gegenüber negativen (siehe Tabelle 2; p < 0.01). Bemer- kenswert ist der Befund, dass 23 Mal der Erwerb expliziten Wis- sens angesprochen wurde, und dass sich 6 Personen darüber

„überrascht“ gezeigt hatten. Dagegen wurde 14 Mal die Meinung geäußert, dass man kein verwertbares Wissen erworben hätte. Ei- nige Male wurde auch festgestellt, dass sich CBT gut zur Überprü- fung vorhandenen Wissens eigne [6] und dass das bereits existie- rende Vorwissen eine beträchtliche Bedeutung für das Abschneiden hätte [7]. Die positiven bzw. negativen Stellungnahmen zeigten keine Korrelation mit den erzielten Leistungen der einzelnen Stu- dierenden.

Tabelle 2: Inhaltsanalyse der optionalen Feedback-Angaben der Studierenden. Die positiven Stellungnahmen überwiegen signifikant gegenüber den negativen (Wilcoxon matched pairs signed rank test:

z = -2.85, p < 0.01).

Diskussion

Die Ergebnisse zeigen wie zu erwarten eine hoch signifikante Zunahme bei den erzielten Trefferquoten im CBT-Lernobjekt, wobei dieser Trainingseffekt auch nach einer zweiwöchigen Pause noch nachweisbar war. Weniger selbstredend ist der Zuwachs an explizitem Wissen, der sich in der Inhaltsfrequenzanalyse der Short Essays manifestierte. Gerade Zweifel daran, dass durch CBT explizites Wissen erworben werden kann, haben ja in den letzten Jahrzehnten die behaviouristischen Konzepte nach Skinner in Misskredit gebracht [2]. Das positive Ergebnis unserer Studie könnte darauf zurückzuführen sein, dass durch die differenzierten Rückmeldungen im Sinne von Musch eine kognitivistische Wis- sensverarbeitung in Gang gesetzt wurde [8]. Bessere Lernergeb- nisse für die weiblichen Teilnehmerinnen, wie sie diese Studie gerade bei den Short Essays nach einem zweiwöchigen Intervall zeigt, wurden zwar auch andernorts beobachtet, konnten aber z.B.

nicht durch unterschiedliche Lernstile erklärt werden [9].

Eindrucksvoll ist die hohe Korrelation zwischen dem Inhaltsreich- tum der Essays und der Trefferquote im CBT. Dies zeigt, dass die Performanz im CBT in engem Zusammenhang mit dem vorhandenen expliziten Wissen zum Thema steht und somit zur Wissens- überprüfung geeignet ist. Die geschlossenen Aufgabenstellungen im CBT und die offene in den Short Essays weisen Parallelen zur Studie von Schuwirth et al. (1996) [10] auf. Dieser verglich Mul- tiple-Choice-Fragen mit offenen Kurzantwortfragen und fand dabei eine hohe Korrelation zwischen beiden Testverfahren, wobei der Cueing-Effekt der Multiple-Choice-Fragen geringer war als erwar- tet. Die Zusammenhänge zwischen Leistung im CBT und aufge- wandter Zeit – je geringer die Performanz, desto größer der Zeit-

2007;24(2):Doc110.

g2p(G20061212.1)

- 3 / 4 - GMS Zeitschrift für Medizinische Ausbildung ISSN 1860-3572

(4)

aufwand – illustrieren das je nach Vorwissen individuelle Lerntem- po.

In der persönlichen Einschätzung des Lernens mit CBT durch die Studierenden fällt die wiederholte Anmerkung, dass explizites Wissen erworben wurde und dass mancher darüber "überrascht“

war, auf. Allerdings ist auch festzuhalten, dass die Angaben im Feedback nicht mit den Leistungsdaten korrelieren – somit der subjektive Eindruck des Lernerfolgs oder Lernmisserfolgs nicht Ausdruck des objektivierbaren Ausmaßes derselben ist. Dass lediglich viermal explizit "Freude“ ausgedrückt wurde, könnte mit der gewählten Form des optionalen Feedbacks anstelle eines standardisierten Fragebogens zusammenhängen. Auch Motivation und Computervorkenntnisse dürften eine Rolle spielen. Insgesamt überwiegen die positiven Aussagen jedoch deutlich gegenüber den negativen. Bei einer früheren standardisierten Befragung von mehr als 900 Studierenden nach einem virtuellen Eingangssemester erhielt CBT mehr als 90 % positive Einschätzungen [11].

CBT in der gewählten Form scheint nach diesen Befunden ein gangbarer Weg zur Wissensvermittlung zu sein. Zur weiteren Evidenz-basierten Entwicklung von E-Learning-Modellen wird es aber notwendig sein, randomisierte Vergleichsuntersuchungen zwischen dem CBT einerseits und alternativen E-Learning-Metho- den andererseits, aber auch gegenüber traditionellen Formaten (Vorlesung, problembasiertes Lernen, Printmedien) durchzuführen.

Unter den E-Learning-Methoden werden vor allem das kollabora- tive Arbeiten im Netz [12], [13], [14] und die Patienten-orientierten Systeme auf der Basis des "goal-based scenarios“ [15], [16] zu berücksichtigen sein. Interessant ist in diesem Zusammenhang die aktuelle Feststellung von Grunwald, dass aufwändige Produktionen nicht unbedingt höhere Lerneffizienz bringen als einfache Lernob- jekte [17].

Schlussfolgerungen

Unsere Ergebnisse weisen darauf hin, dass Computer-based Trai- ning mit differenzierten Rückmeldungen nicht nur zum Drillen von Frames, sondern auch zum Aufbau expliziten Wissens geeignet ist, und dass eine entsprechende subjektive Akzeptanz seitens der Studierenden gegeben ist. Vergleichsstudien hinsichtlich Aufwand und Ergebnissen bei anderen E-Learning-Formaten sind jedoch notwendig, um eine Evidenz-basierte didaktische Weiterentwick- lung gewährleisten zu können.

Danksagung

Frau Pamela Bauer sei für die exakte Aufbereitung des Datenma- terials gedankt.

Korrespondenzadresse:

• Univ.Prof. Dr. Josef Smolle, Medizinische Universität Graz, Institut für Medizinische Informatik, Statistik und Dokumentation, Billrothgasse 18a/7, A-8010 Graz, Österreich, Tel.: +43 316-385-72052, Fax: +43 316-385-72059

josef.smolle@meduni-graz.at

Literatur:

[1] Orwig GW. Creating computer programs for learning. Reston, Virginia: Reston Publishing Company, Inc.; 1983.

[2] Niegemann HM, Hessel S, Hochscheid-Mauel D, Aslanski K, Deimann M, Kreuzberger G. Kompendium e-Learning. Berlin, Heidelberg: Springer; 2004.

[3] Smolle J, Staber R, Jamer E, Reibnegger G. Aufbau eines universitätsweiten Lern- Informationssystems parallel zur Entwicklung innovativer Curricula - zeitliche Entwicklung und Synergieeffekte. In: Tavangarian D, Nölting K, editors. Auf zu neuen Ufern - E-Learning heute und morgen. Münster, New York, München, Berlin:

Waxmann. 2005:217-226.

[4] Smolle J, Staber R, Neges H, Reibnegger G. Computer-based training in dermatooncology - a preliminary report comparing electronic learning programs with face-to-face teaching. J Dtsch Dermatol Ges. 2005;3(11):883-888.

[5] Böcker W, Kleihues P, Höfler HK, Lax S, Poremba C, Moll R. Allgemeine Tumorpathologie. In: Böcker W, Denk H, Heitz PU, editors. Pathologie. München, Jena: Urban & Fischer. 2004:169-218.

[6] Rössler P. Inhaltsanalyse. Konstanz: UVK Verlagsgesellschaft; 2005.

[7] Brosius F. SPSS 8.0. Professionelle Statistik unter Windows. Bonn: MITP-Verlag;

1998.

[8] Musch J. Die Gestaltung von Feedback in computergestützten Lernumgebungen:

Modelle und Befunde. Z Padagog Psychol. 1999;13:148-160.

[9] Cook DA, Thompson WG, Thomas KG, Thomas MR, Pankratz VS. Impact of self-assessment questions and learning styles in web-based learning: a randomized, controlled, cross-over trial. Acad Med. 2006;81(3):231-238.

[10] Schuwirth L, van der Vleuten CP, Donkers HH. A closer look at cueing effects in multiple-choice questions. Med Educ. 1996;30(1):44-49.

[11] Smolle J, Neges H, Staber R, Macher S, Reibnegger G. Virtuelles Eingangssemester im Studium der Humanmedizin. Kontext, Nutzung, Ergebnisse.

In: Seiler Schiedt E, Kälin S, Sengstag C, editors. E-Learning - alltagstaugliche Innovation? Münser, New York, München, Berlin: Waxmann. 2006:287-295.

[12] Balzer E, Mühlpfordt M. Die ALBA-Suite. In: Münzer S, Linder U, editors.

Gemeinsam Online Lernen. Vom Design bis zur Evaluation kooperativer Online-Übungen. Bielefeld: W. Bertelsmann Verlag. 2004:74-90.

[13] Münzer S, Linder U, Hoffmann A, Balzer E. Gemeinsam online Lernen: Das Prozessmodell für Konzeption, Durchführung und Qualitätssicherung. In: Münzer S, Linder U, editors. Gemeinsam Online Lernen. Vom Design bis zur Evaluation kooperativer Online-Übungen. Bielefeld: W. Bertelsmann Verlag 2004:92-223.

[14] Häfele H, Maier-Häfele K. 101 e-le@rning Seminarmethoden. Bonn: Manager Seminare Verlags-GmbH; 2004.

[15] Müller C, Boeker M, Claßen J, Klar R, Lutterbach J. Oncocase - Fallbasiertes Lernen in der Neuroonkologie. GMS Z Med Ausbild. 2006;23(1):Doc07.

[16] Schäfer A, Claßen J. Prometheus - Ein interbasiertes Lernmanagementsystem für die medizinische Aus- und Weiterbildung. GMS Z Med Ausbild.

2006;23(1):Doc03.

[17] Grunwald T, Corsbie-Massay C. Guidelines for cognitively efficient multimedia learning tools: educational strategies, cognitive load, and interface design. Acad Med.

2006;81(3):213-223.

2007;24(2):Doc110.

g2p(G20061212.1)

- 4 / 4 -

GMS Zeitschrift für Medizinische Ausbildung ISSN 1860-3572