Rechnerunterstütztes formatives Prüfen am Beispiel des CAMPUS Lehr- und Lernsystems
Computer-aided formative assessment considering as
example the CAMPUS system for teaching and learning
• Thomas Sütterlin1• Jörn Heid1• Matthias Bauch1• Frank Hess1• Martin Haag1
• Franz-Joseph Leven1
Die ärztliche Approbationsordnung in Deutschland sieht vor, dass medizinische Curricula und Unterrichtsveranstaltungen problemorientiert und fallbasiert zu gestalten sind , was die Notwendigkeit von problemorientierten, fallbasierten Prüfungen zur Folge hat. Die Auswertung von rechnerunterstützten, formativen Prüfungen wird an- hand eines im Rahmen einer Masterarbeit des Studiengangs Informationsmanagement in der Medizin der Universität Heidelberg/Hochschule Heilbronn von einer approbierten Ärztin erstellten Konzeptes vorgestellt und erläutert. Die Kategorisierung medizinischen Handelns spielt bei der Auswertung eine zentrale Rolle, wobei die vorhandenen Ka- tegorien von der Art der Handlung abhängig sind. Darauf aufbauend ist ein Prototyp erstellt worden, der die Umsetzung des Konzepts in Form einer Softwareanwendung für die Bewertung einer CAMPUS Fallbearbeitung demonstrieren soll. Die Eignung dieser Anwendung für formative Prüfungen ist in der Diskussion des Prototyps mit den späteren Anwendern bestätigt worden. Als Ergänzung ist von Anwenderseite vorgeschlagen worden, dem Bewertenden die Möglichkeit zu geben medizinische Handlungen zu kommentieren und damit ein direktes Feedback an den Geprüften zu geben. Zunächst ist der Einsatz des rechnerunterstützten formativen Prüfens als Zulassungsvoraussetzung für Praktika oder ähnliches angedacht, wobei die Praktika- bilität des Systems in diesem Zusammenhang noch evaluiert werden muss.
Due to the “Approbationsordnung für Ärzte“ in Germany, it is mandatory that medical curricula and their courses are designed in a problem-oriented and case-based way . Therefore it is necessary to carry out problem-oriented and case-based assessments.
The evaluation of computer-aided formative assessments is introduced and explained by a concept that was developed in a master theses at Heidelberg and Heilbronn University by an approbated physician . The categorisation of medical actions plays an essential role in this concept. The available categories depend on the type of the medical action. A prototype was developed in order to demonstrate the concept on the basis of the evaluation of a CAMPUS case treatment. The applicability of the
1Universitätsklinikum Heidelberg, Labor Computergestützte Lehr-/Lernsysteme in der Medizin, Heidelberg, Deutschland
Originalarbeit
software for formative assessments was confirmed by the future users. These propo- sed that the user should have the possibility to comment every single medical action in order to give a direct feedback. At first the use of computer-aided formative assess- ment is planned for assessments with a lower level of importance in order to evaluate the usability of the software.
Keywords: medical education, educational technology, e-Learning
Einführung
Seit November 2004 werden an der Medizinischen Fakultät der Universität Heidelberg rechnerunterstützte summative Prüfungen mit der CAMPUS-Prüfungssoft- ware erfolgreich durchgeführt [3]. Das Prüfungsmodell ist an dem von Page und Bordage vorgeschlagenen Ansatz der Keyfeature-Fälle ausgerichtet [4]. Neben den klassischen Multiple-Choice-Fragen wird auch die Verwendung moderner komplexer Fragetypen wie Matrix-, Lückentext-, Longmenu u.a. unterstützt. Das Ziel einer summativen Prüfung ist die Leistung des Geprüften zu bewerten.
Die formative Prüfung hingegen fokussiert die Wissens- vermittlung und wird durch Black und Wiliam wie folgt definiert:
„(…) encompassing all those activities undertaken by teachers, and/or by their students, which provide infor- mation to be used as feedback to modify the teaching and learning activities in which they are engaged”[5]
Aus dieser Definition geht hervor, dass eine formative Prüfung Informationen liefert, die in Form von Feed- back sowohl dem Geprüften als auch dem Prüfer zu Gute kommen und auf beiden Seiten eine Art Lernef- fekt hervorruft. Das Feedback nach einer formativen Prüfung kann einem Studierenden oder einer ganzen Gruppe gegeben werden, wobei bezogen auf den ge- wünschten Wissenserwerb, das direkte Feedback an einzelne Studenten zu bevorzugen ist.
Der Dozent erhält das auf ihn ausgerichtete Feedback durch die formative Prüfung an sich. Das Feedback hilft ihm kollektive und individuelle Schwächen der Studierenden zu erkennen. Das häufige Auftreten einer kollektiven Schwäche kann dazu veranlassen eine Lerneinheit inhaltlich anders zu gestalten. Um ein in- haltlich optimales Feedback geben zu können, müssen die Mittel, mit denen formativ geprüft wird, in der Lage sein die dafür notwendigen Informationen zu liefern [6]. Aktuelle Bestrebungen des Labors für Computer- gestützte Lehr-/Lernsysteme des Universitätsklinikums Heidelberg zielen darauf ab, formative Prüfungen rechnerunterstützt durchzuführen und zu bewerten.
Bestärkt wird dieses Vorhaben durch die ärztliche
Approbationsordnung in Deutschland, die vorsieht, dass medizinische Curricula und Unterrichtsveranstal- tungen problemorientiert und fallbasiert zu gestalten sind [1], was die Notwendigkeit von problemorientier- ten, fallbasierten Prüfungen zur Folge hat. Zur Durch- führung von solchen von der Ausrichtung her eher formativen als summativen Prüfungen bieten sich fallbasierte Computer-based Training Systeme (CBT) an.
Methoden
• 1. Bewertungskonzept
Am Beispiel des Lehr- und Lernsystems CAMPUS ist ein Konzept zur Bewertung von medizinischen Hand- lungen erarbeitet worden [2]. Die bei der Bearbeitung eines klinischen Falls anfallenden atomaren medizini- schen Handlungen werden hierbei zur Bewertung herangezogen, wobei diese Handlungen nicht weiter in Einzelhandlungen untergliedert werden können. Im Wesentlichen werden das Stellen von Anamnesefra- gen, das Verordnen von Therapien bzw. das Durchfüh- ren konkreter technischer, labortechnischer und kör- perlicher Untersuchungen als atomare medizinische Handlung bezeichnet. Auch das Stellen von Diagnosen zählt zu den atomaren medizinischen Handlungen, weil dieser Vorgang als Handlung im kognitiven Sinne gesehen werden kann. Die Kategorisierung medizini- schen Handelns nimmt im Konzept zur rechnerunter- stützten Bewertung einer formativen Prüfung eine zentrale Rolle ein, wobei die vorhandenen Kategorien in Relation zur Art der medizinischen Handlung stehen.
Bei der Anamnese findet beispielsweise eine Einteilung der Anamnesefragen in die Kategorien „indiziert“ und
„nicht relevant“ statt, wobei nur die für eine fokussierte Anamnese notwendigen Fragen in die Kategorie indi- ziert eingeteilt werden. Jeder Kategorie kann vom Prüfer ein Punktwert zugeordnet werden, der zur späteren Bewertung der Fallbearbeitung herangezo- gen wird. Die Einteilung der Diagnosen in die Katego- rien „indiziert“, „Alternativdiagnose“, „Alternativdiagno- se mit geringerer Bewertung“ und „nicht indiziert“ ver- deutlicht, dass auch alternative Lösungsvorschläge im Bewertungskonzept berücksichtigt werden. In die Kategorie „Alternativdiagnose“ sind all jene Diagnosen einzuteilen, die zwar nicht in der Musterlösung vorge- sehen sind, aber als gleichwertiger Lösungsvorschlag
Originalarbeit
betrachtet werden können. Dies kann jedoch dazu führen, dass in der Menge der vom Rechner erkannten alternativen Lösungsvorschläge inhaltliche Äquivalente vorhanden sind, die automatisiert nicht als solche er- kannt werden können. Daher sieht das Bewertungs- konzept im Fall, dass mehrere Lösungen der Kategorie
„Alternativ“ gewählt wurden, eine manuelle Bewertung durch den Bewertenden vor.
• 2. Rechnerbasierte Realisierung des Bewertungskonzepts
Die rechnerbasierte Realisierung des Bewertungskon- zepts lässt sich in folgende Teilbereiche untergliedern:
• 2.1 Aufbau einer Wissensbasis zur Beschleunigung der Bewertung
Schrittweise soll zu einem Fall eine Wissensbasis aufgebaut werden, in der jeder medizinischen Hand- lung eine Kategorie zugeordnet ist, wodurch sich die teilautomatisierte Bewertung einer Fallbearbeitung allmählich einer vollautomatischen Bewertung annä- hert. Auf der Grundlage der vorhandenen Wissensba- sis wird jeder medizinischen Handlung, die für die Bewertung relevant ist, ein Status zugeordnet, wobei die Status „Erkannt“, „Nicht Erkannt“ und „Konflikt“
unterschieden werden.
Ist einer medizinischen Handlung, bezogen auf einen bestimmten Fall, bereits eine Kategorie zugeordnet, so bekommt sie den Status „Erkannt“ zugeordnet. Mit anderen Worten bedeutet „Erkannt“, dass die medizi- nische Handlung schon vor der aktuell zur Bewertung stehenden Fallbearbeitung kategorisiert worden ist und somit ein Eintrag in der fallbezogenen Wissensba- sis vorhanden ist. Dies macht allerdings keine Aussage über die Korrektheit der medizinischen Handlung.
„Nicht Erkannt“ bedeutet hingegen, dass die medizini- sche Handlung bisher noch in keiner der zuvor bewer- teten Fallbearbeitungen zu einem Fall vorhanden ge- wesen ist und aus diesem Grund noch kein Eintrag in der Wissensbasis existiert. Die Zuordnung einer Kate- gorie zu einer nicht erkannten medizinischen Handlung muss manuell durch den Benutzer erfolgen, weshalb nur von einer teilautomatischen Bewertung durch das System gesprochen werden kann. Jedoch vergrößert sich mit jedem Eintrag in der Wissensbasis sukzessive der Anteil der automatisch kategorisierten medizini- schen Handlungen.
Durch die Verwendung von hierarchisch gegliederten Vokabularen, aus denen medizinische Handlungen während einer Fallbearbeitung selektiert werden kön- nen, wird der Aufbau der Wissensbasis beschleunigt, da bei der Kategorisierung einer gestellten Diagnose
oder verordneten Therapie allen medizinischen Handlungen, die der medizinischen Handlung in der Hierarchie des Vokabulars untergeordnet sind, die gleiche Kategorie wie der Übergeordneten zugeteilt wird, sofern für diese nicht schon eine andere Zuord- nung vorgenommen worden ist.
• 2.2 Auflösung von inhaltlichen Konflikten
Manchen medizinischen Handlungen kann die Kate- gorie „Alternativ“ bzw. „Alternativ mit geringerer Bewer- tung“ zugeordnet werden, was bedeutet, dass eine medizinische Handlung als gleichberechtigt bzw. als vermindert gleichberechtigt zu einer vom Fallautor vorgeschlagenen medizinischen Handlung angesehen wird. Für medizinische Handlungen der Kategorie
„Alternativ“ wird die volle Punktzahl, für medizinische Handlungen der Kategorie „Alternativ mit geringerer Bewertung“ eine entsprechend verringerte Punktzahl vergeben.
Ist in einer Menge von medizinischen Handlungen desselben Typs mehr als eine Handlung der Kategorie
„Alternativ“ enthalten, so bekommen alle Elemente dieser Menge, die der Kategorie „Alternativ“ angehö- ren, den Status „Konflikt“ zugeordnet (entsprechendes gilt für die medizinischen Handlungen der Kategorie
„Alternativ mit geringerer Bewertung“). Dieser Status bringt zum Ausdruck, dass die medizinischen Handlun- gen zwar erkannt worden sind, aber dennoch vom System nicht automatisch bewertet werden können, da in der Menge von Alternativlösungen wie zuvor er- wähnt inhaltliche Äquivalente enthalten sein können, die vom System nicht unterschieden werden können.
Alle medizinischen Handlungen eines bestimmten Typs werden zu einer Konfliktmenge zusammenge- fasst. Die Punktevergabe für die medizinischen Handlungen einer Konfliktmenge muss vom Bewerten- den der Fallbearbeitung manuell vorgenommen wer- den, um sicherzustellen, dass für äquivalente Handlun- gen nicht mehrfach Punkte vergeben werden.
Sind alle medizinischen Handlungen einer Fallbearbei- tung kategorisiert und sind keine Konflikte mehr vor- handen, ist die Bewertung abgeschlossen und das Ergebnis kann angezeigt und gespeichert werden.
Durch die oben beschriebene Verwendung einer sich aufbauenden Wissensbasis ist damit zu rechnen, dass nach der Bewertung von einigen Fallbearbeitungen kaum noch medizinische Handlungen nicht erkannt werden und sich somit die Zeit, die für die Bewertung einer einzelnen Fallbearbeitung benötigt wird, signifi- kant verringert.
Originalarbeit
• 2.3 Zuordnung der Wissensbasis
Eine Wissensbasis, welche die Kategorisierung von medizinischen Handlungen enthält, ist nicht nur indivi- duell für jeden Fall, sondern auch für einen Benutzer, der mittels der Anwendung Prüfungen durchführt. Die Verwendung einer Wissensbasis für alle Personen, die einen Fall für eine Prüfung einsetzen, steht im Konflikt mit unterschiedlichen Lehrmeinungen, die in einem Fachgebiet vorhanden sein können. So ist Person A beispielsweise bereit eine medizinische Handlung als Alternativlösung mit voller Punktzahl anzuerkennen, Person B hingegen nicht. Aus diesem Grund ist die Wissensbasis sowohl an den CAMPUS- Fall als auch an einen bestimmten Benutzer des Auto- rensystems gekoppelt.
• 2.4 Fallbearbeitungschronologie und Handlungsgruppen
Als weiterer Bewertungsfaktor neben der Kategorisie- rung der einzelnen medizinischen Handlungen kann die Fallbearbeitungschronologie herangezogen wer- den, welche die Darstellung der genauen Reihenfolge abbildet, in der die medizinischen Handlungen in einer Fallbearbeitung erfolgt sind. Die Fallbearbeitungschro- nologie wird in Form einer Zeitleiste dargestellt, wobei die angezeigten Elemente der Übersichtlichkeit wegen nicht atomaren medizinischen Handlungen, sondern sogenannten Handlungsgruppen entsprechen. Eine Handlungsgruppe ist ein Zusammenschluss von ato- maren medizinischen Handlungen desselben Typs, wobei körperliche, technische und labortechnische Untersuchungen trotz unterschiedlichen Typs zu einer Handlungsgruppe des Typs Untersuchungen bzw.
Kontrolluntersuchungen zusammengefasst werden.
Die einzelnen medizinischen Handlungen einer Handlungsgruppe können auf Wunsch angezeigt werden. Dies ermöglicht die manuelle Beurteilung des medizinischen Vorgehens durch den Fallbewerter.
• 2.5 Generierung von Berichten zu Ermittlung des Feedbacks
Um der zentralen Rolle des Feedbacks bei formativen Prüfungen gerecht zu werden [7], können bezogen auf einen Fall zwei unterschiedliche Berichte generiert werden. Der erste Bericht stellt eine Übersicht zu einer einzelnen Fallbearbeitung dar und richtet sich als di- rektes Feedback an den Fallbearbeiter. Dieses Feed- back wird direkt genannt, weil es sich an einen einzel- nen Fallbearbeiter wendet und sich explizit auf dessen Fallbearbeitung bezieht.
Der zweite Bericht stellt eine Übersicht über die Bear- beitung eines Falls durch ein Fallbearbeitungskollektiv dar. Ein Fallbearbeitungskollektiv repräsentiert die
Menge der Fallbearbeitungen, die zu einem speziellen Fall vorhanden sind.
Die Übersicht über ein Fallbearbeitungskollektiv ermög- licht in Abhängigkeit von der Prüfungssituation ein in- direktes Feedback an einen individuellen Fallbearbei- ter. Indirekt bedeutet in diesem Zusammenhang, dass sich das eigentliche Feedback an das gesamte Kollek- tiv richtet, das einen Fall bearbeitet hat, wobei jeder Fallbearbeiter daraus seinen individuellen Nutzen zieht. Voraussetzung dafür ist folgendes Szenario:
Die formative Prüfung wird im Vorfeld oder während einer Lerneinheit bzw. eines Praktikums abgehalten, wodurch ein Dozent, der die Fallbearbeitungen bewer- tet, einen Überblick über die Stärken und Schwächen der ihm zugeteilten Studierenden bekommt. Die Stu- dierenden treten bezogen auf die Prüfung als Fallbe- arbeitungskollektiv in Erscheinung. Globale Schwä- chen innerhalb eines Kollektivs, beispielsweise das bearbeitungsübergreifende Stellen einer bestimmten falschen Diagnose, können auf zwei plausible Ursa- chen zurückgeführt werden.
Einerseits kann der Prüfungsfall selbst an manchen Stellen noch verbesserungsbedürftig sein. In diesem Fall kann die Fallbearbeitungskollektivübersicht dabei helfen, Verbesserungsmöglichkeiten zu identifizieren.
Andererseits kann die Schwäche auf Verständnis- schwierigkeiten innerhalb einer Gruppe von Studieren- den hinweisen, die durch Wissenslücken zu erklären sind. Diese Ursache ist besonders dann wahrschein- lich, wenn die allgemeine Schwäche bei Fallbearbei- tungskollektiven vorhergehender Prüfungen mit dem- selben Prüfungsfall nicht vorhanden gewesen ist. In diesem Fall kann der Fallbewerter jedem einzelnen Mitglied des Kollektivs ein indirektes Feedback geben, in dem er sich an die gesamte Gruppe wendet und versucht, zur effizienten Schließung der vorhandenen Wissenslücken in seiner Lehrveranstaltung bzw. sei- nem Praktikum beizutragen. Somit kann die Fallbear- beitungskollektivübersicht dabei helfen, sowohl die Qualität des Prüfungsfalls als auch die Qualität einer Lehrveranstaltung zu verbessern.
• 3. Erstellung eines Prototyps
Aufbauend auf dem zuvor beschriebenen Konzept ist ein Prototyp entwickelt worden, der die Grundlage für die Validierung des Konzepts durch die zukünftigen Anwender darstellt. Dieses Vorgehen ist gewählt worden, da durch prototypische Entwicklung noch nicht berücksichtigte Ideen zu Tage gefördert werden kön- nen, die zu diesem Zeitpunkt der Entwicklung noch ohne großen Aufwand eingeflochten werden können [8].
Originalarbeit
Abbildung 1: Darstellung einer CAMPUS Fallbearbeitung Abbildung 1 zeigt die Darstellung einer Fallbearbei-
tung, wobei diese sowohl hierarchisch (1) als auch chronologisch (3) präsentiert wird. Die hierarchische Darstellung ermöglicht dabei den gezielten Zugriff auf einzelne medizinische Handlungen. Die chronologi- sche Darstellung ist wie zuvor erwähnt einer Zeitleiste nachempfunden, auf der die medizinischen Handlun- gen zu Handlungsgruppen zusammengefasst ange- zeigt werden. Die in einer Handlungsgruppe enthalten medizinischen Handlungen werden nach Auswahl derselben aus der Zeitleiste in tabellarischer Form angezeigt. Die Details zu einer medizinischen Hand- lung werden nach deren Auswahl aus der hierarchi- schen Darstellung oder der tabellarischen Auflistung angezeigt. Diese umfassen eine Beschreibung der medizinischen Handlung, den Zeitpunkt des Handelns innerhalb einer Fallbearbeitung, die Dauer der Hand- lung, der zugeordnete Status bzw. die zugeordnete Kategorie und die für die Handlung vergebene Punkt- zahl.
• 4. Evaluierung des Prototyps
Die wichtigsten Ergebnisse der Diskussion des Proto- typs und des dahinter stehenden Konzepts mit den späteren Anwendern sind zum einen, dass die im Konzept vorgesehenen Kategorien, die zur Kategori- sierung einer medizinischen Handlung zur Verfügung stehen, bei Bedarf nutzerabhängig individualisiert
werden können. Zum anderen soll die Möglichkeit geschaffen werden eine einzelne medizinische Hand- lung oder eine ganze Handlungsgruppe mit einem Freitextkommentar zu versehen. Diese Kommentare sollen in der Übersicht zu einer einzelnen Fallbearbei- tung erscheinen, um ein intensiveres direktes Feed- back zu ermöglichen. Des Weiteren sollen bei massi- ven Abweichungen innerhalb eines Fallbearbeitungs- kollektivs von der Musterlösung des Fallautors War- nungen ausgegeben werden, die die Ermittlung des indirekten Feedbacks erleichtern.
Ergebnisse
Auf der Grundlage eines durch eine Ärztin erarbeiteten Bewertungskonzepts für eine Fallbearbeitung ist die rechnerbasierte Umsetzung und Erweiterung dessel- ben entwickelt worden. Auf dieser Grundlage ist ein Prototyp entstanden, mit dessen Hilfe die Anforderun- gen an die Anwendung, die den Einsatz des CAMPUS Classic-Players für rechnerbasierte formative Prüfun- gen ermöglichen soll, zusammen mit den zukünftigen Anwendern validiert worden ist. Daran anschließend ist mit der Realisierung der Software begonnen wor- den, die durch diese Anforderungen definiert wird.
Aktuell ist die detaillierte Darstellung einer Fallbearbei- tung realisiert, die eine manuelle Bewertung einer Fallbearbeitung ermöglicht. Des Weiteren kann ein Schnellbericht generiert werden, mit dem zeiteffizient
Originalarbeit
überprüft werden kann, ob Pflichtfallbearbeitungen tatsächlich durchgeführt worden sind. In diesem Be- richt wird zu einer Fallbearbeitung die Anzahl zeitlicher Inplausibilitäten angezeigt. Eine zeitliche Inplausibilität entsteht, wenn die Dauer einer medizinischen Hand- lung oder einer Handlungsgruppe statistisch signifikant von der allgemeinen Dauer im Prüfungskollektiv ab- weicht. Eine Häufung von zeitlichen Inplausibilitäten ist ein starkes Indiz für einen Betrugsversuch und soll dazu veranlassen die Fallbearbeitung manuell zu überprüfen.
Diskussion
Zunächst ist der Einsatz des rechnerunterstützten formativen Prüfens mit Hilfe des zuvor beschriebenen Systems als Zulassungsvoraussetzung für Praktika oder ähnliches angedacht, wobei die Praktikabilität des Systems in diesem Zusammenhang noch evaluiert werden muss. Bisher mangelt es noch an Metriken zur qualitativen Bewertung medizinischen Handelns, die auf den Rechner übertragen werden können. Ob- wohl ein erster Schritt in die Ermittlung solcher Metri- ken getan ist, sind formative Prüfungen, denen eine größere Bedeutung als die zuvor beschriebene zu- kommt, noch nicht denkbar. Des Weiteren hängt die Qualität einer formativen Prüfung in maßgeblich von der Bereitschaft ab, Feedback zu geben und dafür Zeit aufzuwenden. Das konzipierte System kann lediglich die Zeit für die Ermittlung des notwendigen Feedbacks reduzieren und einen Beitrag zur Akzeptanz der forma- tiven Prüfungsform leisten.
Korrespondenzadresse:
• Thomas Sütterlin, Labor Computergestützte Lehr-/Lernsysteme in der Medizin, Universitätsklinikum Heidelberg, Hygiene-Institut, Im Neuenheimer Feld 324, 69120 Heidelberg
suetterlin@medicase.de
Literatur:
[1] Heid J, Bauch M, Brass K, Haag M, Jünger J, Leven FJ.
Erfahrungen bei Entwicklung und Einsatz eines
Prüfungsplayers für computerunterstütztes, sicheres Prüfen.
In: Klar et al. (Hrsg.). Tagungsband zur 50. Jahrestagung der gmds, 12.-15.September 2005 in Freiburg. S. 62-4.
[2] Waldner R. Rechnerunterstützte Prüfungen mit einem simulativen computergestützten Lehr- und Lernsystem in der medizinischen Aus- und Fortbildung: Bewertungskriterien für eine Fallbearbeitung [Masterarbeit]. Universität
Heidelberg, Fachhochschule Heilbronn, Studiengang Informationsmanagement in der Medizin; 2004.
[3] Ärztliche Approbationsordnung. Bundesgesetzblatt.
2002;Teil 1 Nr. 44.
[4] Page G, Bordage G, Allen T. Developing Key-Feature Problems and Examinations to Assess Clinical
Decisionmaking Skills. Acad Med. 1995;70:194-201.
[5] Black P, Wiliam D. Assessment and classroom learning.
Assessment in Education. 1998;5:7-75.
[6] Hattie J. Jaeger R. Assessment and classroom learning:
a deductive approach. Assessment in Education.
1998;5:111-22.
[7] Rushton A. Formative Assessment: a key to deep learning? Med Teach. 2005;06:509-13.
[8] Haux R, Lagemann A, Knaup P, Schmücker P, Winter A. Management von Informationssystemen: Analyse, Bewertung, Auswahl, Bereitstellung und Einführung von Informationssystemkomponenten am Beispiel von
Krankenhausinformationssystemen. Stuttgart: Teubner Vlg;
1998.
Originalarbeit
