Tierärztliche Hochschule Hannover
Untersuchungen zu kompetenzorientierten Prüfungen an der Stiftung Tierärztliche Hochschule
INAUGURAL-DISSERTATION zur Erlangung des Grades eines
Doktors der Veterinärmedizin - Doctor medicinae veterinariae -
(Dr. med. vet.)
Vorgelegt von Felix Ehrich Bad Langensalza
Hannover 2019
Klinik für Kleintiere
Vizepräsidentin für Lehre
Stiftung Tierärztliche Hochschule Hannover 2. Professor Dr. med. vet. Jan P. Ehlers
Lehrstuhl für Didaktik und Bildungsforschung im Gesundheitswesen
Fakultät für Gesundheit Universität Witten/Herdecke Weitere Fachwissenschaftlerin als Mitglied der Betreuungsgruppe:
Frau Dr. med. vet. Elisabeth Schaper Zentrum für E-Learning, Didaktik und
Ausbildungsforschung, E-Learning-Beratung Stiftung Tierärztliche Hochschule Hannover
1. Gutachterin: Professorin Dr. med. vet. Andrea Tipold 2. Gutachterin/Gutachter: Professorin Dr. med. vet. Christiane Pfarrer
Tag der mündlichen Prüfung: 06.11.2019
Meiner Frau.
“Students can escape bad teaching, but they can’t escape bad assessment”
(David Boud, 1995)
Ehrich, F., A. Tipold, J.P. Ehlers, E. Schaper
Untersuchung zu kompetenzorientierten Prüfungen - Prüfungsvorbereitung von Studierenden im Tiermedizinstudium
Competence-based assessment – preparation of veterinary students for assessment Tierärztliche Praxis Kleintiere, Schattauer 2019 (in Begutachtung)
Auszüge aus dieser Arbeit wurden als Kongressbeiträge vorgestellt:
Ehrich, F., A. Tipold, E. Schaper
Investigations on competence based assessment at the University of Veterinary Medicine Hannover
31st General Assembly of the European Association of Establishments for Veterinary Education 2018 (Hannover)
Ehrich, F., A. Tipold, E. Schaper
Investigations on competence assessment at the University of Veterinary Medicine Hannover
32nd General Assembly of the European Association of Establishments for Veterinary Education 2019 (Zagreb)
Ehrich, F., A. Tipold, E. Schaper
Maßnahmen zur Qualitätssicherung und Weiterentwicklung von (E)-Prüfungen in der Tiermedizin
E-Prüfungs-Symposium
13. und 14. September 2018 | RWTH Aachen
1. Einleitung ... 1
2. Literaturübersicht ... 3
2.1 Der Kompetenzbegriff und seine Anwendung ...
3
2.2 Kompetenzorientierung in der Tiermedizin ...
9
2.3 Prüfungsformate an der TiHo ...
15
3. Material und Methode ... 18
4. Manuskript: Untersuchung zu kompetenzorientierten Prüfungen ... 20
5. Ergebnisse ... 55
5.1 Weitere hochschulspezifische, nicht publizierte Ergebnisse der Studierendenumfrage ...
55
5.2 Befragung von Dozierenden zum Thema Prüfungen ...
58
5.3 Befragung der Dozierenden bezüglich der „day one competences“ der EAEVE ...
69
6. Übergreifende Diskussion ... 86
7. Zusammenfassung ... 94
8. Summary ... 96
9. Literaturverzeichnis ... 98
10. Anhang... 108
11. Danksagungen ... 147
TAppV Verordnung zur Approbation von Tierärztinnen und Tierärzten TiHo Stiftung Tierärztliche Hochschule Hannover, University of
Veterinary Medicine in Hannover, Foundation
EAEVE European Association of Establishments for Veterinary Education ECCVT European Coordination Committee for Veterinary Training
BMG Bundesministerium für Gesundheit
BMJV Bundesministerium der Justiz und für Verbraucherschutz OIE World Organisation for Animal Health
RCVS Royal College of Veterinary Surgeons KFQ Key Feature-Question
OSLER Objective Structured Long Examination Record MiniCEX Mini-Clinical Evaluation Exercise
OSPE/OSCE Objective Structured Practical/Clinical Examination EPA Entrustable Professional Activity
UTCVM University of Tennessee College of Veterinary Medicine MCQ Multiple-Choice-Question
EMQ Extended-Matching Question CSL Clinical Skills Lab
1
1. Einleitung
Tierärztinnen und Tierärzte, die an der Stiftung Tierärztliche Hochschule Hannover (TiHo) graduieren, müssen zum Ende ihres Studiums über die sogenannten „day one competences“ (EAEVE 2016) verfügen. Diese Liste umfasst 48 definierte Ersttagskompetenzen, die im Laufe des Studiums vermittelt werden müssen. Der Kompetenzbegriff wird im „manual of standard operation procedures“des European System of Evaluation of Veterinary Training (ESEVT) folgendermaßen definiert:
„Competence is a concept that integrates knowledge, skills and attitudes. Competence requires acquisition of technical skills but further involves applying relevant knowledge, and having the confidence and ability to transfer what has been learnt to a variety of contexts.“ (EAEVE 2016). Übersetzt bedeutet dies: „Kompetenz ist ein Konzept, das Wissen, Fähigkeiten und Einstellungen integriert. Kompetenz erfordert den Erwerb von technischen Fähigkeiten, beinhaltet aber auch die Anwendung relevanter Kenntnisse und das Vertrauen in die jeweiligen Fähigkeiten, um Gelerntes in einer Vielzahl von Kontexten anzuwenden.“ Die „day one competences“ werden als das Minimum angesehen, welches Absolvierende beherrschen sollten, um in einer Vielzahl tierärztlicher Berufe einzusteigen. Infolge dessen sollten Absolvierende, die die „day one competences“ erreicht haben, in der Lage sein, Aufgaben und Pflichten des Veterinärberufs selbstständig zu erfüllen und selbstbewusst auf der Ebene der Primärversorgung zu praktizieren. Um zu gewährleisten, dass Studierende die genannten Kompetenzen zum Ende des Studiums der Veterinärmedizin erreichen können, sollten sowohl Lehrveranstaltungen als auch Prüfungen kompetenzorientiert gestaltet werden.
Mit der vorliegenden Dissertation, die in der E-Learning-Beratung der TiHo angefertigt wurde, wird ein Überblick über bestehende Prüfungsformate in der Tiermedizin und eine kritische Auseinandersetzung mit selbigen hinsichtlich ihrer Eignung, Kompetenzen zu überprüfen, vorgenommen.
Des Weiteren wird untersucht, wie Studierende der TiHo Ihre eigene Prüfungsvorbereitung auf bestimmte Prüfungsformate subjektiv einschätzen und welche Anforderungen Prüferinnen und Prüfer der TiHo an Prüfungen haben. Darüber hinaus sollte ermittelt werden, ob alle von der EAEVE geforderten Ersttagskompetenzen in Prüfungen an der TiHo berücksichtigt werden.
2 Folgende Hypothesen sollten überprüft werden:
1. Lernstrategien Studierender sind abhängig vom Prüfungsformat.
2. Die Vorbereitungszeit Studierender ist abhängig vom Prüfungsformat.
3. Studierende bewerten Prüfungsformate hinsichtlich der Berufsrelevanz unterschiedlich.
4. An der TiHo werden alle von der EAEVE geforderten „day one competences“
geprüft.
5. Die Dozierenden sind mit den gängigen Prüfungsformaten an der TiHo zufrieden.
6. Die Dozierenden erwarten in mündlichen Prüfungen höhere Kognitionslevel als in schriftlichen und elektronischen Prüfungen.
3
2. Literaturübersicht
2.1 Der Kompetenzbegriff und seine Anwendung
Der Begriff der Kompetenz, laut DUDEN (2006) definiert als Sachverstand, Fähigkeit, wird in der Pädagogik abhängig von Kontext und Perspektive unterschiedlich definiert.
ROTH (1971) setzt Mündigkeit mit Kompetenzen gleich und schreibt: „Mündigkeit, wie sie von uns verstanden wird, ist als Kompetenz zu interpretieren, und zwar in einem dreifachen Sinne: Selbstkompetenz, das heißt, als Fähigkeit, für sich selbstverantwortlich handeln zu können, als Sachkompetenz, das heißt die Fähigkeit, für Sachbereiche urteils- und handlungsfähig und damit zuständig sein zu können und als Sozialkompetenz, das heißt als Fähigkeit, für sozial, gesellschaftlich und politisch relevante Sach- oder Sozialbereiche urteils- und handlungsfähig und also ebenfalls zuständig sein zu können“. WEINERT (1999) definiert indes den Kompetenzbegriff wie folgt: „…die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“. KLIEME et al. (2007) beziehen auch den Begriff der Mündigkeit ein, Kompetenzen sind Dispositionen, die im Verlauf von Bildungs- und Erziehungsprozessen erworben werden und die Bewältigung von unterschiedlichen Aufgaben oder Situationen ermöglichen. Sie umfassen Wissen und kognitive Fähigkeiten, Komponenten der Selbstregulation und sozial-kommunikative Fähigkeiten wie auch motivationale Orientierungen. Ziel der Vermittlung von Kompetenzen ist die Befähigung zu selbstständigem und selbstverantwortlichem Handeln und damit zur Mündigkeit (KLIEME et al. 2007).
Der Begriff der Kompetenz wird auch für die Berufswelt verwendet, hier liegt ein weiterer Fokus in der Entwicklung berufsrelevanter Handlungskompetenzen. Diese lassen sich nach NERDINGER et al. (2019) demnach in vier große Bereiche einteilen bzw. strukturieren:
• Fachkompetenz: zu diesem Kompetenzbereich zählen spezifische Kenntnisse und Fertigkeiten, die zur Bewältigung beruflicher Aufgaben und Problemsituationen benötigt werden.
4
• Methodenkompetenz: hierunter werden situationsübergreifend einsetzbare kognitive und metakognitive Fähigkeiten (z. B. zur Problemlösung, Entscheidungsfindung oder zum selbstorganisierten Lernen) verstanden, die zur selbstständigen Bewältigung neuartiger Aufgaben gefordert sind.
• Sozialkompetenz: darunter werden kooperative und kommunikative Fertigkeiten verstanden, die zur Zielerfüllung in sozialen Interaktionssituationen eingesetzt werden, verstanden.
• Personale- oder Selbstkompetenz: beinhaltet die Aspekte der motivationalen sowie emotionalen Steuerung des beruflichen Handelns. Beeinflusst wird sie durch persönliche Einstellungen, Werterhaltungsansichten und Motiven (NERDINGER et al.
2019).
Auch die Stiftung Akkreditierungsrat, eine gemeinsame Einrichtung der Länder für die Qualitätssicherung in Studium und Lehre an deutschen Hochschulen, greift den Kompetenzbegriff auf: In den Kriterien für die Akkreditierung von Studiengängen heißt es „Das Studiengangskonzept umfasst die Vermittlung von Fachwissen und fachübergreifendem Wissen sowie von fachlichen, methodischen und generischen Kompetenzen.“ (STIFTUNG AKKREDITIERUNGSRAT 2013). Hochschulen müssen konkrete und plausible Qualifikationsziele festlegen, deren Erreichung in wissens- und kompetenzorientierten Prüfungen festgestellt wird (STIFTUNG AKKREDITIERUNGSRAT 2013).
Die Grundlage einer kompetenzorientierten Prüfung stellt eine kompetenzorientierte Vermittlung von Lerninhalten dar (SCHAPER 2013). Bei der Planung von Lehrveranstaltungen wird oftmals die von BIGGS u. TANG (2011) etablierte Methode des Constructive Alignments angewandt. Zunächst werden Lernziele und Kompetenzen formuliert, die Studierende nach dem Absolvieren eines Moduls erreicht haben sollen. Die Lehrmethoden werden auf die Vermittlung derselben gezielt ausgerichtet. Zuletzt müssen Prüfungsmethoden gefunden werden, die das Erreichen der Lernziele und Kompetenzen attestieren (BIGGS u. TANG 2011). Um die Ausmaße und Dimensionen von zu erlernenden Kompetenzen zu visualisieren, wird oftmals die Bloom‘sche Taxonomie herangezogen, eine sechsstufige Taxonomie der Lernziele der kognitiven Lehr- und Lernbereiche (BLOOM 1956), siehe Abbildung 1. Durch den relativ hohen Abstraktionsgrad besitzt diese Gliederung den Vorteil gleichermaßen für
5
alle Fachgebiete gültig sein zu können (BAUMGARTNER 2011). ANDERSON und KRATHWOHL (2001) erweiterten diese eindimensionale Art der Einteilung durch die Entwicklung einer zweidimensionalen Darstellung, die aus einer Wissensdimension sowie einer kognitiven Prozessdimension besteht, siehe Abbildung 2.
Abb. 1: Blooms Taxonomie der Lernziele (BLOOM 1956)
Abb. 2: Taxonomie-Tabelle nach ANDERSON und KRATHWOHL (2001)
6
Lernziele können in dieser Matrix jeweiligen Taxonomiefeldern zugeordnet werden, in dem das jeweilige Lernziel in Satzform formuliert und der kognitive Prozess (Verb) dabei auf ein Themenfeld bezogen wird (BAUMGARTNER 2011).
Ein ausformuliertes (kognitives) Lernziel umfasst nach MAGER (1965) die drei Komponenten Endverhalten, Bedingung und Maßstab (Abbildung 3).
Abb. 3: Komponenten eines (kognitiven) Lernziels nach MAGER (1965)
Die verwendeten Verben geben Aufschluss über das Niveau beziehungsweise die Taxonomiestufe, welche angesprochen wird (VELICA 2010). Verben wie „nennen“,
„wiedergeben“, „erläutern“ und „beschreiben“ lassen sich auf die Prozessdimensionen Erinnern und Verstehen anwenden. Die Anwendungsdimension kommt bei der Verwendung von Verben wie „ableiten“, „einteilen“, „unterscheiden“ und „übertragen“
zu tragen. Höhere Dimensionen werden bei der Lernzielformulierung mit Verben wie
„kombinieren“, „begründen“, „interpretieren“ und „erzeugen“ erreicht (VELICA 2010).
Eine Übertragung auf das Prüfungswesen hat MILLER (1990) durch eine vierstufige Pyramide vorgenommen, um einen Rahmen für die Bewertung klinisch-praktischer Fertigkeiten vorzugeben. Abbildung 4 zeigt eine Modifikation der Wissenspyramide nach Miller durch Zuordnung verschiedener Prüfungsformate (KOPP et. al 2006).
7
Abb. 4: Millers Pyramide modifiziert nach KOPP et al. (2006) (MiniCEX: Mini Clinical Evaluation Exercise; OSCE: Objective Structured Clinical Examinations; MC: Multiple Choice)
Prüfungen und ihre Gütekriterien
Prüfungen können unterschieden werden in formative und summative Prüfungen (KREBS 2019). Formative Prüfungen geben Studierenden eine Rückmeldung über ihren aktuellen Lernstand, ohne dabei Auswirkungen, auf das Fortkommen im Studium zu haben. Formatives Prüfen verfolgt das Ziel lernunterstützend zu wirken und sollte möglichst kontinuierlich erfolgen (KREBS 2019). Summative Prüfungen fassen den Lernerfolg am Ende eines Kurses zusammen und stellen eine Leistungskontrolle dar, die mit einer Benotung oder Bewertung einhergeht (BAILLIE et al. 2014). Bedingt beispielsweise durch die Selektion, Qualifikation (Bestehen oder Nichtbestehen) oder Differenzierung, die im Rahmen einer summativen Prüfung stattfinden, haben summative Prüfungen weitreichende Konsequenzen für den weiteren (beruflichen) Verlauf (KREBS 2019).
Die Güte einer Prüfung lässt sich anhand verschiedener Kriterien bestimmen, wichtige drei sind Objektivität, Reliabilität und Validität (FABRY 2008).
Objektivität: objektive Prüfungen liegen dann vor, wenn verschiedene Personen (Prüfende), unabhängig voneinander zu gleichen Ergebnissen kommen (FABRY 2008). Die Objektivität lässt sich weiterhin in
(1) Durchführungsobjektivität, die prüfende Person beeinflusst die Prüflinge nicht durch persönliche Vorstellungen und Ziele
8
(2) Auswertungsobjektivität, bei der Auswertung der Ergebnisse gibt es keine Freiheitsgrade
(3) Interpretationsobjektivität, gleiche Ergebnisse führen zu gleichen Schlussfolgerungen, einteilen (HIMME 2009).
Reliabilität: Sie drückt die Zuverlässigkeit einer Messung aus (KREBS 2019). Die gegebene Bewertung, meist in Form von Noten, drückt in ihrer Ausprägung aus, was tatsächlich an Leistungsfähigkeit vorhanden ist (ROLOFF 2012). Die Reliabilität teilt sich in die Äquivalenzreliabilität, zwei stark vergleichbare Prüfungen in einem Fachbereich führen bei gleichen Studierenden innerhalb kleiner Abweichungen zu gleichen Noten und die Stabilitätsreliabilität, die gleiche Prüfung führt innerhalb kleiner Abweichungen zu gleichen Ergebnissen (ROLOFF 2012).
Validität: Darunter versteht man die Gültigkeit einer Prüfung (KREBS 2019). Wenn eine Prüfung inhaltlich valide ist, attestiert sie die Kenntnisse des Studierenden der für diese Prüfung gegebenen Themenfelder. Die Prüfung misst also das, was sie zu messen vorgibt (FABRY 2008). Die Validität einer Prüfung wurde bisher auf verschiedene Weise beschrieben: Die Kriteriumsvalidität oder auch empirische Validität wird dadurch erhoben, dass das Ergebnis eines Tests mit anderen Kriterien verglichen wird. Ein populäres Beispiel hierfür ist der Vergleich der Abiturnote mit den Leistungen im Studium (FABRY 2008). Von Konstruktvalidität wird gesprochen, wenn eine Prüfung das ihm zugrundeliegende „Konstrukt“ (beispielweise die Überprüfung einer klinischen Fähigkeit) präzise widerspiegelt (FABRY 2008). KREBS (2019) spricht nur von der Konstruktvalidität, die multidimensional und komplex ist und bezieht sich auf die Arbeiten von MESSICK (1989, 1995).
Diese Gütekriterien beeinflussen sich gegenseitig. Es wird angenommen, dass eine Prüfung, die nicht objektiv ist, auch nicht reliabel und valide sein kann. Zur Verdeutlichung der Zusammenhänge zwischen Reliabilität und Validität kann Abb. 5 herangezogen werden.
9
Abb. 5: Zusammenhänge zwischen Reliabilität und Validität nach (GAREIS et al. 2015)
Ist eine Prüfung valide und reliabel, misst sie zuverlässig das, was sie zu messen vorgibt. Ist eine Prüfung reliabel, aber nicht valide, misst sie zuverlässig aber falsch.
Ist eine Prüfung weder valide noch reliabel, sind die Ergebnisse weit gestreut und nicht vorhersehbar (GAREIS et al. 2015).
2.2 Kompetenzorientierung in der Tiermedizin
Der Begriff der Kompetenzorientierung ist seit der Bologna-Reform der Bachelor- und Masterstudiengänge ein fester Bestandteil der Hochschullehre (HRK 2007). Dabei wird das Ziel verfolgt, Hochschulabsolvierende zu befähigen, wissenschaftlich zu denken und zu arbeiten (SCHAPER 2012). Im Hochschulrahmengesetz (HRG) zeigt sich dieses Ziel im § 2 (1). „Die Hochschulen… bereiten auf berufliche Tätigkeiten vor, die die Anwendung wissenschaftlicher Erkenntnisse und wissenschaftlicher Methoden…
erfordern.“ (BMJV 2017).
Eine Umsetzung dieser Vorgaben erfolgt auch im Studium der Veterinärmedizin: Die Vorbereitung auf den tierärztlichen Beruf und die damit verbundene Kompetenzorientierung spiegelt sich in verschiedenen Kompetenzkatalogen der veterinärmedizinischen Bildungsstätten und internationalen veterinärmedizinischen Vereinigungen wider. Eine Auswahl stellen die Kataloge der EAEVE, genehmigt durch das European Coordination Committee for Veterinary Training (ECCVT) (EAEVE
10
2016), der World Organisation for Animal Health (OIE) (OIE 2012) sowie des Royal College of Veterinary Surgeons (RCVS) (RCVS 2014) dar.
European Coordination Committee for Veterinary Training (ECCVT) - Day One Competences
Zuletzt wurde die Liste der „day one competences“ im Mai 2019 in Zagreb durch die Generalversammlung der EAEVE genehmigt (EAEVE 2019). Die Auflistung erfolgt im Annex 2 der „standard operating procedures“ beziehungsweise als offen verfügbares Dokument auf der Internetseite der EAEVE. Diese Kompetenzen bilden den minimalen Standard, den Absolvierende der Tiermedizin zum Ende ihres Studiums erreicht haben sollen (ECCVT 2019). Im Vorwort des Dokuments wird der verwendete Kompetenzbegriff erklärt, welche EU-Richtlinien als Grundlage für die „day one competences“ dienen. Weiterhin werden zunächst 36 Kompetenzen genannt, die von praktischer Natur sind, beispielsweise, das Erkennen und Behandeln von Schmerzen, darauffolgend werden 12 wissensorientierte Kompetenzen erwähnt, die sich mit Basiswissen bezüglich der naturwissenschaftlichen Fächer sowie der gesetzlichen Gegebenheiten beschäftigen (ECCVT 2019).
Die Liste der 48 „day one competences“ befindet sich in originaler Sprache im Anhang.
OIE recommendations on the Competencies of graduating veterinarians
Die World Organisation for Animal Health (OIE) bezieht sich in ihrem Kompetenzkatalog nicht auf alle Absolvierenden der Tiermedizin, sondern explizit auf Tierärztinnen und Tierärzte, die im öffentlichen Veterinärwesen tätig sind. (OIE 2012).
Verschiedene Begriffe in Relation zu Kompetenzen werden wie folgt definiert:
Wissen: kognitive Fähigkeiten, mentale Fähigkeiten
Fähigkeiten: Befähigung, bestimmte Aufgaben auszuführen Einstellung: affektive Fähigkeiten, Gefühle und Emotionen
Eignung: die natürliche Fähigkeit, das Talent oder die Lernfähigkeit Studierender Grundkompetenzen: bezeichnen die Mindestanforderungen an Wissen, Fähigkeiten, Einstellungen und Eignung für einen Tierarzt, der von einer Veterinärbehörde
11
zugelassen wird. Dies umfasst allgemeine Kompetenzen sowie spezifische Kompetenzen, die in direktem Zusammenhang mit dem OIE-Mandat stehen.
Grundlegende, allgemeine Kompetenzen: Grundlegende Naturwissenschaften, die in der Regel früh im Lernplan unterrichtet werden. Sie sind die Voraussetzung für die klinische Ausbildung, welche die erforderlichen Kompetenzen zur Diagnose, Behandlung und Vorbeugung von Tierkrankheiten vermitteln, sowie Wissen um Tierproduktion, Gesundheitsmanagement und Wirtschaftlichkeit der kommerziellen Tierhaltung.
Fortgeschrittene Kompetenzen: Entsprechen dem Minimum an Kenntnissen, Fähigkeiten, Einstellungen und Eignungen, welche erforderlich sind, um innerhalb einer Veterinärbehörde zu arbeiten (OIE 2012).
In diesem spezifischen Kompetenzkatalog wird besonders auf diejenigen Kompetenzen hingewiesen, die im Zusammenhang mit der Gesunderhaltung der Öffentlichkeit im Rahmen des „One Health“ Konzeptes stehen. Besondere Aufmerksamkeit liegt auf der Prävention, Erkennung und Behandlung von Zoonosen, der Lebensmittelhygiene, Tierschutz und Ethik sowie der Veterinärverwaltung auf verschiedenen Ebenen (OIE 2012).
Kompetenzkatalog des Royal College of Veterinary Surgeons (RCVS)
Das RCVS ist seit 1966 unter anderem für die Ausbildung der Tiermedizinstudierenden in England verantwortlich (UK PARLIAMENT1966). In den „RCVS day one competences“ erfolgt Beschreibung des Kompetenzbegriffs ähnlich dem im Annex 2 im „manual of standard operating procedures“ der ESEVT (EAEVE 2019) und wird erweitert durch folgenden Passus: „Die Fähigkeit, Rollen und Aufgaben, die für den (tierärztlichen) Beruf erforderlich sind, gemäß dem erwarteten Standard auszuführen."
(ERAUT u. DU BOULAY 2000). Kompetenz wird nicht als statischer Begriff gesehen, mehr als eine sich mit zunehmender Erfahrung wandelnde Stufe an Expertise (RCVS 2014). Des Weiteren wird unterschieden zwischen Kompetenzen und Fähigkeiten.
Beispielsweise stellt das korrekte Durchführen aseptischer Operationen eine Kompetenz dar, die viele zu erlernende Fähigkeiten beinhaltet (RCVS 2014). Die Liste der „day one competences“ umfasst insgesamt 37 detailliert beschriebene Punkte
12
(RCVS 2014). In Gänze finden diese sich auch in den Dokumenten der EAEVE wider (EAEVE 2019). Als markanter Unterschied ist anzumerken, dass als erste Kompetenz im Katalog des RCVS eine Vertrautheit und Akzeptanz des Verhaltenskodex gefordert wird. Als Erweiterung wurde durch das RCVS ein „year one competences“ Katalog herausgegeben, welcher die Güte der erworbenen Kompetenzen nach einem Jahr nach der Absolvierung des Studiums katalogisiert (RCVS 2014). Die eingangs erwähnten Kompetenzen bleiben gleich, die Anforderungen an die erwarteten Fähigkeiten steigen.
Unabhängig von individuellen Kompetenzkatalogen gelten die eingangs bereits erwähnten Vorgaben der EAEVE europaweit an allen entsprechend akkreditierten Hochschulen. Auf nationaler Ebene wird in Deutschland das Studium der Tiermedizin durch die Verordnung zur Approbation von Tierärztinnen und Tierärzten (TAppV) von 2016 geregelt (BMG 2016). Die TAppV fasst die Ziele der Ausbildung von Tierärztinnen und Tierärzten in §1 wie folgt zusammen:
(1) Ziel der Ausbildung sind wissenschaftlich und praktisch ausgebildete Tierärztinnen oder Tierärzte, die zur eigenverantwortlichen und selbständigen tierärztlichen Berufsausübung im Sinne des § 1 der Bundes-Tierärzteordnung, zur Weiterbildung und zu ständiger Fortbildung befähigt sind. Es sollen:
1. die grundlegenden veterinärmedizinischen, naturwissenschaftlichen, fächerübergreifenden und methodischen Kenntnisse,
2. praktische Fertigkeiten,
3. geistige und ethische Grundlagen und die dem Wohle von Mensch, Tier und Umwelt verpflichtete berufliche Einstellung vermittelt werden, derer es bedarf, den tierärztlichen Beruf in seiner gesamten Breite verantwortlich unter besonderer Berücksichtigung der Qualitätssicherung auszuüben (BMG 2016).
Eine Kompetenzorientierung im Studium der Veterinärmedizin erfolgt nicht nur durch übergeordnete Kompetenzkataloge, sondern auch durch fokussierte (modul-/
kursbezogene) Maßnahmen. VARNUM et al. (2019) beschreiben die Entwicklung eines kompetenzorientierten Curriculums für die Ausbildung im Bereich der Pferdemedizin an der Colorado State University. Durch die Befragung von Alumni wurden elf Kernkompetenzen identifiziert, welche in der (Pferde-)Praxis wöchentlich oder monatlich angewandt werden. Diese teilen sich in kleinere „Subkompetenzen“
13
(VARNUM et al. 2019). Ehemalige Studierende sollten anhand eines Fragebogens einschätzen, wie gut sie sich auf die identifizierten Kompetenzen und den damit einhergehenden Tätigkeiten im Beruf vorbereitet fühlen. In den Bereichen Ökonomie und Chirurgie wurde festgestellt, dass sich über die Hälfte der Befragten sehr unvorbereitet oder moderat unvorbereitet fühlen (VARNUM et al. 2019). Durch die Identifizierung dieser „Lücken“ können Anpassungen vorgenommen werden, welche durch spätere Evaluierung erneut überprüft werden (VARNUM et al. 2019).
BERGSMANN et al. (2015) haben ein Konzept für die Evaluation eines kompetenzbasierten Curriculums entwickelt. Um ein Curriculum hinsichtlich seiner Kompetenzorientierung zu prüfen, wird ein Kompetenz-Check als Evaluationsinstrument eingesetzt, diese Erhebung erfolgt unter anderem mittels Fragebögen zur Selbsteinschätzung, welche sowohl an Studierende, als auch an Dozierende vermittelt werden. Die Ergebnisse dieser Selbsteinschätzung werden mit den realen Ergebnissen in Prüfungen verglichen, um potentielle Lücken zu identifizieren. Werden Lücken identifiziert, werden sowohl die Seite der Studierenden als auch die Ansichten der Dozierenden in Form von Fokusgruppeninterviews gehört.
Mit den gewonnenen Erkenntnissen wird das Curriculum erneut angepasst (BERGSMANN 2015). Mit dem Kompetenz-Check wird geprüft, ob Studierende über die im Kompetenzmodell festgelegten Kompetenzen verfügen und ob festgelegte Kompetenzen im Curriculum vermittelt werden (PREUSCHE et al. 2017).
Im Rahmen einer zweistufigen Delphi-Studie in Utrecht wurde ein Kompetenzrahmen mit sieben Kompetenzdomänen für den tierärztlichen Beruf identifiziert (BOK et al.
2011). Der „VetPro“ Kompetenzrahmen beinhaltet als Domänen, die tierärztliche Expertise (veterinary expertise), Kommunikation (communication), Kollaboration (collaboration), Gründertum (entrepreneurship), Gesundheit und Wohlbefinden (health and welfare), lebenslanges Lernen (scholarship) und persönliche Entwicklung (personal development); für jede der gefundenen Domänen wurden ein bis zwei Kompetenzen zugeordnet, die ein Tierarzt / eine Tierärztin beherrschen sollte (BOK et al. 2011). Inspiriert wurde diese Studie unter anderem durch die Etablierung der
„CanMEDS“: durch das Royal College of Physicians and Surgeons of Canada (RCPSC) wurden die verschiedenen Rollen eines (Human)Arztes definiert (FRANK 2005). Laut des RCPSC muss ein Arzt sieben Rollen ausfüllen und zwar die des medizinischen Experten (Medical Expert), des Kommunikators (Communicator), des
14
Teamarbeiters (Collaborator), des Managers (Manager), des Gesundheitsfürsprechers (Health Advocate), des lebenslang Lehrenden und Lernenden (Scholar) und des professionellen Arztes (Professional) (FRANK 2005).
Ein weiterer Schritt Richtung Kompetenzorientierung ist der Einsatz von „entrustable professional activities“ (EPA). Als EPA wird ein in sich geschlossener klinischer Arbeitsablauf bezeichnet, der im Verlauf der Ausbildung schrittweise den Weiterzubildenden zur selbstständigen, alleinigen Durchführung anvertraut wird (BRECKWOLDT 2018). Bei der Implementierung von EPAs in das Curriculum müssen vier Gesichtspunkte beachtet werden:
Welche Arbeit/Aktivität soll erledigt werden?
Welche Voraussetzungen müssen die Studierenden haben, bevor sie diese Arbeit erledigen können?
Wie können bei Studierenden diese Voraussetzungen geschaffen werden?
Wie kann das erfolgreiche Erreichen der Voraussetzung attestiert werden? (TEN CATE 2015).
EPAs sollen in einer festgelegten Zeit ausführbar, beobachtbar und messbar sein. Eine EPA setzt sich aus mehreren Kompetenzen zusammen und vermittelt bei der Überprüfung einen ganzheitlichen Eindruck des Könnens des Studierenden (TEN CATE 2015). Typischerweise werden EPAs durch eine Gruppe Experten in der Art identifiziert, dass ein Arbeitstag oder eine Arbeitswoche daraufhin begutachtet wird, welche Aufgaben und Aktivitäten als EPA dienen können (TEN CATE 2015). EPAs werden in humanmedizinischen Prä- und Postgraduiertenausbildung bereits genutzt (CARRACCIO 2017, CAVERZAGIE 2015, ENGLANDER et al. 2016). In der veterinärmedizinischen Ausbildung wurden für die Rindermedizin EPAs identifiziert (DUJIN 2019). Nach der Durchführung einer zweistufigen Delphi-Studie konnten sieben distinktive EPAs gefunden werden, die sich in je zwei bis neun Sub-EPAs untergliedern lassen. Neben der Ermittlung dieser Aktivitäten wurde auch festgelegt bis zu welchem Grad der Selbstständigkeit diese durchgeführt werden sollen (DUJIN 2019). Beispielsweise sollten Absolventen und Absolventinnen in der Lage sein, kleinere Operationen unter indirekter Aufsicht (Aufsichtsperson in der Nähe, jedoch nicht an der Aktivität beteiligt) durchzuführen. Tätigkeiten wie geburtshilfliche Maßnahmen sollen ohne Aufsicht durchgeführt werden können (DUJIN 2019). Für
15
Großtiermedizin (Rinder und Pferde) wurde an der University of Tennessee College of Veterinary Medicine (UTCVM) ein „Intern Boot Camp“ eingeführt, ein intensives viertätiges Training auf Grundlage der Verwendung von acht Kern-EPAs, welches vor Beginn des Internships für Großtiermedizin durchgeführt wird (GRAVES et. al 2019).
Eines der Ziele war es allen Interns eine gleiche Wissensbasis zu vermitteln (GRAVES et. al 2019). 95% der Teilnehmenden des „Intern Boot Camps“ fühlten sich besser auf das Internship vorbereitet und alle Teilnehmenden empfahlen dieses Programm für zukünftige Interns (GRAVES et. al 2019). Auch in Österreich werden EPAs in der klinischen Ausbildung bei Studierenden der Veterinärmedizin eingesetzt (PREUSCHE et al. 2018).
Neben dem Erreichen von „day one competences“ hat das Konzept der „Employability“
in den letzten Jahren in der Ausbildungsforschung besondere Beachtung gefunden.
Im Rahmen des durch die australische Regierung geförderten VetSet2Go Projektes (2015-2018) wird die „Arbeitsmarktfähikgeit“ wie folgt definiert: „Eine Reihe von anpassungsfähigen persönlichen und beruflichen Fähigkeiten, die es einem Tierarzt ermöglichen, eine Beschäftigung zu finden, diese aufrechtzuerhalten, einen wichtigen Beitrag zum (tierärztlichen) Beruf zu leisten und die Karriere so zu gestalten, das Zufriedenheit und Erfolg sichergestellt sind.“ (CAKE 2018). Laut CAKE (2018) birgt ein Fokus auf „Employability“ die Chance moderne Herausforderungen in der tiermedizinischen Ausbildung und im Beruf zu meistern. Eingangs wird auch klargestellt, dass eine Lehre mit Fokus auf „Employability“ die moderne kompetenzbasierte Vermittlung von Wissen nicht ersetzen, sondern diese komplementär unterstützen soll (CAKE 2018, BELL 2018). In vergangenen Untersuchungen konnte gezeigt werden, dass Arbeitgeber im tiermedizinischen Bereich mehr Wert auf interpersonelle Fähigkeiten legen, als auf gute Abschlussnoten (HEATH u. MILLS 2000).
2.3 Prüfungsformate an der TiHo
Die Forderungen der TAppV werden durch die Prüfungsordnungen der Hochschulen umgesetzt. An der TiHo gilt die PRüfungsordnung mit der letzten Aktualisierung in 2018. Unter § 3 heißt es: „Die im Studiengang Tiermedizin durchzuführenden Prüfungen stellen sicher, dass nachzuweisende Kenntnisse, Fertigkeiten und Fähigkeiten der Studierenden den Anforderungen der TAppV entsprechen.“ (TIHO
16
2018) An der TiHo erlaubte Prüfungen sind schriftliche Prüfungen, Multiple Choice Prüfungen, mündliche und praktische Prüfungen. Eine Kombination verschiedener Prüfungsformen (schriftlich, Multiple Choice, mündlich, praktisch) ist entsprechend § 10 TAppV möglich (TIHO 2018). Schriftliche, sowie Multiple Choice Prüfungen können sowohl traditionell in Papierform als auch elektronisch durchgeführt werden (SCHAPER 2011). Die Durchführung schriftlicher Prüfungen als elektronische Prüfungen stellt an der TiHo den Standard dar (TIHO 2018). In Tabelle 1 sind die gängigen Prüfungsverfahren der TiHo aufgelistet.
Tabelle 1.: Prüfungsverfahren an der Stiftung Tierärztliche Hochschule Hannover laut Prüfungsordnung (TIHO 2018)
Schriftliche Prüfung Kurzantwortverfahren Langtextverfahren Elektronische Prüfung Typ-A Verfahren
Kprim Verfahren Bildanalysefragen
Key-Feature-Fragen (KFQ)1 Mündliche Prüfung Structured Oral Exam (SOE)
Praktische Prüfung Objective Structured Long Examination Record (OSLER)2
Clinical Evaluation Exercise (MiniCEX)3 Objective Structured Clinical/Practical Examination (OSCE/OSPE)
1 Ein Fragenkomplex aus drei aufeinanderfolgenden Fragen thematisiert in der Regel einen
(klinischen) Patientenfall. Die entscheidenden und wichtigsten Stellen bei der Bewertung eines klinischen Falles werden herausgefiltert (SCHAPER 2011). Durch die Fokussierung auf wesentliche Teile eines Patientenfalles ist es in der Prüfung möglich, mehrere Patientenfälle abzufragen, um so einen Eindruck über ein breites Feld des Wissens zu gewinnen (SCHAPER 2011). Der Einsatz von Key Features erhöht die Validität einer Prüfung (KREBS 2019).
2 OSLER: Die Studierenden führen eine Anamneseaufnahme und klinische Untersuchung bei einem
Patienten durch. Des Weiteren werden praktische Aufgaben im Zusammenhang mit diesem Patienten vorgeführt. Hier kann die Gänze der erworbenen Kenntnisse, Fertigkeiten und Fähigkeiten bewertet werden
3 MiniCEX: Hier werden die kommunikativen Aspekte der klinischen Untersuchung näher betrachtet.
Besonderer Fokus liegt bei der Anamneseerhebung, der klinischen Untersuchung, das Aufklären der Besitzer sowie die Urteilsfähigkeit, Organisation und Effizienz und professionelles Auftreten.
17
OSCEs setzen sich aus einer Reihe von nacheinander zu absolvierenden Stationen zusammen. Bei dieser Form der Prüfung fungieren prüfende Personen als Beobachter, während der Prüfling eine oder mehrere (klinische) Fähigkeiten vorführt (HARDEN 1979). Die vorgeführten Fähigkeiten werden anhand von Checklisten bewertet (BAILLIE et al. 2014). OSCEs werden an der TiHo bis zum jetzigen Zeitpunkt in formativen Prüfungen im Rahmen des praktischen Jahres eingesetzt (ENGELSKIRCHEN 2017).
Mit den gängigen Prüfungs- und Fragenformaten werden an der TiHo Voraussetzungen geschaffen, Wissensniveaus und Kompetenzen zu prüfen.
Gleichzeitig erfolgt eine kritische Auseinandersetzung mit der kompetenzbasierten Lehre nicht nur im Rahmen dieser Studie, sondern auch durch RÖSCH et al. (2014).
Mit der Einführung weiterer Formate wie Key Feature-Fragen (SCHAPER 2011, 2013) und OSCE-Prüfungen (ENGELSKIRCHEN 2017, KOPKE 2014) erfolgt eine kontinuierliche Weiterentwicklung des Prüfungswesens.
18
3. Material und Methode
Um die derzeitige Prüfungssituation sowohl von Seiten der Prüfenden, als auch von Seiten der Studierenden einschätzen zu können, wurden insgesamt drei Fragebögen erstellt und in LimeSurvey® (LimeSurvey GmbH, Hamburg, Deutschland) zur Beantwortung zur Verfügung gestellt. Zwei Fragebögen richteten sich an prüfungsberechtigte Dozierende der TiHo; insgesamt hatten zum Zeitpunkt der Befragungen 130 Dozierende der TiHo die Berechtigung zu prüfen4. Ein weiterer Fragebogen richtete sich an die Studierenden des aktuellen Sommersemesters 2018, diese befanden sich in den Semestern zwei, vier, sechs, acht und zehn.
Umfrage zur Häufigkeit der geprüften Kompetenzen – Prüfende
Diese Umfrage für die Prüfenden der TiHo hatte das Ziel zu ermitteln, welche der von der EAEVE geforderten „day one competences“ (EAEVE 2016) in den Prüfungen im vorklinischen und klinischen Abschnitt des Studiums abgefragt werden. Die teilnehmenden Dozierenden sollten auf einer 5 Punkte Likert-Skala bewerten, wie häufig sie jede Kompetenz prüfen:
(1) Ich prüfe diese Kompetenz immer ab.
(2) Ich prüfe diese Kompetenz manchmal ab.
(3) Ich bin unentschieden, ob ich diese Kompetenz abprüfe.
(4) Ich prüfe diese Kompetenz selten ab.
(5) Ich prüfe diese Kompetenz nie ab.
Die Formulierungen der „day one competences“ wurden im englischen Original, sowie in einer übersetzten deutschen Fassung präsentiert. Der Teilnahme-Link wurde zur online-Umfrage in LimeSurvey® per E-Mail an die Leitungen der Institute und Kliniken der Universität versendet, zur eigenen Teilnahme und Weiterreichung an die Prüfberechtigten. Des Weiteren stand es den Prüfenden frei, den Fragebogen in Papierform auszufüllen, dieser wurde anschließend anonymisiert in das online-System eingespeist. Die Umfrage fand von Oktober 2017 bis zum Januar 2018 statt.
4 Laut persönlicher Mitteilung von Herrn Karl-Heinz Windt, Dezernat Studentische und Akademische Angelegenheiten, Stiftung Tierärztliche Hochschule Hannover, Hannover im April 2017
19 Umfrage zu Prüfungen an der TiHo – Prüfende
Neben der Abfrage der „day one competences“ wurde gleichzeitig ein weiterer online- Fragebogen in LimeSurvey® per E-Mail an die Prüfenden der TiHo gesendet. In diesem sollten sie unter anderem angeben, was sie von einer zu prüfenden Person, in den an der TiHo gebräuchlichen Prüfungsformaten, in Anlehnung an die Kognitionspyramide von Anderson und Krathwohl (ANDERSON u. KRATHWOHL 2001) erwarten. Des Weiteren sollten die Prüfenden angeben, wie sie zu erwartende Kompetenzen prüfen. Schlussendlich sollten Empfehlungen bezüglich der einzelnen Prüfungsformate für zukünftig Prüfende gegeben werden. Die Umfrage fand ebenfalls von Oktober 2017 bis zum Januar 2018 statt.
Umfrage zum Thema Lernen und Prüfungen an der TiHo – Studierende
Um das Thema Prüfungen an der TiHo umfassend zu beleuchten, wurden auch die Studierenden befragt. Im April 2018 wurde über die E-Mail-Verteiler der Semester der Link zum online-Fragebogen in LimeSurvey® mit der Bitte zur Teilnahme versandt, diese Aufforderung erreichte ca. 1.500 Studierende der TiHo. Der Fragebogen behandelte das Thema Prüfungsvorbereitung und individuelle Ansichten zu den einzelnen Prüfungsformaten. Die Teilnehmenden sollten angeben, wieviel Zeit sie für die Prüfungsvorbereitung anwenden, welche Materialien sie zum Lernen nutzen und wo und unter welchen Bedingungen dies stattfindet. Des Weiteren sollten sie einschätzen, wie stressig sie die jeweiligen Prüfungsformate empfinden und ob sie sich ein bestimmtes Prüfungsformat wünschten, welches ihrer Meinung nach mehr angewandt werden sollte. In einem Freitextfeld hatten die Teilnehmenden die Möglichkeit, Verbesserungswünsche bezüglich aller Prüfungsformate zu äußeren. Die Umfrage fand von Anfang April 2018 bis Ende Juni 2018 statt.
Die erhaltenen Daten wurden anonym bearbeitet und analysiert. Sie wurden mit dem Tabellenkalkulationsprogramm Microsoft® Office Excel 2010 (Microsoft Corporation, California, USA) aufgenommen und in diesem ausgewertet. Für die statistischen Auswertungen wurde das Programm SAS Enterprise Guide Version 7.15 (SAS Institute Inc. Cary NC, USA) verwendet.
20
4. Manuskript: Untersuchung zu kompetenzorientierten Prüfungen
Prüfungsvorbereitung von Studierenden im Tiermedizinstudium
Manuskript, eingereicht in Tierärztliche Praxis
Titel:
Untersuchung zu kompetenzorientierten Prüfungen - Prüfungsvorbereitung von Studierenden im Tiermedizinstudium
Autoren:
• Felix Ehrich
Zentrum für E-Learning, Didaktik und Ausbildungsforschung (ZELDA), Stiftung Tierärztliche Hochschule Hannover, Hannover, Deutschland
• Andrea Tipold
Klinik für Kleintiere, Stiftung Tierärztliche Hochschule Hannover, Hannover, Deutschland
• Jan P. Ehlers
Lehrstuhl für Didaktik und Bildungsforschung im Gesundheitswesen, Fakultät für Gesundheit, Universität Witten/Herdecke, Witten, Deutschland
• Elisabeth Schaper
Zentrum für E-Learning, Didaktik und Ausbildungsforschung (ZELDA), Stiftung Tierärztliche Hochschule Hannover, Hannover, Deutschland
Korrespondenzautor:
Felix Ehrich
Stiftung Tierärztliche Hochschule Hannover
Zentrum für E-Learning, Didaktik und Ausbildungsforschung (ZELDA) Bünteweg 2
30559 Hannover Tel: +49511 953 8059
E-Mail: felix.ehrich@tiho-hannover.de
21 Zusammenfassung
Gegenstand und Ziel: Im Rahmen einer Studie zur Kompetenzorientierung in Prüfungen wurde an der Stiftung Tierärztliche Hochschule Hannover eine Befragung der Studierenden zur Prüfungsvorbereitung und zu den Prüfungsformaten vorgenommen. Das Ziel dieser Studie ist die Bewertung der eingesetzten Prüfungsformate und die Intensität und Art der Vorbereitung auf diese zu erfassen, um aus den gewonnenen Daten die Weiterentwicklung von Prüfungsformaten umsetzen zu können.
Material und Methoden: Die Datenerhebung erfolgte mithilfe eines online- Fragebogens, der mit LimeSurvey® (LimeSurvey GmbH, Hamburg, Deutschland) erstellt wurde und an alle Studierende der Tiermedizin der Tierärztlichen Hochschule Hannover versendet wurde. Dieser beinhaltete 29 Fragen und 3 Folgefragen.
Ergebnisse: Bei der Befragung der Studierenden wurden insgesamt 215 Fragebögen vollständig ausgefüllt und für die Bewertung herangezogen. Es konnte gezeigt werden, dass die Dauer der Prüfungsvorbereitung vom Prüfungsformat abhängig ist. So bereiten sich Studierende deutlich länger auf eine mündliche Prüfung als auf eine schriftlich-elektronische Prüfung vor. Die Prüfungsinhalte mündlicher Prüfungen erscheinen den Studierenden „berufsrelevant“. Elektronische Prüfungen hingegen werden von den Teilnehmenden als „gerechter“ und weniger belastend empfunden.
30,23% der Befragten gaben an unter Prüfungsangst zu leiden.
Schlussfolgerung: Aus den gewonnenen Erkenntnissen können neue Handlungsempfehlungen zur Erstellung von Lehr-/Lernmaterialien abgeleitet werden.
Das erhobene Meinungsbild der Studierenden bietet einen aktuellen Einblick in die Wahrnehmung von Prüfungen. Dies kann als wertvoller Beitrag zur Optimierung von Prüfungsszenarien in der tiermedizinischen Ausbildung dienen. Gleichzeitig stellen sie einen Beitrag für das hochschulweite Qualitätsmanagement im Prüfungswesen dar.
Schlüsselwörter:
Prüfungsformate, Lehre, Ausbildungsforschung, E-Prüfungen
22
Title: Competence-based assessment – preparation of veterinary students for assessment
Summary
Objective: As part of a study on competence based assessment, students of the University of Veterinary Medicine Hannover, Foundation, were asked to fill in an online questionnaire regarding exam preparation and common examination formats. The aim of this study is to get an appraisal of students of different exam formats and the intensity and nature of the preparation for assessment to further improve and develop assessment formats.
Participants, Material and Methods: Data was collected using an online questionnaire developed in LimeSurvey® (LimeSurvey GmbH, Hamburg, Germany) which was sent to students via e-mail. The questionnaire included 29 questions and 3 follow up questions.
Results: A total of 215 questionnaires were completed and used for the evaluation. It could be shown that the duration of the exam preparation depends on the exam format.
Students prepare for an oral exam longer than for a written/electronic exams. The contents for assessments of oral examinations appear "relevant for the job”. Electronic exams, on the other hand, are perceived by participants as "fair" and less stressful.
30.23% of respondents indicated they were suffering from test anxiety.
Conclusion: Based on these findings, new recommendations for the development of teaching/learning materials can be derived. The collected opinions of students provide an up-to-date insight into the perception of assessment, which can serve as a valuable contribution to the optimization of examination scenarios in veterinary education. In addition, such surveys make a contribution to university-wide quality management of examination systems.
Keywords: examination formats, teaching, educational research, e-exams
23 1 Einleitung
Prüfungen messen Wissen, Fertigkeiten und Kompetenzen zu einem bestimmten Zeitpunkt, sie erlauben einen Rückschluss auf das Lernergebnis der zu Prüfenden (34). In der Verordnung zur Approbation von Tierärztinnen und Tierärzten heißt es: „In der Prüfung ist zu ermitteln, ob die Studierenden sich die Kenntnisse und Fertigkeiten angeeignet haben, die sie für die Fortführung des Studiums und für die Ausübung des tierärztlichen Berufs benötigen. Die Prüfung soll sich auch darauf erstrecken, ob die Studierenden die in vorangegangenen Prüfungsabschnitten nachgewiesenen Grundkenntnisse theoretisch und praktisch anzuwenden verstehen und ob sie die gebräuchlichen Fachausdrücke beherrschen.“ (4).
Diese Vorgabe spiegelt sich in den zugelassenen Prüfungsformaten wider. So wird in der veterinärmedizinischen Lehre schriftlich, auch schriftlich-elektronisch, praktisch und mündlich geprüft (4). Mischformen der Formate sind ebenfalls gestattet, um eine optimale Umsetzung zu gewährleisten. Die Hochschulen und Fakultäten legen eine Individualisierung in einer eigenen Prüfungsordnung nach §16 des Hochschulrahmengesetzes nieder (5).
Prüfungen sollen eine Aussage darüber treffen, ob und in welcher Ausprägung die Studierenden über bestimmte Kompetenzen (Kenntnisse, Fähigkeiten) verfügen. Eine Prüfung kann dabei nur stichprobenhaft diese Eigenschaften überprüfen, um von diesem kleinen Teil dann auf eine Generalisierung zu schließen (13). Um diese Generalisierung zu rechtfertigen, müssen formale Anforderungen an Prüfungen erfüllt sein, man spricht auch von Prüfungsgüte beziehungsweise Prüfungsgütekriterien (13).
Zum einen muss eine Prüfung objektiv sein, dies bedeutet, dass eine Prüfung, inklusive Durchführung und Auswertung, möglichst unabhängig von der prüfenden Person sein muss (13). Zum anderen muss eine Prüfung reliabel, also zuverlässig sein, das heißt, eine Prüfung muss genau die zu prüfenden Merkmale messen und somit möglichst frei von zufälligen Einflüssen sein (13). Darüber hinaus muss eine Prüfung valide sein, die Ergebnisse der Prüfung sollen mit den zu überprüfenden Kompetenzen übereinstimmen (34) Man unterscheidet zwischen verschiedenen Arten der Validität. Kriteriumsvalidität wird erfasst, indem ein Testergebnis mit einem anderen Kriterium verglichen wird. Ein beliebtes Beispiel ist die Abiturnote in Bezug auf die Eignung für ein Studienfach (13). Von Konstruktvalidität wird gesprochen, wenn
24
eine Prüfung eine Thematik oder ein Szenario präzise abbildet. Dies kann durch vergleichbare Prüfungsszenarien überprüft werden (13). Inhaltsvalidität identifiziert, ob die attestierte Fähigkeit mit den gegebenen Lernzielen übereinstimmt (34).
Eine Attestierung von Kompetenzen gewinnt zunehmend einen höheren Stellenwert (20). Im Studium der Tiermedizin im europäischen Raum gelten als Standard die sogenannten day one competences (12). Sie bilden ein Kompetenzraster ab, das jede/r Absolvierende erfüllen muss. Das Einführen kompetenzorientierter Fragenformate wie das Key Feature-Format in E-Prüfungen (33), bei dem Fälle auf ihre Schlüsselfragen reduziert werden und das Durchführen von OSCEs (Objective structured clinical examination), bei denen Studierende einen Parcours mit mehreren Stationen zu praktischen Fertigkeiten absolvieren müssen (10), tragen zu einer immer stärkeren Orientierung auf diese day one competences im Prüfungswesen bei.
Prüfenden stellt sich die Herausforderung das passende Prüfungsformat für ihre Lehrveranstaltung zu identifizieren. Lehrveranstaltungen sollten nach dem Prinzip des Constructive Alignments (2) konzipiert werden. Als erster Schritt werden hier Lernziele und Kompetenzen formuliert, die Studierende nach dem Absolvieren eines Moduls erreicht haben müssen. Die Lehrmethoden werden auf eine Vermittlung dieser ausgerichtet. Zuletzt müssen Prüfungsmethoden gefunden werden, die das Erreichen der Lernziele und Kompetenzen attestieren (2).
Demgegenüber steht der Umgang der Studierenden mit den von Dozierenden gewählten Prüfungsformaten.
Mit der vorliegenden Studie sollte untersucht werden, wie sich Studierende an der Stiftung Tierärztliche Hochschule Hannover (TiHo) auf die verschiedenen Prüfungsformate vorbereiten und wie ihre subjektive Einschätzung dieser Formate ist.
Mit dieser Studie sollten folgende Hypothesen untersucht werden:
Lernstrategien sind abhängig vom Prüfungsformat
Die Vorbereitungszeit ist abhängig vom Prüfungsformat
Studierende bewerten Prüfungsformate hinsichtlich der Berufsrelevanz unterschiedlich
25 2 Material und Methoden
Um die derzeitige Prüfungssituation aus der Perspektive der Studierenden einschätzen zu können, wurden die Studierenden mittels eines online-Fragebogens zu den Themenfeldern Lernen und Prüfungen befragt. Der Fragebogen wurde in LimeSurvey® (LimeSurvey GmbH, Hamburg, Deutschland) erstellt; der Link zum Fragebogen wurde im April 2018 über die E-Mail-Verteiler der Semester versandt und wiederholt als Erinnerung, ebenfalls per E-Mail, in den Monaten Mai und Juni. Der Fragebogen richtete sich an alle Studierenden des Sommersemesters 2018, diese befanden sich in den Semestern zwei, vier, sechs, acht und zehn.
Der Fragebogen behandelte die Themen Prüfungsvorbereitung und Prüfungsformate.
Die Teilnehmenden sollten angeben, wie viel Zeit sie für die Prüfungsvorbereitung anwenden, welche Materialien sie zum Lernen nutzen und wo und unter welchen Bedingungen dies stattfindet. Des Weiteren sollten sie eine subjektive Einschätzung zu den jeweiligen Prüfungsformaten vornehmen und die eingesetzten Prüfungsformate bewerten. In einem Freitextfeld hatten die Teilnehmenden die Möglichkeit, Verbesserungsvorschläge bezüglich aller Prüfungsformate zu äußern.
Die Umfrage fand von Anfang April 2018 bis Ende Juni 2018 statt.
Die Daten wurden mit dem Tabellenkalkulationsprogramm Microsoft® Office Excel 2010 (Microsoft Corporation, California, USA) aufgenommen und in diesem ausgewertet. Für die statistische Auswertung wurde das Programm SAS Enterprise Guide Version 7.15 (SAS Institute Inc. Cary NC, USA) verwendet.
Datenschutz
Vor Durchführung wurde das gesamte Projekt vom Datenschutzbeauftragten der TiHo genehmigt. Alle Teilnehmenden stimmten in der Umfrage zunächst dem Umgang mit ihren Daten gemäß der EU-Verordnung 2016/679 (Datenschutz-Grundverordnung) zu.
Alle erhobenen Daten wurden entsprechend anonymisiert ausgewertet und verarbeitet.
26 3 Ergebnisse
Online-Befragung von Studierenden zu den Themen Lernen und Prüfungen In einem dreimonatigen Zeitraum haben an der online-Umfrage insgesamt 301 Studierende teilgenommen. 215 Fragebögen wurden komplett ausgefüllt, diese wurden für die folgenden Auswertungen herangezogen. Zum Zeitpunkt der Umfrage waren 1365 Studierende für den Studiengang Veterinärmedizin an der TiHo eingeschrieben, dies ergibt eine Rücklaufquote von 22,05%. Um die Zusammensetzung der Stichprobe zu erfassen, wurden demografische Abfragen gemacht; darüber hinaus wurden die Studierenden näher zu ihren nächsten Prüfungen befragt und ob Ihnen die Themen der letzten Prüfung bewusst waren; die Ergebnisse sind in (Tab. 1) aufgezeigt.
Tab. 1: Ergebnisse der online-Befragung von Studierenden. Allgemeine, demografische Daten, Angaben zur nächsten Prüfung und zur Bekanntheit des Prüfungsthemas, (n=215). © F. Ehrich.
Table 1: Results of the online survey of students. General demographic data, information on next examination and awareness of the subject of the examination (n = 215). © F. Ehrich.
Teilnehmende
Weiblich 183 (85,12%)
Männlich 30 (13.95%)
Keine Angabe 1 (0,43%)
Alter
18-22 111 (51,63%)
23-27 72 (33,49%)
28-32 23 (12,09%)
33-37 3 (1,40%)
38-42 1 (0,47%)
48-52 1 (0,47%)
Studienjahr
1 41 (19,07%)
2 47 (21,86%)
3 50 (23,26%)
27
Die Frage, ob sie, unabhängig vom Prüfungsformat, an Prüfungsangst leiden würden, bejahten 65 (30,23%) Teilnehmende der Studie, die restlichen 150 (67,77%) verneinten. Um die Form der Vorbereitung der Studierenden auf Prüfungen zu ermitteln, wurden verschiedene Fragen zum Lernverhalten gestellt, die Ergebnisse sind in (Tab. 2) dargestellt, während in (Abb. 1) aufgezeigt wird, wie viele Stunden pro Tag für die Prüfungsvorbereitung eingeplant werden.
4 32 (14,88%)
5 20 (9,30%)
6 25 (11,63%)
Studierende mit Nebenbeschäftigung 124 (57,67%)
Nächstes Prüfungformat
Mündliche Prüfung 86 (40,00%)
Elektronische Prüfung 73 (33,95%)
Praktische Prüfung 19 (8,84%)
Schriftliche Prüfung 11 (5,12%)
Sonstiges (z. B. letzte Prüfung abgeschlossen, Testat, Kombination)
25 (11,63%)
Zeitpunkt der nächsten Prüfung
In wenigen Tagen 38 (17,67%)
In ca. einer Woche 7 (3,26%)
In wenigen Wochen 45 (20,93%)
In ca. einem Monat 32 (14,88%)
In wenigen Monaten 66 (30,70%)
Sonstiges (z.B. Studium beendet, mehr als 5 Monate zur nächsten Prüfung)
25 (11,63%)
Keine Antwort 2 (0,93%)
Waren Ihnen vor der letzten Prüfung die geforderten Prüfungsthemen klar?
Ja 92 (42,79%)
Meistens ja 92 (42,79%)
Meistens nein 25 (11,63%)
Nein 6 (2,79%)
28
Tab. 2: Ergebnisse der online-Befragung von Studierenden. Angaben zur Lernplanerstellung und -erfüllung, über die beste Tageszeit zum Lernen, zum effektivem Lernen, zu den
genutzten mobilen Endgeräten und zur Prokrastination, also dem Aufschieben von anstehenden Aufgaben und Tätigkeiten, (n=215, * Mehrfachnennungen möglich). © F.
Ehrich.
Table 2: Results of the online survey of students. Information of learning strategy, best time of day for learning, effective learning, mobile devices usage and procrastination, i.e.
postponement of upcoming tasks and activities, (n = 215). © F. Ehrich.
Erstellung eines Lernplans Haben Sie das Gefühl effektiv zu lernen?
„Ja, immer“ 39 (18,14%) Ja, immer 6 (2,79%)
„Ja, meistens“. 88 (40,93%) Ja, meistens 151 (70,23%)
„Meistens nicht“ 62 (28,84%) Meistens nicht 47 (21,86%)
„Nie“ 26 (12,09%) Nein, nie 0 (0,00%)
weiß nicht 11 (5,12%)
Folgefrage zu „ja“/“Meistens ja“
(Erstellung eines Lehrplans): Einhaltung des Lernplans
Zum Lernen genutzte mobile Endgeräte/Computer*
Ja, immer 7 (3,26%) Smartphone 127 (59,07%)
Ja, meistens 84 (39,07%) Notebook 105 (48,84%)
Meistens nicht 33 (15,35%) PC/Mac 103 (47,91%)
Nie 3 (1,40%) Tablet 79 (36,74%)
keine 3 (1,40%)
Beste Tageszeit zum Lernen Wie oft „drücken“ Sie sich vor dem Lernen?
Morgens 38 (17,67%) Häufig 76 (35,35%)
Vormittags 74 (34,42%) Manchmal 100 (46,51%)
In der Mittagszeit 1 (0,47%) Selten 35 (16,28%)
Nachmittags 28 (13,02%) Nie 2 (0,93%)
Abends 47 (21,86%) Keine Antwort 2 (0,93%)
In der Nacht 15 (6,98%)
Sonstiges
(tagesformabhängig, unterschiedlich)
12 (5,58%)
29
Ein Großteil der Studierenden bereitet sich zu Hause auf Prüfungen vor, weniger in den hochschuleigenen Räumlichkeiten (Abb. 2). Auf die Frage, ob sich die Studierenden weitere Räumlichkeiten an der TiHo wünschen, in denen sie lernen können, antworteten 118 (54,88%) mit „Ja“, 96 (44,65%) mit „Nein“ und eine Person (0,47%) gab keine Antwort. Die 118 Teilnehmenden, die sich mehr Räume an der TiHo zum Lernen wünschen, sollten im Anschluss aus vorgegebenen Antworten in einer Mehrfachauswahl angeben, wie diese Räumlichkeiten aussehen und wie sie ausgestattet sein sollten (Abb. 3). Neben den vorgegebenen Antworten konnten in einem Freitextfeld weitere Spezifikationen eingegeben werden. 8 Studierende (6,78%) nahmen diese Gelegenheit war. Erwähnt wurde hier zusätzlich, dass Vorhandensein von Snack/Getränkeautomaten (2= 1,69%), lange Nutzungszeiten auch am Wochenende und abends (2=1,69%), eine gewisse Abschottung von außen, gute Raumluft, Einzelräume und ein Außenbereich zum Lernen (je 1= 0,85%).
In Abhängigkeit vom Prüfungsformat sollte die Dauer der Vorbereitungszeit ermittelt werden. (Abb. 4) zeigt auf, wann die Befragten mit der Vorbereitung auf ein bestimmtes Prüfungsformat (mündlich, mündlich-praktisch, schriftlich, elektronisch) beginnen.
Lerntechniken zur Prüfungsvorbereitung
In den (Abb. 5-8) wird dargestellt, wie die Studierenden prüfungsformatabhängig angeben, welche Lerntechniken sie zur Prüfungsvorbereitung anwenden. Zu diesem Zweck wurden Aussagen gestellt, welche die Teilnehmenden mit einer vierstufigen Skala (trifft zu, trifft eher zu, trifft eher nicht zu, trifft nicht zu) bewerten sollten. Wenn eine bestimmte Prüfungsform noch nicht absolviert wurde, sollten die Antworten unausgefüllt bleiben.
Im Durchschnitt gaben 4,23% der Befragten an noch keine elektronische Prüfung, 4,09% noch keine mündliche Prüfung sowie 20,33% noch keine mündlich-praktische Prüfung absolviert zu haben. Die schriftliche Prüfung, also klassisch mit Zettel und Stift, nimmt einen Sonderstatus ein, da sie nur sehr selten an der TiHo angewandt wird. Im Durchschnitt gaben 33,91% der Befragten an, noch nicht in dieser Form schriftlich geprüft worden zu sein.
Auf die Frage, welche Strategien neben den bereits genannten außerdem noch für die Prüfungsvorbereitung, unabhängig vom Prüfungsformat, angewendet werden,
30
antworteten 92 (42,79%) der Teilnehmenden in Form von Freitexten. Das Anfertigen von Visualisierungen, also Mindmaps, Schaubilder und Skizzen nutzten 17 (18,48%) der Studierenden als Vorbereitungsstrategie. 16 (17,39%) prägten sich den Prüfungsstoff durch wiederholtes Lesen und Diskutieren ein. Zehn (10,87%) Studierende fertigten Tonaufnahmen an und hörten diese wiederholt an. Das Orientieren an Altfragen oder Gedächtnisprotokollen favorisierten 9 (9,78%) der Teilnehmenden. Je 5 (5,43%) gaben an, zu Lernendes zu verschriftlichen, am Objekt (beispielsweise anatomische Präparate, eigenes Tier) zu lernen, Anwendungsbezüge herzustellen sowie das Lernen mit Freizeitausgleich zu kombinieren. Durch lautes Vorlesen bereiteten sich 4 (4,35%) auf Prüfungen vor. Drei (3,26%) der Befragten gaben an, besonders mit Abbildungen zu lernen. Je 2 (2,17%) der Studierenden nutzten Erklärvideos, lernen in Verbindung mit körperlicher Bewegung, einem Vorstellen der Prüfungssituation, der Erstellung von Eselsbrücken sowie spielerisches Lernen, beispielsweise mit einem Quiz oder Memorykarten. Einzelnennungen (je 1,09%) erwähnten das Markieren von Textpassagen, einen allgemeinen gesunden Lebensstil sowie das Lernen in zeitlichem Bezug zu Schlafeinheiten als besondere Strategien.
Bewertung von Prüfungsformaten
Abschließend sollten die Teilnehmenden weitere Aussagen zur Bewertung und subjektiven Einschätzung der einzelnen Prüfungsformate mit der gleichen vierstufigen Skala vornehmen, siehe (Abb. 9-12.) Auch hier galt, dass wenn eine bestimmte Prüfung noch nicht absolviert wurde, Antworten unausgefüllt bleiben sollten.
Neben den deskriptiven Ergebnissen wurden für bestimmte Fragestellungen weitere statistische Untersuchungen angestellt. Bei der Fragestellung, ob die Teilnehmenden, unabhängig vom Prüfungsformat an Prüfungsangst leiden würden, ergab der exakte Test von Fischer, dass es keine signifikanten Unterschiede zwischen den männlichen und weiblichen Teilnehmenden gab (p=0,0518).
Vergleicht man mit diesem Test den Vorbereitungsaufwand für die mündliche zur mündlich-praktischen Prüfung lässt sich kein statistisch signifikanter Unterschied feststellen (p=0,5738). Zu ähnlichen Ergebnissen führt der Vergleich der Vorbereitungszeit auf elektronische bzw. schriftliche Prüfungen (p=0,4879). Vergleicht man jedoch elektronische/schriftliche Prüfung gegen mündliche/mündlich-praktische
31
Prüfung ergeben sich jeweils hochsignifikante Unterschiede (jeweils p<0.0001), indem sich die Studierenden deutlich länger auf mündliche/mündlich-praktische Prüfungen vorbereiten. In Bezug auf Vorbereitungszeiten weiblicher und männlicher Studierender konnte ermittelt werden, dass nur beim Format der mündlich-praktischen Prüfung die männlichen Studierenden signifikant öfter angaben, eine bis zwei Wochen vor der Prüfung mit der Vorbereitung zu beginnen (p=0.0438), während die weiblichen Studierenden öfter angaben, zwei bis vier Wochen vor der Prüfung mit dem Lernen anzufangen.
Diskussion
An vorliegender Studie zu kompetenzorientierten Prüfungen nahmen 215 Studierende (weiblich 85,12%, männlich 13,95%) aus allen Studienjahren teil. In Bezug auf die Geschlechterverteilung bildet es das tatsächliche Verhältnis im Wintersemester 2017/18 mit 86,67% weiblichen und 13.33% männlichen Studierenden (25) im Studiengang Tiermedizin an der Stiftung Tierärztliche Hochschule ab.
In Bezug auf die Prüfungsvorbereitung fällt positiv auf, dass 85,58 % der Studierenden der zu lernende Prüfungsstoff bekannt oder meistens bekannt war und dass rund 73,02% das Gefühl haben meistens beziehungsweise immer effektiv zu lernen. Einen Lernplan erstellen noch rund 59,07 % der Studierenden, der von lediglich 43,33% in der Regel eingehalten wird. Untersuchungen zur Nutzung von online-Lernplänen durch Studierende der Medizin haben gezeigt, dass Lernpläne zwar ebenfalls oft begonnen werden, nicht aber konsequent erfüllt oder gepflegt werden. Häufig wurden Lernziele eingegeben und sofort danach als erledigt abgehakt, sodass davon ausgegangen werden kann, dass diese Pläne eher als Protokollinstrumente nach dem Lernen, statt als Planungsinstrument eingesetzt wurden (15). Die Effektivität der Nutzung von persönlichen Lernplänen konnte jedoch in einer anderen Studie gezeigt werden:
Studierende der Medizin, die einen Lernplan erstellt und auch eingehalten haben, fühlten sich im Vergleich zu denen, die ihre Lernpläne nicht verfolgt haben, signifikant besser auf eine Residency vorbereitet und erwähnten, dass die erstellten Lernpläne eine gute Hilfe bei der Strukturierung ihres Lernens und dem Organisieren ihrer Lernziele waren (6). Die Lernpläne haben ihnen außerdem dabei geholfen eigene Stärken und Schwächen zu identifizieren (6). Lernpläne besitzen das Potenzial, die
