Mit der Befragung der an der TiHo Prüfenden konnte die formulierte Hypothese, dass alle “day one competences” der EAEVE an der TiHo geprüft werden, bestätigt werden.
Bestimmte Kompetenzen werden dabei sehr häufig geprüft, die häufigsten drei genannten Kompetenzen waren:
1. “Collect, preserve and transport samples, select appropriate diagnostic tests, interpret and understand the limitations of the test results.”
2. “The structure, function and behaviour of animals and their physiological and welfare needs, including healthy common domestic animals, captive wildlife and laboratory housed animals.”
3. “The aetiology, pathogenesis, clinical signs, diagnosis and treatment of the common diseases and disorders that occur in all common domestic species.”
Bei dieser Abfrage sollte angegeben werden, ob die genannten Kompetenzen geprüft würden. Des Weiteren muss erwähnt werden, dass es sich bei den befragten Dozierenden um diejenigen handelt, die summative Prüfungen an der TiHo durchführen. Kompetenzen oder die Fähigkeiten, aus denen sie sich zusammensetzen, können auch außerhalb summativer Prüfungen attestiert werden.
Im Clinical Skills Lab (CSL) der TiHo haben zum Beispiel die Studierenden die Möglichkeit praktische Fähigkeiten an Simulatoren zu üben (DILLY et al. 2013). Die erworbenen Fähigkeiten werden in Vorbereitungswochen im Praktischen Jahr des Tiermedizinstudiums in einer formativen OSCE attestiert (ENGELSKIRCHEN et al.
2017). In einer Untersuchung von RÖSCH et al. (2014), die vor der Etablierung des CSLs durchgeführt wurde, konnte gezeigt werden, dass seitens der Studierenden wahrgenommen wird, dass 28 der „day one competences“ an der Universität praktisch trainiert werden und 21 in Theorie unterrichtet werden.
Betrachtet man die von den Studierenden getätigten Aussagen zu den Prüfungsformaten lässt sich ein positives Feedback ziehen. Kein an der TiHo verwendetes Prüfungsformat führt dazu, dass sich die Studierenden ungerecht
87
behandelt fühlen. Die Studierenden sind sich in der Mehrheit im Klaren, wie eine Prüfung, unabhängig vom Format, abläuft und dass Inhalte geprüft werden, die tatsächlich in den Vorlesungen behandelt wurden. Die Hypothesen, dass die Lernstrategien und Vorbereitungszeiten der Studierenden für eine Prüfung abhängig vom Prüfungsformat sind, konnten bestätigt werden. Der Einfluss des Prüfungsformates auf das Lernen von Studierenden konnte in mehreren Studien ebenfalls belegt werden (ENTWISTLE u. ENTWISTLE 1991, MARTON u. SALJÖ 1997, RAMSDEN 1997).
Studierende lernen in Räumlichkeiten der TiHo vorrangig in der Bibliothek oder im
„Pylorus“. Die Nutzung der Bibliothek als Ort des (Allein-)Lernens stellte sich bei STEMMER u. MAHAN (2016) bei Studierenden im ersten Jahr als positiv auf den weiteren Studienverlauf dar. Für die Prüfungsvorbereitung wünschen sich 54,88% der Studierenden zusätzliche Lernräume an der TiHo, diese sollten mit WLAN ausgestattet sein und sich in möglichst leiser Umgebung befinden. 70,70% der befragten Studierenden der TiHo gaben an, dass für sie Ruhe zu einer guten Lernatmosphäre gehört. Dagegen verglich HOLETON (2004) den optimalen Lernraum mit einem Starbucks Coffeeshop, also mit einer eher lauteren, lebhaften Umgebung. Seine Untersuchungen zeigten ebenfalls, dass der Zugang zu WLAN und moderner Präsentationstechnik eine hohe Priorität für Lernräume darstellt.
Die geforderten Prüfungsthemen sind den Studierenden bekannt (42,79%) oder meistens bekannt (47,79%). Laut den befragten Dozierenden werden diese Lernziele den Studierenden durch die Inhalte der Vorlesung (100%), das Vorlesungsskript (83,67%) oder die mündliche Mitteilung (69,39%) mitgeteilt. Das Wissen, was in einer Prüfung erwartet wird, kann jedoch zu einer Fokussierung des Lernens von Studierenden führen (ANDRADE u. DU 2005).
Mit den Befragungen der Dozierenden sowie der Befragung der Studierenden der TiHo wurden die an der TiHo genutzten Prüfungsformate hinsichtlich ihrer Eignung zur Attestierung verschiedener Kompetenzen bewertet.
Bei schriftlichen Prüfungen wird im Vorfeld durch die jeweilige prüfende Einrichtung ein Schlüssel zur Bewertung der Antworten hinterlegt. Angesprochene
88
Wissensdimensionen sind je nach Fragestellung Erinnern, Bewerten sowie Analysieren (RAPP 2014). Papierbasierte schriftliche Prüfungen werden an der TiHo selten eingesetzt (TIHO 2018). Die befragten Dozierenden führten elektronische Prüfungen am häufigsten durch.
Bei elektronischen Prüfungen werden verschiedene Fragentypen eingesetzt. Beim Typ A-Verfahren (Einfachauswahl), wird typischerweise die Kognitionsdimension des Erinnerns angesprochen (KREBS 2019). Beim Kprim-Verfahren sind für einen Sachverhalt mehrere Aspekte wichtig und werden daher nicht isoliert betrachtet (KREBS 2019). Die angesprochenen Kognitionslevel können bei diesem Fragenformat bis in die Bewertungsebene reichen. Bildanalysefragen haben oftmals besonders praktische Hintergründe, so können Prüflinge beispielsweise aufgefordert werden eine Fraktur in einem Röntgenbild zu identifizieren (TIHO 2018). Mit Key-Feature-Fragen können Entscheidungskompetenzen geprüft werden (KOPP et al. 2006, SCHAPER 2011).
85,71% der befragten Dozierenden gaben an, schriftliche und/oder elektronische Prüfungen durchzuführen. Betrachtet man die Erwartungen der Prüfenden, lässt sich feststellen, dass mehr als die Hälfte der Befragten die Kognitionslevel Wiedergabe (100%), Verstehen (92,86%), Anwendung (90,48%), Analyse (83,33%) und Bewertung des Wissens (57,14%) erwarten oder eher erwarten. Eine Weiterentwicklung des Wissens sowie eine moralisch-ethische Einstellung zum Prüfungsthema oder eine eigene Meinung zum Prüfungsthema wird bei diesen Formaten eher nicht erwartet.
Schriftliche/elektronische Prüfungen erhielten in der Bewertung der Dozierenden die Durchschnittsnoten 2,34 für Prüfungen ohne praktische Anteile und 2,21 für Prüfungen mit praktischen Anteilen.
86,98% der Studierenden gaben an, dass sie das Gefühl haben bei schriftlichen und elektronischen Prüfungen eher nach Faktenwissen abgefragt zu werden, weniger nach dem Verständnis für komplexe Zusammenhänge (32,09%). Die Wahrnehmung der Komplexität der Fragen ist also zwischen der Seite der Dozierenden und den Studierenden durchaus unterschiedlich. So ist auch der Wunsch der Studierenden nach mehr berufsrelevanten und anwendungsbezogene Fragen (10.91%)
89
verständlich. Des Weiteren schätzen die Studierenden die Inhalte elektronischer Prüfungen als weniger berufsrelevant als beispielsweise die Inhalte von mündlichen Prüfungen ein. Nichtsdestotrotz wünschen sich über die Hälfte der befragten Studierenden (58,60%) mehr elektronische Prüfungen. VAN DE WATERING et al.
(2008) kamen zu anderen Ergebnissen: Hier wurden schriftliche Prüfungen mit Zugriff auf Lehrmaterial wie Bücher und Mitschriften durch Studierende präferiert. Auch wurden mündliche Prüfungen, bei denen ausreichend Vorbereitungszeit sowie Lehrmaterial vorhanden ist, noch vor computerbasierten Tests favorisiert (VAN DE WATERING et al. 2008). Diese Prüfungsformate sind an der TiHo jedoch nicht üblich.
Untersuchungen von ZEIDNER (1987) zeigten jedoch, dass Studierende MCQ-basierte Tests gegenüber Essay-Fragen vorziehen.
MCQs können als hochgradig reliabel eingestuft werden, da ihnen ein objektiver Bewertungsprozess zugrunde liegt (HALADYNA 1994). Fragenformate wie Kurzantwort und Langtextverfahren (Essay-Questions) sind hingegen anfälliger für subjektive Bewertung, beispielsweise bei schriftlichen Prüfungen durch die Handschrift oder die generelle Länge gegebener Antworten (HALADYNA 1994).
Betrachtet man die Validität von MCQs können verschiedene Einflussfaktoren negative Auswirkungen auf diese haben, wie eine komplizierte Fragestellung, vage Aussagen oder Fragen, die nicht mit den Lernzielen der Veranstaltungen übereinstimmen (MCCOUBRIE 2004) und leicht zu erkennende Muster in der Fragenkonstruktion können zu einer Minderung der Validität führen (MILLER et al.
2009). MCQs stehen oftmals in der Kritik lediglich Faktenwissen abzufragen (PREMADASA 1993). Mehrere Studien konnten jedoch zeigen, dass mit entsprechenden Fragestellungen höhere Wissensniveaus angesprochen werden können (SWANSON u. CASE 1992, TRISKA et al. 1994, NORMAN 1995).
An der TiHo werden im Rahmen des Qualitätsmanagements regelmäßig Schulungen zur Entwicklung adäquater MCQs angeboten und von den prüfenden Dozierenden wahrgenommen. Des Weiteren, um dem Gütekriterium der Validität in hohem Maß Genüge zu tun, wird ein zweidimensionaler Blueprint für jede elektronische Prüfung angelegt und jede Frage, die in einer elektronischen Prüfung verwendet werden soll,
90
einem zweistufigen Review-Prozess unterzogen. In einem formalen Review wird darauf geachtet, dass die Fragen nach gewissen Standards formuliert sind und keine Hinweise auf die richtige Antwort aufgrund von Formulierungen des Fragenstamms oder der Antwortoptionen geben. In einem zweiten, inhaltlichen Review wird geprüft, ob die Frage mit den Lernzielen der Lehrveranstaltung übereinstimmt und ob der Schwierigkeitsgrad angemessen ist (EHRICH et al. 2018).
Betrachtet man den Einsatz von MCQs mit Fallbeschreibungen durch die Dozierenden der TiHo (78,57%) verwundert es nicht, dass nur ein geringer Teil der Dozierenden (4,08%) sich für eine Reduktion von MCQs ausspricht, gleichzeitig wünschen sich 8,16% davon mehr Anwendungs- und Verständnisfragen einzusetzen. Auch in den Empfehlungen für zukünftig Prüfende wurde angemerkt, dass mehr Praxisrelevanz und anwendungsbezogene Fragen Einzug in schriftliche und elektronische Prüfungen haben sollten. Dieser Wunsch deckt sich teilweise mit den Wünschen der Studierenden. 10,91% der befragten Studierenden wünschen sich ebenfalls mehr berufsrelevante Anwendungs- und Verständnisfragen. Diesen Anforderungen könnte man durch den vermehrten Einsatz von KFQ und Bilddiagnosefragen gerecht werden, die derzeit noch von der Minderheit der befragten Dozierenden in Prüfungen eingesetzt werden. Eine weitere Möglichkeit in schriftlichen und elektronischen Prüfungen höhere Kognitionslevel und damit auch mehr Anwendungsbezug herzustellen ist die Verwendung von Extended-Matching Questions (EMQ) (CASE u.
SWANSON 1993, BEULLENS et al. 2002, KREBS 2010). EMQ bestehen aus einem Thema (theme) einer einleitenden Erklärung (lead-in statement), einer Liste an Anwortoptionen (option list) welche den zwei oder mehr Fragenstämmen (item stems) zugeordnet werden müssen (CASE u. SWANSON 1993).
Mündliche Prüfungen sind ebenfalls klar in der Prüfungsordnung der TiHo geregelt.
Sie werden als Structured Oral Exam (SOE) abgehalten. Es muss gewährleistet sein, dass alle teilnehmenden Prüflinge zu verschiedenen Themen im gleichen Verhältnis befragt werden. Voraussetzung dafür ist ein im Vorfeld festgelegter Prüfungsablauf, sowie ein Bewertungsschema mit entsprechendem Arbeitsblatt (TIHO 2018). In mündlichen Prüfungen finden sich analytische und bewertende Anforderungen an die Prüflinge (SCHAPER 2013). Praktische Prüfungen an der TiHo werden nach drei
91
Verfahren durchgeführt: Objective Structured Long Examination Record (OSLER), Mini–Clinical Evaluation Exercise (MiniCEX) und Objective Structured Practical Examination (OSPE), beziehungsweise die Objective Structured Clinical Examination (OSCE).
26,53% der befragten Dozierenden gaben an mündliche Prüfungen ohne praktische Anteile durchzuführen. Bei dieser Art von Prüfung erwarten über die Hälfte der Dozierenden alle Kognitionslevel des Wissens, bis hin zur Weiterentwicklung des Wissens. Im Durchschnitt gaben die Dozierenden diesem Prüfungsformat die Note 1,88. 73,47% der befragten Dozierenden gaben an mündliche Prüfungen mit praktischen Anteilen durchzuführen. Die Erwartungen an die Kognitionsleistung der Studierenden reichen von der Wiedergabe des Wissens bis zur Bewertung/Evaluation des Wissens. Es konnte also gezeigt werden, dass Prüfende in mündlichen Prüfungen höhere Kognitionslevel als in schriftlichen und elektronischen Prüfungen erwarten.
Mündliche Prüfungen mit praktischem Anteil erhielten von den Dozierenden die Schulnote 1,4, dieses Format stellt somit das am besten bewertete dar. Insgesamt kann aufgrund der Bewertung der Prüfungsformate eine weitere Hypothese bestätigt werden, dass die Dozierenden der TiHo mit den gängigen Prüfungsformaten zufrieden sind.
Mündliche Prüfungen erlauben die Bewertung der Interaktion zwischen den Prüfenden und den zu Prüfenden (JOUGHIN 1998). Sie bieten die Chance, die Argumentation, ethische Haltung und das Wissen eines Kandidaten zu untersuchen (LUNZ u. STAHL 1993). Die befragten Dozierenden der TiHo erwarten jedoch zum Großteil keine moralisch-ethische Einstellung zum Prüfungsthema oder eigene Meinungen oder Einstellungen. Des Weiteren kann in mündlichen Prüfungen getestet werden, wie gut sich ein Prüfling (wissenschaftlich) ausdrücken kann (RAHMAN 2011). Darüber hinaus bietet das Durchführen mündlicher Prüfungen Informationen für die Dozierenden über Stärken und Schwächen des Lehrplans, anhand der geprüften Stichprobe der Studierenden können Rückschlüsse gezogen werden (JACOBSEN et al. 2006).
Weitere Vorteile mündlicher Prüfungen sind, dass sie Problemlösungsstrategien überprüfen können (SANDARS 1998, WASS et al. 2003), die Flexibilität bieten, Räumlichkeiten oder das Setting zu wechseln (GIBBS et al. 1988, WAKEFORD et. al.
92
1995) und die Möglichkeit, Fragen nach den Fähigkeiten der Prüflinge zu stellen (GIBBS et al. 1998).
Mündlichen Prüfungen wird jedoch eine geringe Reliabilität nachgesagt (COLTEN u.
PETERSON 1967), da die Prüfenden durch ihre aktive Teilnahme einen Bias erzeugen können, welche auch einen negativen Effekt auf die Validität haben kann (MEMON et al. 2010). Mündliche Prüfungen an der TiHo werden als strukturierte Prüfungen durchgeführt und wirken somit diesem Bias entgegen. Dies wird auch durch die Aussagen der Studierenden untermauert: 64,19% der Befragten gaben an, dass der Ablauf von mündlich-praktischen Prüfungen strukturiert erscheint, bei rein mündlichen Prüfungen steigt diese Zustimmung auf 75,81%. Im Vorfeld zu jeder mündlichen Prüfung wird ein Arbeitsblatt erstellt, das die Bewertungskriterien klar definiert (TIHO 2018). Die Stresslevel der befragten Studierenden sind bei den mündlichen Prüfungen höher, als bei schriftlichen und elektronischen Prüfungen. Diese Erkenntnisse decken sich mit früheren Untersuchungen (BIRENBAUM 2007, HUXHAM et al. 2012).
Bei mündlichen Prüfungen ohne praktische Anteile empfahlen 76,92% der Dozierenden, dass ein fixes Bewertungsschema vorliegen muss, mehr noch (84,62%) sprechen sich für eine vorgefertigte Struktur zum Ablauf der Prüfung aus. 15,38% der Prüfenden sprechen sich außerdem für eine Beisitzerin oder einen Beisitzer bei dieser Prüfungsform aus. Diese Meinung zeigt sich auch bei mündlichen Prüfungen mit praktischen Anteilen. 80,56% der Prüfenden empfehlen eine vorgefertigte Struktur zum Ablauf der Prüfung, beziehungsweise der Reihenfolge der zu stellenden Aufgaben, 75% befürworten ein festgelegtes Bewertungsschema. 11,11% der Befragten sprachen sich bei dieser Prüfungsform für die Anwesenheit von Beisitzern aus.
Die drei meistgenannten Verbesserungsvorschläge der Studierenden bezüglich Prüfungen an der TiHo waren:
1. Objektivität der Prüfenden optimieren
2. Beisitzer/in, Protokollant/in, Zweitprüfer in Prüfungen 3. Festgesetzter Prüfungsthemenkatalog
93
Als Verbesserungen bezüglich von Prüfungen empfahlen die Dozierenden die Einrichtung gewisser Prüfungsstandards und vermehrte Nutzung von Anwendungs- und Verständnisfragen.
94