Characteristics of learning, learning strategies and acceptance of computer-based learning (CBL)

(1)

Lerncharakteristika, Lernstrategien und Akzeptanz computerbasierten Lernens (CBL)

Konstruktion und Faktorenstruktur eines Fragebogeninstrumentes

Characteristics of learning, learning strategies and acceptance of computer-based learning (CBL)

Construction and structure of factors in a questionnaire

• Amina Katharina Hahne¹• Holger Krause²• Holger Pfaff³• Stefan Herzig⁴ Zusammenfassung:

Die medizinische Ausbildung ist mit stetig wachsenden Ansprüchen konfrontiert: steigenden Studentenzahlen müssen mehr Informationen zeit- und kosteneffizienter gelehrt werden. Technologische Medien finden hierbei eine hohe Beachtung und beflügeln angesichts der Vor- teile des ‚Hightech-Lernens' vielerorts hohe Erwartungen. Daher bestand das Ziel dieser Studie in der Entwicklung eines standardisierten Instrumentes, das eine Messung wesentlicher Faktoren im Kontext der Evaluation computerbasierten Lernens (CBL) erlauben würde.

Neben der Akzeptanz von CBL lag der Schwerpunkt auf der Berücksichtigung individueller Lernercharakteristiken. Der mehrstufige Prozess einer Fragebogenkonstruktion wird unter methodischen und forschungsrelevanten Gesichtspunkten exemplarisch dargestellt. Eine erste, aufgrund theoretischer Überlegungen gewonnene Fragebogenversion wurde zunächst mittels eines Standard-Pretest (n=18) untersucht und überarbeitet. Für eine zweite, detailliertere Prüfung erfolgte die kognitive Pretest-Technik Think-Aloud (n=10). Der so qualitativ evaluierte Fragebogen wurde einer repräsentativen Stichprobe (328 Humanmedizin-Studenten, 1. Klinischer Studienabschnitt) vorgelegt, um eine quantitative Analyse zu ermöglichen. Konstruktübergreifende Faktorenanalysen bestätigten insgesamt 12 konstruktvalide psycho- metrische Skalen. Die reliabilitätsanalytische Prüfung der Skalen auf interne Konsistenz lieferte zufrieden stellende Werte (α=,71-,90) für 10 der Messinstrumente: 5 Lerneigenschafts-Skalen, 2 Lernstrategie-Skalen, 1 Skala zur Einstellung zu CBL und 2 Skalen zu Erwartungen an CBL. Für 2 weitere Skalen (α=,66-,67) zeigte sich die Notwendigkeit einer Verbesserung der Messgenauigkeit. Mit dem konzipierten Fragebogen liegt ein Instrument vor, das eine konstruktvalide quantitative Messung relevanter Größen zur Evaluation von CBL-Methoden erlaubt.

Schlüsselwörter: Computerbasiertes Lernen, Evaluation, Fragebogen, Quantitative Methoden, Lernercharakteristiken Abstract:

Medical education faces ever-increasing demands: larger amounts of knowledge have to be taught to larger student numbers in a time- and cost-effective manner. Therefore, new media have gained respect and raised high expectations, due to their obvious advantages. Hence, the aim of this study was to develop a standardised instrument, which allows for valid assessment of parameters relevant for the evaluation of computer-based learning (CBL). The main emphasis was placed on the overall acceptance of CBL as well as on some pertinent charac- teristics of individual learners. We took this as an example to systematically describe the construction of a questionnaire, focussing on the methodological and scientific aspects of this multi-step process. A first version, which was constructed on theoretical grounds, was analysed and revised using standard pretest conditions (n=18). The second revision was done using a cognitive pretest-technique, called "Think- Aloud" (n=10). After this qualitative evaluation, the questionnaire was offered to a representative sample of n=328 third-year medical students. In this quantitative analysis, 12 valid psychometric scales could be confirmed by factor analysis. Reliability analysis yielded sa- tisfying values (α=0.71-0.91) in 10 cases: 5 scales on learner properties, 2 scales on learning strategies, one scale on the attitude towards CBL and 2 scales on expectations regarding CBL. For 2 scales (α=0.66-0.67), we identified a need for further revision in order to improve accuracy. The described questionnaire provides a valid, quantitative means to assess relevant parameters to evaluate CBL interventions.

Keywords: computer-based learning, evaluation, questionnaire, quantitative methods, learner characteristics

Einleitung

Methoden desLehrensund desLernenssollen akademische Inhalte sovermitteln, dass weniger das Auswendiglernen von Faktenwis-

sen, sondern eine verständnis- und anwendungsorientierte Wissens- vernetzung im Vordergrund steht. Andererseits sollen sie den Studierenden darin unterstützen, seine Rolle als aktiven und selbstständig Lernenden zu begreifen und im Lernprozess umzu- setzen. Dazu sind Lernkompetenzen und -möglichkeiten notwen-

1 Universität zu Köln, Institut für Pharmakologie, Köln, Deutschland

2 Universität Bielefeld, Fakultät für Gesundheitswissenschaften, Bielefeld, Deutschland

3 Universität zu Köln, Institut für Arbeitsmedizin, Sozialmedizin und Sozialhygiene, Köln, Deutschland

4 Universität zu Köln, Institut für Pharmakologie und Studiendekanat der Medizinischen Fakultät, Köln, Deutschland

OriginalarbeitHumanmedizin

(2)

dig, die sowohl Lernende als auch Lehrverantwortliche vor neue Aufgaben stellen: innovative Lehrmethoden sollen den Lernenden

‚dort abholen‚ wo er steht'. Die Wirksamkeit neuer Lernmethoden wird jedoch entscheidend davon abhängen, inwiefern sie imstande sind, die Masse der Studierenden zu erreichen. Die ausschließliche Förderung einer spezifischen Gruppe, z.B. besonders talentierter Studierender, kann nicht Ziel aufwendiger Konzeptions- und Re- formierungsarbeit sein. Angesichts erheblicher Varianz im Lern- verhalten und divergierende Bedürfnisse der Studentenschaft muss die Evaluation neuer Lehrmethoden diese Vielfältigkeit potenzieller Einflussgrößen in Rechnung stellen.

Der Untersuchung des computerbasierten Lernens (CBL) als neue Lehr- und Lernmethode kommt gegenwärtig eine bedeutsame Stellung zu. Ohne auf die verschiedenen technologischen Umset- zungen von CBL-Anwendungen hier näher eingehen zu können, sollen einige Vorteile genannt werden: die Erweiterung der Wis- sensvermittlung ummultimediale Darbietungsformeneröffnet der breiten Studentenschaft eine raum- und zeitunabhängige, tiefergehende und praxisnahe Wissensaneignung, diezielgerichtete Nut- zungeines umfassenden Informationsinstrumentes verspricht eine höhere Effektivität der Lernprozesse und nicht zuletzt dieinterak- tive Aufbereitung forciert selbstgesteuertes Lernen. Dass sich derlei erwünschte Wirkungen jedoch nicht per se einstellen, zeigen zahlreiche Forschungsergebnisse, deren Schwerpunkte allerdings überwiegend in einer technikorientierten und mediendidaktischen Betrachtung liegen. Fokussiert wird das gestalterische und didak- tische Design der Produkte [1]. Eine Optimierung der Produktqua- lität ist zwar wünschenswert, doch weder garantiert sie allein ge- lingende Implementierungsprozesse noch liefert dieser Ansatz Aufschluss über deren weitere erfolgsrelevante Faktoren [11].

Voraussetzungen seitens der Lernendenum das technologische Potenzial im intendierten Sinne auszuschöpfen, rücken häufig in den Hintergrund [13]. Ihr möglicherweise zentraler Erklärungswert für das effektive Gelingen der Mensch-Computer-Interaktion im Lehr- und Lernkontext erfährt jedoch zunehmend Betonung [24], [9], [7] und bildete den Ausgangspunkt für die hier dargestellten Forschungsbemühungen.

Im Rahmen der Evaluation eines computerbasierten Lernsystems für die theoretische und klinische Kardiologie, welches sich vor- rangig an Studenten der Humanmedizin richtet, galt es, ein Mess- instrument zu konzipieren, das Aussagen über die Akzeptanz dieser Innovation sowie deren Determinanten zulässt. Dabei wurde das Ziel verfolgt, 1. allgemeine Merkmale des individuellen Lernver- haltens, wie Lernmotivation, und 2. gegenstandsspezifische Merkmale, wie Einstellung zu CBL, zu berücksichtigen. Diese Überlegungen erforderten die Entwicklung eines Fragebogens, der die zahlreichen relevanten Konstrukte bei vertretbarem Zeit- aufwand ermittelt. Die folgenden Ausführungen sollen in erster Linie das methodische Vorgehen einer solchen Konstruktionsarbeit, beispielhaft an dem hier verfolgten Forschungsanliegen, offen le- gen.

Die Fragebogenkonstruktion

Die Qualität einer Befragung hängt von der Reliabilität und Vali- dität der genutzten Messinstrumente ab. Ein-Item-Messinstrumente, die einen Sachverhalt über nur eine Frage erheben, sind nicht nur messfehleranfällig, sondern insbesondere dem Facettenreichtum komplexer Sachverhalte nicht angemessen. Für die Messung sol-

cher latenter Größen, wie z.B. Einstellungen, bieten psychometri- sche Skalen, die aus mehreren Items bestehen und deren Gütekenn- werte Aussagen über die Messqualität zulassen, eine geeignete Methode. Für die Messung von Faktoren des Lernverhaltens und im Hinblick auf die Evaluation von CBL galt es daher, Instrumente zu entwickeln, die den Qualitätsstandards der empirischen Sozial- forschung genügen würden.

Die Konstruktion eines psychometrischen Fragebogens erfordert immer einen mehr-schrittigen Prozess, in dem sich Konstruktions- , Test- und Revisionsphasen ablösen. Abbildung 1 veranschaulicht dieses Vorgehen, wobei die klein gedruckten Konkretisierungen dem hier verfolgten Ansatz entsprechen, oftmals jedoch abweichen- den Inhalts sein können. Die Erläuterung der Schritte 1-5 sind Gegenstand der folgenden Abschnitte.

• Schritt 1: Konstrukt-Definition

Die Problematik von Evaluationen im Bildungsbereich ist nicht zuletzt auf die Vielzahl potenzieller Einflussfaktoren auf das Lernverhalten zurückzuführen. Angesichts dessen fordert Schott [20] eine ganzheitliche Sichtweise, um die Güte von Bildungsmaß- nahmen festzustellen. Bereiche beeinflussender Faktoren können sein:

1. Eigenschaften der Lernenden, 2. Eigenschaften des Lehrstoffes, 3. Eigenschaften der Lehrmethoden, 4. Eigenschaften der Medien,

5. Eigenschaften des Umfeldes, in dem die Maßnahme stattfindet.

Der thematische Fokus des vorliegenden Ansatzes lag auf den Eigenschaften des Lernenden. Ziel war es, die Bedeutung des individuellen Lernverhaltens im Kontext einer neuen Lehr- und Lernmethode zu ermitteln und für Aussagen über abhängige Va- riablen, wie Akzeptanz oder Lernerfolg, berücksichtigen zu kön- nen.

Vor der Erstellung eines Fragebogens sollte überprüft werden, ob geeignete Instrumente bereits vorliegen [5], was hier teilweise zutraf. Neben der testmethodischen Qualität und der zielgruppen- nahen Ausrichtung des Fragebogens stellte eine praktikable Kürze ein wichtiges Zielkriterium dar. Existierende Skalen wurden daher nur gekürzt übernommen, und es kam zu zahlreichen Neu- und Umformulierungen von Items, um eine optimale Abstimmung auf den vorliegenden Kontext zu erreichen. Bei der Entwicklung neuer Items wurden die klassischen Kriterien zur Itemerstellung berücksichtigt [19]. Im Folgenden wird eine nähere Beschreibung der interessierenden Konstrukte und ihre Einordnung in das For- schungsfeld vorgenommen.

Allgemeine Merkmale des Lernverhaltens: Lerneigenschaften und Lernstrategien

Jeder Lernende weist ein individuelles Netzwerk von kognitiven, motivationalen und emotionalen Merkmalen auf, das als komplexes Geflecht von Einflussfaktoren die Qualität des Lernprozesses be- einflusst. Die Methode des selbstgesteuerten Lernens, bei der zwar

(3)

Abbildung 1: Hauptschritte zur Entwicklung psychometrischer Rating-Skalen (in Anlehnung an Spector, 1992 [23]) Lernziele vorgegeben werden, die Auswahl und Steuerung jedoch

dem Lernenden selbst überlassen wird, bietet möglicherweise eine Lösung der unerfüllbaren Aufgabe einer optimalen Passung von

„Lernzielen, Inhalten und Medien einerseits und individuellen Lernervariablen andererseits" ([10], S.298). Inwiefern es zu einer aktiven Selbststeuerung des Lernprozesses kommt, dürfte sich folglich aus der dynamischen Interaktion der Instanzen - Lernan- gebot und Individuum - ergeben. Bei der Konstruktauswahl wurde versucht, verhaltensrelevante Charakteristika von Lernprozessen aufzugreifen, die mit der Kompetenz des selbstgesteuerten Lernens verknüpft sind. Als zentrale Mediatoren motivationaler Einflüsse auf die Lernleistung [16] werden des Weiteren Lernstrategien be- rücksichtigt. Diese werden als konkrete Verhaltensweisen sowie Kognitionen verstanden, die Lernende intentional und situations- gebunden [28] zur Informationsverarbeitung einsetzen.

Spezifische Merkmale der Studierenden hinsichtlich des Eva- luationsgegenstands

Hierunter werden Konstrukte gefasst, die den zu evaluierenden Gegenstand, CBL, und darauf bezogene Kompetenzen und Erwar- tungen betreffen. Von zentralem Rang ist die Einstellung zu CBL, da sie die mentale Anstrengung, die in einen Lernprozess investiert wird, und somit dessen Effektivität mitbestimmt [26]. Um Erwar- tungshaltungen an qualitative Gestaltungsoptionen von CBL zu ermitteln, wurden relevante Eigenschaftskomplexe von CBL auf der Basis einer umfassenden Literaturrecherche herausgearbeitet.

Qualitätsaspekte, die mit Blick auf das hier zu evaluierende End- produkt maßgeblich erschienen, haben sodann Eingang in Itemaus- sagen gefunden.

• Schritt 2: Skalen-Entwurf

Auf der Grundlage vorhandener Messinstrumente und eigener Neuentwicklungen wurde eine erste Fragebogen-Version entwi- ckelt. Teilweise konnten Originalitems aus existierenden Skalen übernommen werden. Von der Übernahme vollständiger Skalen wurde aufgrund inhaltlicher Abweichungen zum hier verfolgten Fokus und der zeitlichen Handhabbarkeit des Fragebogens abge- sehen. Bei Konstrukten, für die keine Orientierung an bestehenden Fragebogeninventaren möglich war, erfolgte die Operationalisie- rung in Anlehnung an ihre theoretische Besprechung in der Litera- tur. Erwartungsgemäß fanden sich für die Lerneigenschaften und -strategien empirisch gut belegte Quellen, die für die Konstrukti- onsarbeit genutzt werden konnten [27], [21], [18], [22]. Für die

Messung der Einstellung und Erwartungen an CBL waren Neukon- struktionen erforderlich. Auf diese Weise resultierte eine Fragebo- gen-Rohversion mit einem Pool von insgesamt 126 Items. Das Antwortformat entsprach für alle Skalenitems einer fünfstufigen Likert-Skala. Die Antwortschlüssel ermöglichten eine Zustim- mungsabstufung (1=„trifft nicht zu" bis 5=„trifft voll zu") oder eine Häufigkeitsabstufung (1=„sehr selten" bis 5=„sehr oft").

• Schritt 3: Erste Erprobung

Auch bei Berücksichtigung der methodologischen Literatur (u.a.

[14]) ergibt sich regelhaft die Notwendigkeit einerErprobungdes Instrumentes. Hierzu stehen eine Reihe von Verfahren zur Verfü- gung (Tabelle 1), die empfehlungskonform [8] kombiniert zum Einsatz kamen. Ein Standard-Pretest wurde durchgeführt, der zur Ermittlung ‚grober' Fehler und Auffälligkeiten führen sollte. An- schließende Think-Aloud-Interviews führten zur endgültigen Fragebogenform. Parallel zur Fragebogenevaluation wurden au- ßerdem Experten zu Rate gezogen.

Tabelle 1: Verfahren zur Evaluation von Surveyfragen (Prüfer &

Rexroth, 1996 [17])

Der Standard-Pretest

Methode:Bei einem Pretest handelt es sich um eine explorative Voruntersuchung, die dazu dient, inhaltliche und untersuchungs- technische Fragen im Zusammenhang mit dem Erhebungsinstru- ment zu beantworten. Neben der Eignung des Untersuchungsgeräts (z.B. ist die Handhabung selbsterklärend?) wird der Inhalt (z.B.

ist die Itemformulierung verständlich?) sowie ein reibungsloser Ablauf (z.B. treten Ermüdungserscheinungen auf?) überprüft.

Trotz der Verbreitung des Pretest-Verfahrens in der sozialwissen- schaftlichen Forschung existieren keine standardisierten Regeln zu seiner Durchführung. Aus der Literatur lassen sich Übereinstim- mungen hinsichtlich seines Grundgerüstes skizzieren [17], [5]:

(4)

▪ In einer einmaligen Erhebung absolvieren Probanden einen Un- tersuchungsdurchgang mit dem zu prüfenden Erhebungsinstrumen- tes.

▪ Die Probanden sind für die Stichprobe der Hauptuntersuchung repräsentativ.

▪ Der Pretest findet unter ähnlichen Bedingungen wie die in der Hauptstudie statt.

▪ Ein Interviewer registriert dabei - meist passiv - alle Auffällig- keiten, Probleme und Vorkommnisse, die im Laufe der Erhebungs- durchführung auftreten.

Als empfohlene Fallzahl einer Pretestung finden Prüfer & Rexroth [17] zwischen 10 und 200 Personen. Des Weiteren variiert die Verfahrensanwendung bezüglich des Ausbildungsstandes der In- terviewer sowie des Informationsstandes der Befragten über den Zweck der Erhebung. Die Vorzüge eines Pretest sind offenkundig (schnelle Durchführung, geringer organisatorischer Aufwand, niedrige Kosten).

Durchführung: Die Durchführung des Pretests fand in zwei Gruppen (n=10 und n=8, Geschlechterverhältnis von weiblich zu männlich lag bei 8:10) statt, die repräsentativ für die Zielstichprobe waren. Die Leitung übernahm die mit dem Projekt betraute For- schungs-Assistentin. Die Probanden wurden über den Erprobungs- charakter der Erhebung aufgeklärt und um freiwillige, unentgeltli- che Teilnahme gebeten. Da das Forschungsziel in der Optimierung von Studienbedingungen bestand, war die Kooperationsbereitschaft der Studierenden hoch. Sie wurden instruiert, Unklarheiten im Zusammenhang mit dem Fragebogen durch Markierungen festzu- halten. Des Weiteren wurde mitgeteilt, dass nach Ausfüllen des Fragebogens Gelegenheit für Anmerkungen gegeben würde. Im Übrigen wurde wie in der Hauptuntersuchung verfahren, um

‚Ernstfall'-Bedingungen zu schaffen.

Ergebnisse:Es zeigte sich, dass die Bearbeitungszeit von durchschnittlich 20 Minuten auf keine negativen Reaktionen (Ermüdungs- erscheinungen oder Akzeptanzprobleme) bei den Studenten stieß.

Die meisten Verständnisschwierigkeiten zeigten Items, durch die Merkmale von CBL abgedeckt wurden. Diese reichten von Un- kenntnis spezifischer Vokabeln (z.B. „Simulation") bis hin zu widersprüchlichen Auffassungen, was mit bestimmten Programm- eigenschaften gemeint sei (z.B. „Programm gibt einen Lernweg- vorschlag"). Das Vorwissen der Studenten in Bezug auf diese Lernmethode erwies sich als heterogen. Um im Weiteren ein ein- heitliches Verständnis zu gewährleisten, kam es hier zu Ergänzun- gen. Im Hinblick auf die Skalen zur Erfassung von Persönlichkeits- merkmalen ergaben sich kaum Auffälligkeiten. Lediglich die ne- gative Formulierung einzelner Items zur Balancierung negativer und positiver Aussagen führte in einigen Fällen zu Irritationen.

Diese Items wurden überarbeitet, wobei hier zugunsten einer bes- seren Verständlichkeit und auf Kosten der Ausgeglichenheit der Polung entschieden wurde [3]. Für das Layout und die Handhabung des Fragebogens ergaben sich keine Veränderungen. Wenn auch die Vorzüge eines Pretest unbestritten sind und er als solches un- ersetzlich ist, muss doch auf die ‚grobe' Information hingewiesen werden, die er erzeugt. So liefert er zwar Informationen über die Funktionstüchtigkeit des Instrumentes (verständliche Handhabung, Erhebungsdauer), tiefergehende Einblicke in die korrekte Interpre- tation der Items gewährt er jedoch nicht. Auch eine richtig beant-

wortete Frage kann das Ergebnis einer falsch verstandenen Inhalts- auffassung sein. Dieser Problematik begegnet das im Folgenden erläuterte Verfahren.

Die Think-Aloud-Interviews

Methode: Die Methode der Think-Aloud-Interviews wird zu den kognitiven Laborverfahren gezählt, die aus der Zusammenarbeit von Kognitionspsychologen und Umfrageforschern hervorgingen.

Gemeinsam ist diesen Verfahren, dass sie über die Erfassung ko- gnitiver Prozesse Rückschlüsse auf das tatsächliche Zustandekom- men einer Antwort zulassen. Diese Technik der Qualitätssicherung beinhaltet primär eine Minimierung der Messfehler durch Optimie- rung der Fragebogenverständlichkeit. Die Think-Aloud-Technik ermöglicht dabei eine zielgruppennahe Validitätsprüfung. Der Proband wird gebeten, alle Gedanken, die ihn zu einer Antwort führen, laut auszusprechen. Ziel ist es, über diese Äußerungen Aufschluss über die Iteminterpretation zu erhalten. Ähnlich wie beim Pretest gilt der Mangel an präzisen Regeln auch für diese Methode. Ungeklärt bleibt z.B., nachwie vielenFehlernennungen eine Änderung im Fragebogen erfolgen sollte und ob jede geänderte Version erneut getestet werden muss [12]. Unterschieden wird zwischen der ‚Concurrent-Think-Aloud-Methode' (Lautes Denken währendAntwortvergabe) und der ‚Retrospektive-Think-Aloud- Methode' (Lautes DenkennachAntwortvergabe). Erstere erwies sich in zahlreichen Studien als erfolgreich [4] und wurde auch hier angewandt.

Durchführung:Insgesamt wurden 10 Think-Aloud-Interviews mit freiwilligen Teilnehmern, die repräsentativ für die Zielpopula- tion waren (Geschlechterverhältnis von weiblich zu männlich lag bei 5:5), durchgeführt, wobei jedes Interview durchschnittlich 1,5 Stunden dauerte. Um einen iterativen Verbesserungsprozess des Fragebogens abzubilden, wurde nach den ersten 5 Durchgängen eine Überarbeitung des Fragebogens vorgenommen. Änderungen wurden umgesetzt, wenn diesbezüglich Auffälligkeiten bei min- destens 2 Personen aufgetreten waren. Zunächst wurde der Proband über den Zweck der Erhebung und über die Methode aufgeklärt.

Die Instruktionen bestanden daraufhin in der Aufforderung, den Fragebogen wie üblich auszufüllen, gleichzeitig jedoch laut zu denken, d.h. die Überlegungen zwischen Frage und Antwortverga- be zu artikulieren. Die Interviewerin hatte während des gesamten Prozesses Einblick in den Fragebogen, so dass die Äußerungen der Probanden mit ihren Antworten verglichen werden konnten.

Trotz der Länge der Interviews blieb die Bereitschaft zur Mitarbeit bis zum Ende hoch, da das Verfahren mit Interesse aufgenommen wurde. Es zeigten sich keine Ermüdungserscheinungen.

Ergebnisse: Zum einen wurde eine Ergänzung im Einleitungstext des Fragebogens vorgenommen. Bei Erwähnung von CBL äußerten mehrere Probanden spontan Unklarheiten hinsichtlich einer Lehr- planänderung, des Nutzungsortes und der Nutzungsverpflichtung (z.B. „Wird die Veranstaltung durch CBL ersetzt?"). Im nächsten Durchgang tauchten diesbezüglich keine Missverständnisse mehr auf. Die Items, die sich auf Merkmale computerbasierter Lernsys- teme beziehen, erzeugten immer noch Vokabelunsicherheiten. So wurde z.B. das Wort ‚Interaktivität' nun in der zweiten Fragebo- genfassung in einer Fußnote erläutert. Die Persönlichkeitsskala

„Selbstwirksamkeitserwartungen im Fach" wurde nahezu gänzlich neu formuliert, da die Items als zu ähnlich und uneindeutig emp- funden wurden. Des Weiteren wurden Instruktionen im Fragebogen geändert, da das Vorgehen beim Ausfüllen nicht unmittelbar ver-

(5)

ständlich war. Bei vier Fragen wurde der Antwortschlüssel umge- dreht. Die Probanden waren an die Reihenfolge von 1 „trifftnicht zu" bis 5 „trifft zu" gewöhnt. Bei vier ja/nein-Fragen stand das ja- Kästchen an erster Stelle und das nein-Kästchen an zweiter. Hier zeigte sich ein Zögern („Ach so, jetzt ist das anders herum..."), da bei einer ja-Antwort automatisch zur rechten Seite der Antwort- möglichkeiten tendiert wurde, was in einigen Fällen zu fehlerhaften Antworten führte.

• Schritt 4: Quantitative Analyse

Methode

Die statistische Absicherung des Erhebungsinstrumentes erfolgte an einer für die Zielpopulation repräsentativen Stichprobe von 328 Studierenden. Die Studenten der Humanmedizin rekrutierten sich aus den Universitäten Köln (n=123), Dresden (n=100) und Ham- burg (n=105). Das durchschnittliche Alter betrug 23,87 Jahre (SD=3,11). Das Geschlechterverhältnis betrug 195 (60% weiblich) zu 130 (40% männlich). Die Befragung fand unter den Teilnehmern der Veranstaltung ‚Allgemeine Pharmakologie' statt, die Mehrheit der Befragten (66%) befand sich zu diesem Zeitpunkt im 6.

Fachsemester. Es wurde die jeweils letzte Veranstaltungssitzung des Sommersemesters 2002 als Erhebungszeitpunkt gewählt. Um eine möglichst einheitliche Ausgangsbasis an allen Erhebungsstand- orten zu schaffen, hatten die Dozenten zuvor standardisierte In- struktionen erhalten, um die Studierenden zur Teilnahme zu bewe- gen. Die ausgefüllten Fragebögen wurden anschließend von den Verantwortlichen vor Ort entgegengenommen, was einen 100%igen Rücklauf sicherte.

Ergebnisse

Faktorenanalyse: Als faktorenanalytische Methode wurde die Hauptkomponenten-Analyse gewählt. Die Faktorenextraktion erfolgte unter Anwendung des Scree-Kriteriums, nach dem Faktoren mit einem kontinuierlich hohen Eigenwerte-Verlauf solange als bedeutsam erachtet werden bis ihre Varianzaufklärung plötzlich einbricht (‚Knick im Eigenwertediagramm'). Das orthogonale Rotations-Verfahren bestand in der VARIMAX-Methode. Nach jeder Faktorenanalyse wurden Items, die den itemanalytischen Anforderungen nicht entsprachen, solange entfernt, bis eine zufrieden stellende Faktorenstruktur erreicht war. Folgende Kriterien wurden für die Zugehörigkeit eines Items zu einem Faktor festge- legt: 1. Die Ladung auf dem Hauptfaktor beträgt >,50, 2. Die Differenz zwischen Hauptfaktorladung und Fremdfaktorladung ist >,15, und 3. Es herrscht ‚face validity': die Items passen inhaltlich zum theoretischen Konstrukt. Items, die sich inhaltlich auf ähnliche Sachverhalte beziehen, gingen gleichzeitig in einen Analyseschritt ein. Diese ‚gegenseitige Testung' konstruktnaher Faktoren erzeugt qualitativ hochwertigere Skalen als die einfache Faktorenanalyse, bei der die Konstrukte getrennt voneinander betrachtet werden. Für den Bereich der allgemeinen Merkmale wurden die Lernstrategien zusammen betrachtet, da hier jeweils konkrete Umgehensweisen mit Lernmaterialien thematisiert werden. Des weiteren wurden die übrigen Lerneigenschaften konstrukt- übergreifend analysiert, da alle überdauernde, abstraktere Facetten und Tendenzen des Lernprozesses abbilden. Im Bereich der spezifischen Lernermerkmale thematisierten alle Items CBL und gingen daher gemeinsam in eine Analyse ein.

Lerneigenschaften und Lernstrategien:Die faktorenanalytische Betrachtung des Item-Komplexes zu den Lerneigenschaften erbrachte fünf distinkte Skalen. In fast allen Fällen ergab sich eine Übereinstimmung der a-priori konzipierten und empirisch gewon- nenen Skalen (Abbildung 2). Die Komponenten 1-4 konnten in vollem Umfang faktorenanalytisch bestätigt werden. Die Kompo- nente 5 war zunächst mit 5 Items operationalisiert worden, von denen 2 Items nicht den itemanalytischen Anforderungen genügten.

Nach Eliminierung dieser Items konnte eine zufrieden stellende Faktorenstruktur erzielt werden ohne dabei die Inhaltsvalidität des Konstruktes zu gefährden. Ein Konstrukt, „Selbstständigkeit beim Lernen", musste aufgrund ungenügender Itemkennwerte ausge- schlossen werden. Hierbei handelte es sich um eine gekürzte Version einer Skala des Leistungsmotivationsinventars (LMI) [21]. Da dieses Konstrukt für die spätere Evaluation von CBL aus wissenschaftlichem Interesse unverzichtbar ist, wird es in der revidierten Fragebogenfassung vollständig gemäß dem LMI über- nommen. Die faktorenanalytische Betrachtung der Lernstrategie- Items erbrachte 3 distinkte Skalen (Abbildung 3), die angenommen werden konnten. Mehrere Items mussten aufgrund unbefriedigender Gütekennwerte eliminiert werden. Ein Konstrukt, „Metakognitive Lernstrategien", konnte nicht bestätigt werden. Da es für die For- schungsziele nicht zentral war, wurde es wegen defizitärer Ver- wendbarkeit fallen gelassen.

Die spezifischen Merkmale im Hinblick auf den Evaluations- gegenstand:Nach Eliminierung zahlreicher Items, die keinem Hauptfaktor zugeordnet werden konnten, resultierten 4 unabhän- gige Skalen zur Messung der Einstellung und der spezifischen Erwartungen an CBL (Abbildung 4). Für alle drei Bereiche - Ei- genschaften, Strategien, CBL-Merkmale - ergab eine geschlechts- spezifische Überprüfung eine erhaltene Faktorenstruktur in beiden Stichproben (w / m).

Reliabilitätsanalyse: Die Reliabilität, geschätzt anhand des Konzepts der internen Konsistenz, entschied im Weiteren über die Annahme eines Faktors als Skala. Die interne Konsistenz einer Skala wurde mittels des Alpha Koeffizienten nach Cronbach er- rechnet (Tabelle 2). Meinungen über zufrieden stellende Untergren- zen von Alpha variieren stark (zwischen ,60 und ,90). Während der traditionelle Alpha-Wert mit ,60 [2] angegeben wird, liegt der aktuell übliche Standard bei ,70 (z.B. [15], [6]), der auch hier als Untergrenze gewählt wurde. Die kursiv gedruckten Alpha-Werte der Skalen „Wiederholen" und „Wunsch nach Interaktivität durch Übungen" deuten auf notwendige Verbesserungen der Skalen hin.

• Schritt 5: Validierung

Das Testgütekriterium der Validität liefert Informationen darüber, ob ein Test das misst, was er zu messen vorgibt [5]. Die Erfassung der Validität ist zumeist aufwendig, da vergleichbare Zusatzinfor- mationen verfügbar sein müssen. Im vorliegenden Fall sollte, wie hier geschehen, eine faktorenanalytische Betrachtung der Messin- strumente vorgenommen werden (Konstruktvalidierung), nicht aber eine Kriteriumsvalidierung. Dies begründet sich darin, dass hierfür die Messung zusätzlicher Parameter notwendig ist, was die Fragebogenlänge in einem nicht mehr akzeptablen Maße erhöht hätte. Zudem ergibt sich die Möglichkeit zur Erhebung von Außen- kriterien (z.B. tatsächliches Lernverhalten) naturgemäß beim Einsatz des Instruments im Rahmen einer Intervention. Daher erfolgt die Kriteriumsvalidierung zu einem späteren Zeitpunkt.

(6)

Abbildung 2: Faktorenladungen der Items zur Erfassungen von Lerneigenschaften (n=304).Komponenten: 1=Soziale Interaktion beim Lernen, 2=Intrinsische Lernmotivation, 3=Aufmerksamkeit beim Lernen, 4=Selbstwirksamkeitserwartungen im Fach, 5=Interesse am Fach

Abbildung 3: Faktorenladungen der Items zur Erfassung von Lernstrategien (n=321).Komponenten: 1=Elaborieren, 2=Organisieren, 3=Wiederholen

(7)

Abbildung 4: Faktorenladungen der spezifischen Merkmale im Hinblick auf CBL (n=311).Komponenten: 1=Einstellung zu CBL, 2=Wunsch nach Multimedialität, 3=Wunsch nach Praxisbezug, 4=Wunsch nach Interaktivität durch Übungen

Tabelle 2: Reliabilitätskennwerte der Skalen

(8)

Diskussion

Das Hauptanliegen dieser Arbeit war es, einen systematischen Einblick in die Entwicklung eines Befragungsinstrumentes unter Berücksichtigung geltender sozialwissenschaftlicher Standards zu geben. Der so entstandene 57-Item-Fragebogen kann im Hinblick auf die Testgütekriterien der Objektivität, Reliabilität und Validität als zufrieden stellend beurteilt werden, wobei noch folgende Opti- mierungsvorschläge zu nennen sind:

▪ Für zwei Skalen („Wiederholen" und „Wunsch nach Interaktivität durch Übungen") sollten die mäßigen Reliabilitätskennwerte durch Erhöhung der Itemanzahl verbessert werden.

▪ In der revidierten Fassung soll die Skala „Selbstständigkeit" in Anlehnung an den LMI [21] vollständig übernommen werden.

▪ Mit den faktorenanalytischen Untersuchungen hat eine Konstrukt- validierung stattgefunden. Für eine Kriteriumsvalidierung sind weitere Untersuchungen vorgesehen.

In Anbetracht dessen, dass ein standardisiertes quantitatives Ver- fahren vorliegt, kann die Auswertungsobjektivität als erfüllt gelten.

Die Durchführungsobjektivität wurde durch standardisierte Instruk- tionen sicher gestellt. Ermüdungserscheinungen oder Akzeptanz- probleme waren bei der ursprünglichen Bearbeitungszeit von 20 Minuten nicht zu verzeichnen. Die Bearbeitungszeit sollte nunmehr bei ca. 10 Minuten liegen.

Mit dem konzipierten Fragebogen liegt ein quantitatives Instrument vor, das für die Evaluation von CBL-Programmen eingesetzt werden kann. Der lernerzentrierte Schwerpunkt erlaubt die Betrach- tung von Akzeptanz- oder Leistungsmessungen unter Berücksich- tigung individueller Kompetenzen und Lerngewohnheiten, was bisher kaum erfolgt ist. Damit könnten nicht nur Erkenntnisse über individuumsabhängige Determinanten der Akzeptanz oder des Lernerfolgs von CBL gewonnen werden, sondern auch Hinweise darauf, inwiefern (und welche) Voraussetzungen auf Seiten der Lernenden bei der Konstruktion von CBL-Programmen berück- sichtigt werden sollten.

Danksagung

Das Projekt wurde vom BMBF unterstützt (NM 08 NM 109 C an S.H.).

Korrespondenzadresse:

• Prof. Dr. med. Stefan Herzig, Universität zu Köln, Institut für Pharmakologie, Gleueler Straße 24, 50931 Köln, Deutschland, Tel.: 0221-4786064

stefan.herzig@uni-koeln.de

Literatur:

[1] Adler MD, Johnson KB. Quantifying the literature of computer-aided instruction in medical education. Acad Med. 2000; 75: 1025-8.

[2] Aharony L, Strasser S. Patient satisfaction: what we know about and what we still need to explore. Med Care Rev. 1993; 50: 49-79.

[3] Benninghaus H. Einführung in die sozialwissenschaftliche Datenanalyse. München:

Oldenbourg; 1990.

[4] Bishop G. Qualitative Anlaysis of Question-Order and Context Effects: The Use of Think-Aloud-Responses. In: Schwarz N, Sudman S, eds. Context Effects in Social and Psychological Research. New York: Springer; 1992. p. 149-162.

[5] Bortz J, Döring N. Forschungsmethoden und Evaluation für Sozialwissenschaftler.

Berlin: Springer; 2002.

[6] Bullinger M. Lebensqualitätsmessung mit dem SF-36 Health Survey. In: Ruprecht T. Qualitätsbewertung von Gesundheitsdienstleistungen - Konzepte, Methoden, praktische Beispiele. Sankt Augustin: Asgard; 1998. p. 93-99.

[7] Dillon A, Gabbard R. Hypermedia as an educational technology: A review of the quantitative research literature on learner comprehension, control, and style. Rev Educat Res. 1998; 68: 322-49.

[8] Fowler FJ. Improving Survey Questions. Thousands Oaks: Sage; 1995.

[9] Hartley K, Bendixen LD. Educational research in the internet age: examining the role of individual characteristics. Educat Res. 2001; 53: 22-5.

[10] Issing LJ, Strzebkowski R. Lehren und Lernen mit Multimedia.

Medienpsychologie. 1995; 7: 287-319.

[11] Keane DR, Norman GR, Vickers J. The inadequacy of recent research on computer-assisted instruction. Acad Med. 1991; 66: 444-8.

[12] Land A, Pfaff H, Toellner-Bauer U, Scheibler F, Freise DC. Qualitätssicherung des Kölner Patientenfragebogens durch kognitive PretestTechniken. In: Pfaff H, Freise DC, Mager G, Schrappe M, eds. Der Kölner Patientenfragebogen (KPF).

Sankt-Augustin: Asgard; 2001. p. 91-100.

[13] Leutner D, Brünken R, eds. Neue Medien in Unterricht, Aus- und Weiterbildung:

aktuelle Ergebnisse empirischer pädagogischer Forschung. Münster: Waxmann;

2000.

[14] Lienert GA, Raatz U. Testaufbau und Testanalyse. 5th ed. Weinheim: Beltz Psychologie Verlags-Union; 1994.

[15] Pfaff H, Freise DC. Der Kölner Patientenfragebogen (KPF): Skalen und Indizes.

In: Pfaff H, Freise DC, Mager G, Schrappe M, eds. Der Kölner Patientenfragebogen (KPF). Sankt-Augustin: Asgard; 2001. p. 101-135.

[16] Pintrich PR. The dynamic interplay of student motivation and cognition in the college classroom. Adv Motiv Achievement. 1989; 6: 117-60.

[17] Prüfer P, Rexroth M. Verfahren zur Evaluation von Survey-Fragen: Ein Überblick. ZUMA-Nachrichten. 1996; 39: 95-115.

[18] Schiefele U. Thematisches Interesse, Variablen des Leseprozesses und Textverstehen. Zeitschr Exp Angew Psychol. 1990; 37: 304-32.

[19] Schnell R, Hill, PB, Esser E. Methoden der empirischen Sozialforschung.

München: Oldenbourg, 1989.

[20] Schott F. Evaluation aus theoriegeleiteter, ganzheitlicher Sicht. In: Schenkel P, Tergan SO, Lottmann A, eds. Qualitätsbeurteilung multimedialer Lern- und Informationssysteme. Evaluationsmethoden auf dem Prüfstand. Nürnberg: BW; 2000.

p. 106-125.

[21] Schuler H, Prochaska M, Frintrup A. Leistungsmotivationsinventar. Dimensionen berufsbezogener Leistungsorientierung. Göttingen: Hogrefe; 2001.

[22] Schwarzer R, Jerusalem M. Skalen zur Erfassung von Lehrer- und

Schülermerkmalen. Dokumentation der psychometrischen Verfahren im Rahmen der wissenschaftlichen Begleitung des Modellversuchs Selbstwirksame Schulen; 1999.

Korrigierte Web Version, 2001: http://psychologie.de/Schwarzer

[23] Spector PE. Summated Rating Scale Construction. An Introduction. Newbury Park, CA: Sage Publications; 1992.

[24] Steele DJ, Johnson Palensky JE, Lynch TG, Lacy NL, Duffy SW. Learning preferences, computer attitudes, and student evaluation of computerised instruction.

Med Educ. 2002; 36: 225-32.

[25] Sudman S, Bradburn N. Asking Questions. A Practical Guide to Questionnaire Design. San Francisco: Jossey-Bass; 1982.

[26] Weidenmann B. Psychologie des Lernens mit Medien. In: Weidenmann B, Krapp A, Hofer M, Huber GL, Mandl H, eds. Pädagogische Psychologie. Ein Lehrbuch.

Weinheim: Beltz Psychologie Verlags-Union; 1993. p. 493-554.

[27] Wild KP, Schiefele U, Winteler A. LIST - Ein Verfahren zur Erfassung von Lernstrategien im Studium. In: Krapp A, ed. Arbeiten zur empirischen Pädagogik und pädagogischen Psychologie (Bd. 20). Neubiberg: Gelbe Reihe; 1992.

[28] Wild KP. Lernstrategien im Studium. Strukturen und Bedingungen. Münster:

Waxmann; 2000.