Faktorielle Validität

In den Übersichten zu Lehrevaluationsinventaren zeigt sich, dass Faktorenanalysen in Validierungsstudien häufig eingesetzt wurden (Braun, 2007, S.

26-49; Rindermann, 2009, Kap. 6; Sippel, 2014). Ziel sei es, Itemsätze zu

53 strukturieren und die Zusammenhangsmuster zwischen Items auf grundlegende Faktoren zurückzuführen. Diese Faktoren erklärten dann das Zusammenhangsmuster zwischen den Items. (Rindermann, 2009, S. 79)

Solch ein Zusammenhangsmuster wird in Abbildung 7 für den Faktor Planung und Darstellung des Fragebogens zur Evaluation von Vorlesungen (Staufenbiel, 2000) veranschaulicht.

Abbildung 7: Die auf Basis einer Faktorenanalyse identifizierte Skala „Planung und Darstellung“

In Tabelle 1 wird eine Auswahl von Ergebnissen zum Thema der Dimensionalität bei Lehrevaluationsinventaren vorgestellt, um einen Einblick in bisherige Forschungsergebnisse darbieten zu können. Dementsprechend handelt es sich nicht um eine vollständige Übersicht zu allen Inventaren, bei denen Fragen zur faktoriellen Validität untersucht wurden. Beachtet werden sollte, dass sich die Analysen dahingehend unterscheiden, dass sie verschiedene Schätzverfahren (wie Maximum Likelihood, Hauptachsenanalysen oder Hauptkomponentenanalysen), Gütekriterien (unter anderem ²-Tests, RMSEA), Abbruchkriterien bei EFAs (Kaiser, Screeplot, Parallelanalysen) angewendet haben und somit nicht immer direkt vergleichbar sind.

54

Tabelle 1: Überblick über gefundene Dimensionen in Lehrevaluationsinventaren anhand von Faktorenanalysen

Instrument Gefundene/replizierte Dimensionen

Fragebogen zur Veranstaltungsbeurteilung im Studienfach Psychologie (Diehl & Kohr, 1977)

1. Relevanz und Nützlichkeit der Veranstaltungsinhalte: 10 Items 2. Verhalten des Dozenten gegenüber den

Veranstaltungsteilnehmern: 10 Items

3. Angemessenheit von Schwierigkeit und Umfang der Veranstaltungsinhalte: 10 Items

4. Methodik und Aufbau der Veranstaltung: 10 Items Fragebogen der Einstellungen und

Verhaltensreaktionen in Seminaren (Müller-Wolf, 1977)

1. Gefühl sozialemotionaler Unterstützung und Zufriedenheit mit dem Seminar

2. kreativ-freies vs. verkrampft-gehemmtes Verhalten 3. Entwicklung von Eigeninitiative

Fragebogen zur Beurteilung von

Lehrveranstaltungen (Winteler & Schmolck, 1979;

Winteler & Schmolck, 1983)

1. Klima

2. Fachdiskussion 3. Stoffverständnis 4. Wiederholungen

5. Stoffauswahl und Gliederung 6. Schwierigkeit

7. Relevanz-Verdeutlichung

Spezifische Faktoren: Akustische Verständlichkeit, Aktivierung, Lehrziele Leerlauf, Beispiele und Rückmeldung

Fragebogen zur Einschätzung der Ausbildungsqualität (Kramis, 1990)

1. Bedeutsamkeit (Inhalte und Ziele)

2. Effizienz (Lernorganisation und Lernaktivitäten) 3. Lernklima

Fragen zur Veranstaltung (Esser, 1994)

1. Bewertung des Dozenten 2. Bewertung der Veranstaltung 3. Verständlichkeit/Überforderung

Marburger Fragebogen zu Akzeptanz der Lehre (Basler, Bolm, Dickescheid & Herda, 1995)

1. Motivation für den Lernstoff 2. Didaktik und Organisation 3. Fachliche Kompetenz

4. Motivation zur aktiven Teilnahme Fortsetzung auf folgender Seite.

55 Fortsetzung Tabelle 1:

Lehrverhaltensinventar (Astleitner & Krumm, 1996)

1. Sprache: drei Items 2. Nonverbales Verhalten 3. Erklärung des Lehrstoffes 4. Organisation: vier Items 5. Motivierung: drei Items 6. Aufgabenorientierung 7. Belohnung: drei Items 8. Partizipation: drei Items

Fragebogen zur Beurteilung einer Lehrveranstaltung durch Studierende (Westermann et al., 1998)

1. Anregung zur inhaltlichen Auseinandersetzung 2. Arbeitsaufwand und -belastung der Studierenden 3. Interaktion und soziales Klima

4. Strukturierung der Lehrinhalte 5. Engagement der Lehrenden

6. Prüfungsanforderung und andere extrinsische Motivation

7. Erwerb von Wissen und Verständnis: zwei Items

Fragebogen zur Beurteilung einer Lehrveranstaltung durch Studierende – Weiterentwicklung (Braun, 2002; zitiert nach Braun 2007)

1. Arbeitsklima unter den Studierenden 2. Motivation der Studierenden 3. Soziale Kompetenz der Lehrenden 4. Zielklärung der Lehrveranstaltung 5. Aufwand/Anforderungen: drei Items

6. Lehrveranstaltungsräume/Rahmenbedingungen 7. Didaktische Kompetenz der Lehrenden

8. Engagement der Lehrenden: fünf Items 9. Zufriedenheit mit der Veranstaltung

Fragebögen zur Evaluation von jeweils Vorlesungen, Seminaren oder Praktika (Staufenbiel, 2000)

1. Planung und Darstellung 2. Umgang mit Studierenden 3. Interessantheit und Relevanz 4. Schwierigkeit und Umfang

5.a Qualität der Referate bei Seminaren 5.b Betreuung bei Praktika

Fortsetzung auf folgender Seite.

56

Trierer Inventar zur Lehrevaluation (Gollwitzer &

Scholtz, 2003)

1. Anregung und Motivation 2. Strukturiertheit und Didaktik 3. Interaktion und Kommunikation

4. Persönlicher Gewinn durch die Veranstaltung 5. Anwendungsbezug

Fragebogen zum Dozierendenverhalten (Koch, 2004) 19 Faktoren nicht reproduzierbar

Diskussion

Onwuegbuzie et al. (2007, S. 118-119) kritisieren die alleinige Verwendung exploratorischer Faktorenanalysen, da sie dazu führe, dass Items in einem Inventar nicht mehr Charakteristika effektiver Lehre, sondern Dimensionen eines gegebenenfalls nicht auf theoretischer Basis entwickelten Instruments repräsentierten.

Ory und Ryan (2001, S. 34-35) schlussfolgern, dass eine faktorenanalytische Vorgehensweise der Analyse hunderter Mathematikaufgaben gleiche, die dann antwortbasiert gruppiert würden, und diese Cluster dann als essenzielle Fähigkeiten zur Lösung mathematischer Probleme angesehen würden. Das bedeute, dass Items in Inventare aufgenommen würden, weil Studierende sie ähnlich beantworteten und nicht, weil sie eine gezielt erhobene Eigenschaft darstellten.

Abrami (1989) kritisierte, dass Faktorenanalysen inkonsistente Ergebnisse aufwiesen und daher nicht unbedingt zu verwenden seien. Dies zeigte sich auch in der Übersichtsarbeit von Braun (2007, S. 26-49), bei der sieben von elf Inventaren uneindeutige Faktorlösungen, nicht replizierte Strukturen oder ähnliches aufwiesen.

Da die Diskussion zur Verwendung von Faktorenanalysen bei studentischen Lehrevaluationsinventaren komplex ist, wird diese in einem breiteren Kontext in Abschnitt 5.7.2 weitergeführt.

57 5.6.4 Klassische Testtheorie

Bedeutung

Im Rahmen der Klassischen Testtheorie wurde insbesondere die interne Konsistenz der Lehrevaluationsinventare überprüft. Hiermit soll sichergestellt werden, dass die Skalen und Subskalen weitgehend messfehlerfrei die Einschätzungen der Studierenden bezüglich der Lehrqualität widergeben.

Beispiele

Braun (2007, S. 26-49), Rindermann, (2009, Kap. 7) und Sippel (2014) haben interne Konsistenzen verschiedener deutschsprachiger Lehrevaluationsinventare zusammengetragen (eine Auswahl von diesen wird in Tabelle 2 wiedergegeben):

Tabelle 2: Interne Konsistenz einer Auswahl von Lehrevaluationsinventaren

Inventar Gesamtskala Subskalen

Fragebogen zur Veranstaltungsbeurteilung im Studienfach Psychologie (Diehl & Kohr, 1977) und Nachuntersuchung von (Kleine & Merkens, 1979)

- .91 - .95

Fragebogen zur Beurteilung von Lehrveranstaltungen (Winteler & Schmolck, 1979) Marburger Fragebogen zur Akzeptanz der Lehre (Basler et

al., 1995) - .69 - .86

Lehrverhaltensinventar (Astleitner & Krumm, 1996) .24 - .84 Fragebogen zur Beurteilung einer Lehrveranstaltung durch

Studierende (Westermann et al., 1998) - -

Fragebogen zur Beurteilung einer Lehrveranstaltung durch Studierende – Weiterentwicklung (Braun, 2002; zitiert nach Braun 2007)

- .66 - .88

Fragebogen zur Evaluation von Vorlesungen, Seminaren

oder Praktika (Staufenbiel, 2000) - .50 - .81

Fortsetzung auf folgender Seite.

58

Fortsetzung Tabelle 2:

Heidelberger Inventar zur Lehrveranstaltungsevaluation II

(HILVE-II) (Rindermann, 2009) - .01 - .91

Trierer Inventar zur Lehrevaluation (Gollwitzer & Scholtz,

2003) - .73 - .84

Fragebogen zum Dozierendenverhalten (Koch, 2004) - .60 - .98

Diskussion

Aufgrund verschiedener theoretischer Überlegungen kann in Zweifel gezogen werden, dass interne Konsistenzen eine Aussagekraft bei der Mehrheit von Lehrevaluationsinventaren besitzen. Es besteht sogar die Gefahr, dass im Kontext der Optimierung der Reliabilität, Inventaren unnötig Items zugefügt oder entfernt werden.

Da dies ein Gegenstand komplexerer Diskussion ist, wird auch hier im Abschnitt 5.7.2 ausführlich darauf eingegangen.

5.6.5 Generalisierbarkeitstheorie

Im Dokument Die Validität der Interpretationen studentischer Lehrevaluationsergebnisse: (Seite 64-70)