Videotutorials zur logistischen Regression

(1)

Videotutorials zur logistischen Regression

Dr. Markus Tausendpfund

Innovative Lehrprojekte

an der FernUniversität

in Hagen

(2)

Innovative Lehrprojekte

an der FernUniversität in Hagen

Herausgeber:

Koordinationsstelle für E-Learning und Bildungstechnologien Dezernat 3.3 – Personalentwicklung

(3)

Inhaltsverzeichnis 3

Inhaltsverzeichnis

1 Einführung ... 4

2 Projekt: Videotutorials zur logistischen Regression ... 4

2.1 Planung- und Durchführungsphase ... 5

2.2 Nutzung und Evaluation ... 7

2.3 Reflexion des E-Teaching-Projekts ... 15

3 Reflexion des E-Teaching-Zertifikatsprogramms ... 16

4 Anhang: Projektskizze ... 18

4.1 Einführung ... 18

4.2 Zielsetzung des Projekts ... 18

4.3 Projektplan ... 19

4.4 Zeitplan und Einschätzung des zeitlichen Aufwands ... 20

5 Literatur ... 20

(4)

Einführung 4

1 Einführung

Der vorliegende Bericht informiert über das Projekt „Videotutorials zur logistischen Regression“, das im Rahmen des E-Teaching-Zertifikatsprogramms im Wintersemester 2018/19 an der FernUni- versität in Hagen realisiert wurde. In Abschnitt 2 wird das Projekt vorgestellt und die Planungs- und Durchführungsphase dokumentiert, ehe die Nutzung und die Ergebnisse der Evaluation dargestellt werden. Der Abschnitt endet mit einer Reflexion des E-Teaching-Projekts. Das dritte Kapi- tel bietet eine Reflexion des E-Teaching-Zertifikatsprogramms an der FernUniversität. In diesem Kapitel werden auch Vorschläge gemacht, um das Zertifikatsprogramm zu verbessern. Im Anhang findet sich die Projektskizze des E-Teaching-Projekts.

2 Projekt: Videotutorials zur logistischen Regression

Das E-Teaching-Projekt wurde im Modul M1 „Quantitative Methoden der Sozialwissenschaften“

im BA-Studiengang „Politikwissenschaft, Verwaltungswissenschaft, Soziologie“ der FernUniversi- tät in Hagen im Wintersemester 2018/19 realisiert. Im Modul werden grundlegende Forschungs- methoden und Analyseverfahren vorgestellt, die in den Sozialwissenschaften eingesetzt werden.

Dabei liegt der Schwerpunkt auf den quantitativen Methoden der Sozialwissenschaften. Das Ziel des Moduls ist die „methodische Alphabetisierung“ (Literacy). Die Studierenden sollen durch dieses Modul in die Lage versetzt werden, empirische quantitative Studien zu verstehen und kritisch zu bewerten.¹

In zentralen Themengebieten der Politikwissenschaft (z.B. Wahlforschung), der Verwaltungswissenschaft (z.B. Evaluationsforschung) und der Soziologie (z.B.

soziale Ungleichheit) werden heute verstärkt quantitative Analyseverfahren eingesetzt, um konkrete Forschungsfragen zu bearbeiten. Regressionsanalytische Verfahren gehören dabei zu den am häufigsten verwendeten Auswertungsverfahren in den Sozialwissenschaften. Sie tragen dem Umstand Rechnung, dass sich in der sozialen Wirklichkeit zu erklärende Phänomene so gut wie nie auf nur einen Faktor zurückführen lassen, sondern in der Regel verschiedenen Einflüssen un- terworfen sind. Die lineare Regressionsanalyse lässt sich immer dann anwenden, wenn eine lineare Beziehung zwischen der abhängigen Variable und den unabhängigen Variablen besteht und die abhängige Variable ein metrisches Skalenniveau aufweist. Die logistische Regression kommt bei einer dichotomen abhängigen Variable zum Einsatz. Das Verständnis dieser beiden Analysever- fahren ist für (angehende) Sozialwissenschaftler und Sozialwissenschaftlerinnen eine zentrale Vo- raussetzung, um quantitative Studien bewerten zu können. Wer nicht in der Lage ist, die Resultate empirischer Analysen nachzuvollziehen, kann keine Aussagen über ihre Gültigkeit machen und

_________________________________________________

1 Eine Beschreibung des Moduls und der eingesetzten Studienbriefe findet sich im Studienportal unter https://www.fernuni-hagen.de/KSW/portale/bapvs/studium/ws-201819/modul-m1/ (letzter Abruf:

01.03.2019). Informationen zur Moodle-Lernumgebung und zum didaktischen Konzepts des Moduls fin- den sich unter https://ekoo.fernuni-hagen.de/aktivierung-von-studierenden-im-modul-quantitative- methoden-der-sozialwissenschaften/ (letzter Abruf: 01.03.2019).

Analyseverfahren:

Regression

(5)

Projekt: Videotutorials zur logistischen Regression 5

damit auch kein fundiertes Urteil über Hypothesen und Theorien abgeben. Für Sozialwissenschaft- lerinnen und Sozialwissenschaftler sind deshalb elementare Kenntnisse dieser quantitativen Ana- lyseverfahren unverzichtbar.

Deshalb werden im Modul M1 „Quantitative Methoden der Sozialwissenschaften“ im BA-Studi- engang „Politikwissenschaft, Verwaltungswissenschaft, Soziologie“ Analyseverfahren vorgestellt, die den Einfluss mehrerer unabhängiger Variablen (z.B. Bildung und Berufstätigkeit) auf eine ab- hängige Variable (z.B. Einkommen) schätzen können. Die lineare und logistische Regression wird dabei in zwei Kursen behandelt. Während der Kurs 33205 „Quantitative Analyseverfahren“ eine Einführung in die lineare und logistische Regression bietet, behandelt der Kurs 33225 „Quantita- tive Datenanalyse“ die Schätzung einer linearen und logistischen Regression auf Grundlage des Statistikprogramms SPSS.

Während zur linearen Regression bereits fünf Vodcasts produziert wurden, liegt zur logistischen Regression aktuell noch kein Vodcast vor. Dies ist aus didaktischer Perspektive insbesondere aus zwei Punkten beklagenswert: Erstens werden in den Sozialwissenschaften viele Fragestellungen untersucht, die in Variablen mit zwei Ausprägungen (sogenannte dichotome oder binäre Variab- len) abgebildet werden können. Typische Fragestellungen sind etwa die Wahlbeteiligung, der Kauf eines bestimmten Produkts oder auch der Tabakkonsum. Zweitens erschweren die nicht-lineare Funktion (Logit-Funktion) und das iterative Maximum-Likelihood-Verfahren das Verständnis der logistischen Regression, sodass die Interpretation der logistischen Regression besonders anspruchsvoll ist. Die Produktion von Vodcasts zur logistischen Regression soll dieses Manko beheben und den Studierenden einen zusätzlichen Zugang bieten, um sich mit der logistischen Regres- sion auseinanderzusetzen und die methodische Kompetenz zu fördern. Die Auseinandersetzung mit der logistischen Regression wird durch ergänzende Testfragen (z.B. Moodle-Test) unterstützt, die im Kontext der Videos entwickelt werden.

2.1 Planung- und Durchführungsphase

Die Vodcasts wurden mit der Software Camtasia (Version 9) im Herbst 2018 produziert. Die Vi- deoserie umfasst insgesamt vier Videos, die aufeinander aufbauen.

Das erste Video behandelt die Grundlagen der logistischen Regression. Es werden die Unterschiede zur linearen Regression (nicht lineare Regressionskurve

und Schätzverfahren) behandelt. Zunächst werden die Grundlagen der linearen Regression wie- derholt, ehe das lineare Wahrscheinlichkeitsmodell vorgestellt werden. Es werden typische Prob- leme des linearen Wahrscheinlichkeitsmodells diskutiert. Auf dieser Grundlage wird die logistische Regression vorgestellt und zentrale Unterschiede zur linearen Regression behandelt.

Link zum Video:

http://video.fernuni-hagen.de:8080/vorlesungen/33225/LR_Grundlagen.mp4 Das zweite Video behandelt die Ergebnisinterpretation einer logistischen Re- gression. Die Fragestellung stammt dabei aus der politischen Partizipationsfor-

Video 1:

Grundlagen

Video 2:

Interpretation

(6)

schung. Auf Grundlage der Daten des European Social Survey 2016 werden die Bestimmungsfak- toren der Beteiligung an einer Unterschriftenaktion untersucht. Aus didaktischen Gründen be- schränkt sich die Darstellung dabei auf vier zentrale Individualmerkmale: Geschlecht, Alter, Nach- richtenkonsum und politisches Interesse. Nach der Vorstellung der Fragestellung, der Daten und der Operationalisierung werden die Ergebnisse einer logistischen Regression präsentiert. Im Mit- telpunkt steht dabei die angemessene Ergebnisinterpretation. Es wird die angemessene Interpre- tation der Logit-Koeffizienten (Regressionskoeffizienten B) und der Odds-Ratios (Exp(B)) behandelt. Außerdem wird erläutert, wie die Signifikanz der Regressionskoeffizienten zu interpretieren ist.

Link zum Video:

http://video.fernuni-hagen.de:8080/vorlesungen/33225/LR_Interpretation.mp4

Logistische Regressionskoeffizienten gehören sicherlich nicht zu den anschau- lichsten Größen der empirischen Sozialforschung. Für ausgewählte Kombinati- onen können Wahrscheinlichkeiten berechnet werden. Das Video behandelt die händische Be- rechnung der Wahrscheinlichkeiten und stellt damit eine weitere Interpretationsmöglichkeit logistischer Regressionen vor.

Link zum Video:

http://video.fernuni-hagen.de:8080/vorlesungen/33225/LR_Wahrscheinlichkeitsinterpretation.mp4 Das vierte Video thematisiert die Gütekriterien einer logistischen Regression. In der linearen Regression existiert mit R² ein anschauliches Maß der Modellgüte.

R² entspricht dabei dem Anteil erklärter Varianz an der Gesamtvarianz und liegt stets zwischen 0 und 1. Bedauerlicherweise existiert ein solches anschauliches Maß nicht für die logistische Regres- sion. Als Ersatz haben Statistiker sogenannte Pseudo-R²-Maßzahlen entwickelt, die R² insofern ähneln, da sie erstens auch nur Werte zwischen 0 und 1 annehmen können und zweitens ein höherer Wert auch auf ein „besseres“ Modell hindeutet. SPSS gibt standardmäßig die Pseudo-R² von Cox und Snell sowie Nagelkerke aus. Im Video werden die beiden Maßzahlen vorgestellt und typische Fehler der Interpretation illustriert.

Link zum Video:

http://video.fernuni-hagen.de:8080/vorlesungen/33225/LR_Bewertung.mp4

Ergänzend zu den Videos wurden Übungsfragen entwickelt, die die Auseinan- dersetzung mit den Inhalten fördern sollen. Dabei wurden drei unterschiedliche Formate der Testfragen entwickelt.

– Einige Übungsfragen wurden mittels h5P direkt in die Videos integriert. An einzelnen Stellen wurde das Video kurz unterbrochen und die Studierenden waren aufgefordert, die Übungsfrage zu beantworten.

– Es wurde ein Moodle-Test „Logistische Regression“ entwickelt, der nach dem Anschauen der Videos bearbeitetet werden konnte. Dieser Moodle-Test beinhaltete mehrere Fragen zu den Inhalten des Kursmaterials und der Videos. Die erfolgreiche Bearbeitung des Moodle-Tests wurde mit einem Badge belohnt.

Video 3:

Interpretation 2

Video 4:

Bewertung

Entwicklung von Übungsfragen

(7)

– Es wurden zwei Aufgabenpakete zur logistischen Regression bereitgestellt. Bei diesen Aufgabenpaketen handelte es sich um pdf-Dateien, die Ergebnisse logistischer Regressi- onen darstellten. Zu diesen Ergebnistabellen wurden Verständnisfragen gestellt. Die Auf- gabenpakete enthielten bereits die Musterlösungen, sodass die Studierenden unmittel- bar ihre Lösungen mit den Musterlösungen abgleichen konnten.

Zu den einzelnen Übungsaufgaben wurden ergänzend Moodle-Foren freigeschaltet, die die Stu- dierenden nutzen konnten, um Verständnisfragen zu posten.

2.2 Nutzung und Evaluation

Die produzierten Videos wurden am 21. Dezember 2018 in der Moodle-Lernumgebung veröffent- licht. Die Videos wurden in die Phase „Multivariate Datenanalyse“ eingeordnet, die vom 7. bis 20.

Januar 2019 im Mittelpunkt der Moodle-Lernumgebung stand. Via Moodle-Nachrichten wurden die Studierenden auf die neuen Videos hingewiesen.

Mit der Anwendung „FEU-Kurswerkzeuge“ steht ein Instrument zur Verfü- gung, um die Nutzung der Videos (Anzahl der Abrufe) zu erfassen. Die Anwen-

dung erfasst allerdings nur die Abrufe in der Moodle-Lernumgebung. Zusätzlich waren die Videos auch über den Virtuellen Studienplatz verfügbar. Allerdings existiert hierfür keine Nutzungsstatis- tik.

Tabelle 1 gibt eine Übersicht über die Abrufstatistiken der Tutorials in Moodle. Im Zeitraum vom 16. Dezember 2018 bis 24. Februar 2019 wurden die Videos 285 Mal abgerufen.²

Die Abrufzahlen bleiben etwas hinter der Nutzung der Videos zur linearen Regression zurück. Zum Vergleich: Im gleichen Zeitraum wurde das erste Einführungsvideo zur linearen Regression 114 Mal abgerufen, das zweite Einführungsvideo zur linearen Regression noch 94 Mal. Das Video zur Interpretation einer linearen Regression wurde ebenfalls 94 Mal abgerufen, das Video zur Modell- güte einer linearen Regression noch 84 Mal. Das Video zur Durchführung einer linearen Regres- sion mit dem Statistikprogramm SPSS wurde 81 Mal abgerufen.

Die Zahlen lassen den Schluss zu, dass mit steigender Komplexität des Themas auch die Abrufzah- len sinken. Nichtdestotrotz können die Abrufzahlen durchaus als zufriedenstellend bezeichnet werden. Die Zahl der Klausurteilnehmenden liegt je Semester bei 80 Personen. Zwar liegen keine Individualdaten zur Nutzung der Videos zu, aber zumindest auf Aggregatebene ist die Zahl der Klausurteilnehmenden und der Abrufhäufigkeiten durchaus kompatibel.

_________________________________________________

2 Die Moodle-Statistik erfasst nur die Abrufe in der Lernumgebung. Die Videos konnten auch über den Virtuellen Studienplatz angeschaut und heruntergeladen werden. Die Ergebnisse der Evaluation deuten allerdings darauf hin, dass der Mehrheit der Studierenden diese Möglichkeit nicht bekannt war (siehe Abbildung 5). In der Moodle-Statistik wird auch der Mehrfachabruf nicht ideal erfasst. Hat ein Teilneh- mender das Video in einer Woche mehrmals angeschaut, dann zählt dies als ein Abruf. Falls ein Teilneh- mender das Video allerdings mehrmals in verschiedenen Wochen abruft, dann wird dies in jeder Woche als ein Abruf gewertet. Selbstverständlich bietet die Abrufstatistik auch keine Möglichkeit zu prüfen, ob die Studierenden das Video auch wirklich gesehen und sich mit den Inhalten auseinandergesetzt haben.

Nutzung

(8)

Tabelle 1: Abrufstatistiken der Tutorials in Moodle

Zeitraum Grundlagen Interpretation I Interpretation II Bewertung

16.12.-23.12. 3 2 2 2

23.12.-30.12. 2 1 1 1

30.12.-06.01. 2 2 2 2

06.01.-13.01. 9 7 7 7

13.01.-20.01. 19 17 17 18

20.01.-27.01. 8 6 8 7

27.01.-03.02. 8 6 5 6

03.02.-10.02. 6 6 6 6

10.02.-17.02. 14 14 14 14

17.02.-24.02. 9 7 7 5

Gesamt 80 68 69 68 Quelle: Eigene Darstellung

Vom 7. Januar bis 28. Februar 2019 wurden die Studierenden eingeladen, eine Rückmeldung zu den Videos zur logistischen Regression zu geben. Die Befra- gung umfasste 14 Items und wurde mit der Aktivität „Feedback“ in Moodle realisiert. Mit folgen- dem Text wurden die Studierenden zur Befragung eingeladen.

Liebe Studierende,

wir sind um die ständige Verbesserung des Studienmaterials bemüht. Ihre Einschät- zungen und Erfahrungen sind uns hierfür eine wertvolle Hilfe. Deshalb möchte ich Sie bitten, mir eine Rückmeldung zu den Videos zur logistischen Regression zu geben.

Ihre Teilnahme ist freiwillig. Alle Angaben werden vertraulich behandelt und können nicht zu einzelnen Befragungsteilnehmenden zurückverfolgt werden. Die meisten Fra- gen lassen sich schnell und einfach durch „Ankreuzen“ beantworten. Bei offenen Fra- gen möchte ich Sie bitten, möglichst knapp aber konkret zu antworten. Erfahrungen haben gezeigt, dass Sie etwa fünf Minuten benötigen werden, um den Fragebogen auszufüllen. Bereits an dieser Stelle möchte ich mich herzlich für Ihre Teilnahme be- danken.

Um die Befragung zu beginnen, klicken Sie bitte auf den Link „Formular ausfüllen“

unterhalb des Textes.

Mit freundlichen Grüßen Markus Tausendpfund

In Moodle wurde mehrmals an die Befragung erinnert. Insgesamt haben sich 31 Studierende an der Befragung beteiligt.

Evaluation

(9)

Mit der ersten Frage konnten die Studierenden eine allgemeine Rückmeldung zum Einsatz von Videos in der Lehre geben. Die Frage lautete: „Wir bewerten Sie allgemein den Einsatz von Videos in der Lehre?“. Wie die Auswertung in Abbildung 1 zeigt, wird der Einsatz von Videos in den Lehre von den Studierenden als (sehr) sinnvoll bewertet.

Abbildung 1: Einsatz von Videos in der Lehre (absolute Häufigkeiten)

Quelle: Eigene Darstellung

Bei der zweiten Frage wurden die Studierenden gebeten, anzugeben, welche Videos zur logistischen Regression sie angeschaut haben. Dabei waren Mehrfachantworten möglich. Die Ergeb- nisse in Abbildung 2 lassen die Schluss zu, dass die meisten Teilnehmenden alle Videos angeschaut haben.

Abbildung 2: Welche Videos wurden angeschaut (absolute Häufigkeiten)

Die Videos wurden mit einer h5p-Anwendung in Moodle integriert. Die Studieren hatten die Mög- lichkeit mitzuteilen, ob es beim Aufruf der Videos zur logistischen Regression technische Schwie- rigkeiten hab. Die Ergebnisse in Abbildung 3 belegen, dass technische Probleme eine absolute Ausnahme darstellen.

4

27

0 5 10 15 20 25 30

überhaupt nicht sinnvoll

eher nicht sinnvoll teils/teils eher sinnvoll sehr sinnvoll

30 31 31 30

0 5 10 15 20 25 30 35

Grundlagen Interpretation I Interpretation II Bewertung Keine

(10)

Abbildung 3: Schwierigkeiten beim Abruf der Videos (absolute Häufigkeiten)

Die Videos sollen das schriftliche Studienmaterial zur logistischen Regression ergänzen, sie können die Auseinandersetzung mit dem Studienmaterial nicht ersetzen. Die Grundlagen der logistischen Regression werden in den Kursen „Quantitative Datenanalyse“ und „Quantitative Analyseverfah- ren“ vermittelt. Bei der Evaluation wurden die Studierenden gefragt, ob sie das Studienmaterial vor oder nach dem Anschauen der Videos gelesen haben. Alternativ konnten sie auch mit „Ich habe das schriftliche Studienmaterial zur logistischen Regression bisher nicht gelesen“ ankreuzen.

Die in Abbildung 4 dokumentierte Auswertung deutet darauf hin, dass die Mehrheit der Studie- renden die Videos nicht als Ersatz zum Studienmaterial ansieht.

Abbildung 4: Lesen des Studienmaterials vor oder nach dem Anschauen (absolute Häufigkeiten)

Die Videos sind mit einer h5P-Anwendung in Moodle integriert, aber die Videos stehen über den Virtuellen Studienplatz auch als Download-Datei zur Verfügung. In Moodle findet sich auch ein Link zu den Videos im Virtuellen Studienplatz. Allerdings zeigt die Auswertung einer entsprechen- den Frage, dass den meisten Studierenden diese Download-Möglichkeit nicht bekannt war (siehe Abbildung 5).

1

28

2 0

5 10 15 20 25 30

ja Nein weiß nicht

17

10

4 0

5 10 15 20

vor dem Anschauen nach dem Anschauen bisher nicht gelesen

(11)

Abbildung 5: Bekanntheit der Download-Möglichkeit der Videos (absolute Häufigkeiten)

Fünf Fragen beschäftigten sich mit dem Inhalt der Videos. Die Studierenden wurden gefragt, ob die Videos mit den Inhalten des Moduls abgestimmt waren, die Videos interessant waren, die Videos verständlich waren, die Videos zum Verständnis der logistischen Regression beigetragen haben und die Videos nützlich waren.

In Abbildung 6 sind die Ergebnisse der Frage dargestellt, ob die Videos mit den Inhalten des Mo- duls abgestimmt waren. 13 Personen haben die Frage mit „trifft eher“ und 17 Personen mit „trifft voll zu“ beantwortet.

Abbildung 6: Videos waren mit den Inhalten des Moduls abgestimmt (absolute Häufigkeiten)

Wie die Ergebnisse in Abbildung 7 zeigen, werden die Videos von den meisten Teilnehmenden als interessant bewertet.

5

25

1 0

5 10 15 20 25 30

ja nein weiß nicht

13

17

0 5 10 15 20

trifft gar nicht zu trifft eher nicht zu teils/teils trifft eher zu trifft voll zu kann ich nicht beurteilen

(12)

Abbildung 7: Videos waren interessant (absolute Häufigkeiten)

Ein wichtiger Qualitätsaspekt der Videos ist die Verständlichkeit. Wie die Ergebnisse in Abbildung 8 zeigen, haben die meisten Personen die Videos als verständlich bewertet.

Abbildung 8: Videos waren verständlich (absolute Häufigkeiten)

Die nicht-lineare Funktion (Logit-Funktion) und das iterative Maximum-Likelihood-Verfahren erschweren das Verständnis der logistischen Regression, sodass die Interpretation der logistischen Regression besonders anspruchsvoll ist. Deshalb ist es erfreulich, dass die Videos zum Verständnis der logistischen Regression beigetragen haben (siehe Abbildung 9).

Abbildung 9: Videos haben zum Verständnis beigetragen (absolute Häufigkeiten)

4

12

15

0 5 10 15 20

3

11

17

0 5 10 15 20

1

6

24

0 5 10 15 20 25 30

(13)

Die Videoserie zur logistischen Regression wird von den meisten Studierenden auch als nützlich bewertet. 7 Personen wählten die Antwortoption „eher nützlich“, 23 Studierende wählen die Option „sehr nützlich“.

Abbildung 10: Nützlichkeit der Videos (absolute Häufigkeiten)

Neben den Videos wurden auch Übungsfragen entwickelt, sodass die Studierenden feststellen konnten, ob sie die zentralen Inhalte verstanden haben. Die Übungsfragen wurden dabei mit der h5p-Anwendung direkt in die Videos integriert und als zusätzliches Übungsmaterial (z.B. Moodle- Test) bereitgestellt. Mit einem Item wurden die Studierenden gefragt, ob die Integration von Ver- ständnisfragen in den Videos sinnvoll ist. Die Mehrheit der Studierenden hat die Aufnahme von Verständnisfragen direkt in die Videos als sinnvoll bewertet (Abbildung 11).

Abbildung 11: Verständnisfragen in den Videos (absolute Häufigkeiten)

Mit einer weiteren Frage wurde ermittelt, ob die Verständnisfragen eher in den Videos, außerhalb der Videos oder beide Varianten bevorzugt werden. Die in Abbildung 12 dokumentierten Ergeb- nisse zeigen, dass die Mehrheit der Studierenden beide Varianten bevorzugt.

1

7

23

0 5 10 15 20 25

überhaupt nicht nützlich

eher nicht nützlich

teils/teils eher nützlich sehr nützlich kann ich nicht beurteilen

2

4

7

17

1 0

5 10 15 20

überhaupt nicht sinnvoll

eher nicht sinnvoll

teils/teils eher sinnvoll sehr sinnvoll kann ich nicht beurteilen

(14)

Abbildung 12: Verständnisfragen in den Videos oder außerhalb (absolute Häufigkeiten)

Mit einer offenen Frage wurden die Studierenden gebeten Vorschläge zu machen, wie die Videos verbessert werden können. In Tabelle 2 sind die Kommentare dokumentiert.

Tabelle 2: Vorschläge, um die Videos zu verbessern (offene Nennung)

– man könnte mehr Aufgaben eingehen und ein paar mehr Beispielaufgaben machen

– Es wird nicht ganz klar, wie wichtig die Interpretation von Material durch die logistische Re- gression für den weiteren Studien-/Forschungsverlauf sein wird.

– mehr Verständnisfragen oder kleine Aufgaben zwischendurch und anschließend

– Nein leider nicht. Prinzipiell ist dieser Kurs der am besten aufbereitete im ganzen Studium (bisher, IV Sem.) – und trotz der Abstraktionshöhe des Materials ist sehr anschaulich und so ver- ständlich wie möglich gestaltet.

– Ich fand alle Videos sinnvoll, jedoch fand ich die Gesamtanzahl der Videos in Phase 7 zu hoch bzw. die einzelnen Videos waren mir persönlich teilweise auch zu lang. Da ich sie nicht am Stück schauen konnte waren vergangene Inhalte teilweise schon wieder vergessen.

– etwas langsamer und verständlicher sprechen. ggf. eine pause einbauen, und neu wieder an- fangen (also nicht das ganze Video in einem Zug sprechen). Manchmal ist die auditive Ver- ständlichkeit etwas schwierig.

– Keine, ich finde Ihre Arbeit in Moodle außerordentlich gut & wünschte, es gäbe mehr Module Ihres Formats.

– Noch ein paar Verständnisfragen einbauen.

– Ich habe die Wiederholungsfragen innerhalb der Videos als eine sehr angenehme Wiederho- lungsmöglichkeit empfunden. Die Fragen waren nicht allzu schwer zu beantworten, haben mir aber das Gefühl gegeben, "Lernerfolge" zu haben. Ich fände mehr Fragen innerhalb der Videos gut (allerdings sollten es auch nicht zu viele sein).

– Nein, ich fand die Videos prima. Sie haben einiges erklärt, was ich aus dem Studienbrief nicht direkt verstanden hatte.

6

8

15

0 5 10 15 20

in den Videos außerhalb der Videos

(z.B. als Moodle-Test)

beides

(15)

– Für mich persönlich sind die Videos eine sehr große Hilfe. Besonders das dazu gehörige Kapitel im Reader finde ich nicht sonderlich verständlich, durch die Videos habe ich jedoch einen Zu- gang dazu gefunden. Vielen, vielen Dank! Das Kapitel im Reader finde ich bisher tatsächlich das unverständlichste, vorher waren die Videos immer eine sehr gute Ergänzung, die multivariate Datenanalyse hätte ich ohne die Videos nicht verstanden.

– Ich bin begeistert von dem Modul. Die Meisten haben sicherlich etwas Angst vor "mathelasti- gen" Modulen. Man merkt, dass sie sich große Mühe geben, die Inhalte verständlich zu ver- mitteln, was ihnen auch sehr gut gelingt! Vielen Dank dafür!

– Die Lernkontrollfragen direkt im Video empfinde ich als sehr hilfreich. Diese könnten gerne zukünftig in allen Videos eingebunden werden und gerne auch in höherer Anzahl.

Mit einer weiteren offenen Frage konnten die Studierenden Themen für weitere Videos nennen.

In Tabelle 3 sind die Themen und Ideen dargestellt.

Tabelle 3: Themen für weitere Videos (offene Nennung) – Datenquellen

– Ich finde das Videoangebot M1 generell sehr gut.

– zu ersten Skript Quantitative Sozialforschung sodass einzelne Kapiteln besser behandelt werden wenigstens zum teil

– Noch mehr Anleitungen zum Thema logistische Regression bei SPSS – Gerne zu allen Themen!

– Prinzipiell mehr Videos wären toll, Vorlesungen wären auch ganz super : ) – Praxis der quantitativen Sozialforschung

– Weitere Videos mit der Arbeit mit SPSS.

2.3 Reflexion des E-Teaching-Projekts

Die Videoserie „Logistische Regression“ sollte das multimediale Angebot zu multivariaten Analy- severfahren sinnvoll ergänzen. Während zur linearen Regression bereits fünf Vodcasts produziert wurden, lag zu Projektbeginn noch kein Video zur logistischen Regression vor. Dies war aus didaktischer Perspektive aus zwei Punkten beklagenswert: Erstens werden in den Sozialwissenschaf- ten viele Fragestellungen untersucht, die in Variablen mit zwei Ausprägungen (sogenannte dichotome oder binäre Variablen) abgebildet werden können. Typische Fragestellungen sind etwa die Wahlbeteiligung, der Kauf eines bestimmten Produkts oder auch der Tabakkonsum. Zweitens erschweren die nicht-lineare Funktion (Logit-Funktion) und das iterative Maximum-Likelihood-Ver- fahren das Verständnis der logistischen Regression, sodass die Interpretation der logistischen Re- gression besonders anspruchsvoll ist. Die Produktion von Vodcasts zur logistischen Regression sollte dieses Manko beheben und den Studierenden einen zusätzlichen Zugang bieten, um sich mit der logistischen Regression auseinanderzusetzen und die methodische Kompetenz zu fördern.

(16)

Reflexion des E-Teaching-Zertifikatsprogramms 16

Das E-Teaching-Projekt hat aus meiner Sicht diese Ziele erreicht. Die Videos ergänzen das ge- druckte Videomaterial und bieten einen weiteren Zugang zur logistischen Regression, die von vielen Studierenden als besonders schwierig wahrgenommen wird. Das entwickelte Übungsmaterial bietet darüber hinaus die Möglichkeit, das eigene Wissen selbstständig zu prüfen und eine Rück- meldung zu erhalten.

Insgesamt war die Produktion der Videos aber deutlich aufwändiger als ursprünglich veranschlagt.

Für das Grundlagenvideo wurden fiktive Datensätze erstellt. Das Anwendungsbeispiel basiert auf Daten des European Social Survey. Für das Anwendungsbeispiel musste der Datensatz zunächst aufbereitet werden. In diesem Kontext sind auch Videos zum European Social Survey (ESS) ent- standen, die sich mit dem Datendownload und ersten Analysen mit dem ESS beschäftigen. Diese Videos werden ab Sommersemester 2019 den Studierenden als zusätzliche Informationen zu- gänglich gemacht.

Darüber hinaus ist ein weiteres Video geplant, dass die Durchführung einer logistischen Regression mit SPSS illustriert. Die bisher produzierten Videos zielen darauf ab, das grundlegende Verständnis einer logistischen Regression zu fördern. Die eigene Durchführung einer logistischen Regression stand bisher nicht im Mittelpunkt. Diese Weiterentwicklung ist für das Sommersemester 2019 geplant.

Die Rückmeldungen der Studierenden zur Videoreihe waren positiv. Die meisten Studierenden haben die Videos als „sinnvoll“ und „nützlich“ bewertet. Mit 31 Rückmeldungen ist auch die Beteiligung relativ hoch (bei der Modulevaluation im Sommersemester beteiligten sich 24 Studie- rende). Möglicherweise trägt die Einbindung der Evaluation direkt in die Moodle-Lernumgebung zu einer höheren Beteiligung bei.

3 Reflexion des E-Teaching-Zertifikatsprogramms

Für die Professionalisierung meiner Lehrkompetenz habe ich bereits als Doktorand am Mannhei- mer Zentrum für Europäische Sozialforschung (MZES) der Universität Mannheim das „Baden- Württemberg-Zertifikat für Hochschuldidaktik“ im Umfang von 200 Unterrichtseinheiten erwor- ben. Das Baden-Württemberg-Zertifikat für Hochschuldidaktik ist – ähnlich wie das NRW-Zertifi- katsprogramm – modular aufgebaut:

– Modul I: Grundlagen der Hochschuldidaktik

– Modul II: Vertiefung in sieben hochschuldidaktischen Themenbereichen – Modul III: Individuelle Schwerpunktsetzung

Im Oktober 2011 habe ich das Baden-Württemberg-Zertifikat für Hochschuldidaktik abgeschlos- sen. Der Fokus des Zertifikats lag auf der Präsenzlehre, sodass ich durch die Teilnahme am E- Teaching-Zertifikatsprogramms insbesondere meine mediendidaktische Kompetenz weiterentwi- ckeln und insbesondere neue Impulse beim Einsatz digitaler Medien in der Lehre erhalten wollte (z.B. Erstellung von Vodcasts). Diese Ziele habe ich aus meiner Sicht durchaus erfüllt. Allerdings

(17)

Reflexion des E-Teaching-Zertifikatsprogramms 17

habe ich einige Elemente des E-Teaching-Zertifikatsprogramms als „nicht zielführend“ wahrgenommen und auch als „nutzlos“ erlebt. Diese Elemente möchte ich kurz darstellen.

– Funktion der Erstberatung: Bis zum Abschluss des E-Teaching-Zertifikatsprogramms ist mir die Funktion der Erstberatung nicht klar geworden. Bei der Erstberatung wurde zwar meine Vorerfahrung thematisiert (z.B. Erwerb des Baden-Württemberg-Zertifikats für Hochschuldidaktik), aber dies spielte im Verlauf des Zertifikatsprogramms überhaupt keine Rolle mehr (insbesondere bei den Pflichtseminaren). Dadurch war ich gezwungen, Veranstaltungen zu besuchen, die bestenfalls existierende Kenntnisse aufgefrischt haben. Aus meiner Sicht müsste die Vorerfahrung sowie die Dauer der Zugehörigkeit an der FernUniversität stärker bei der Belegung der Seminare berücksichtigt werden. Dies bedeutet nicht, dass Seminare „anerkannt“ oder „erlassen“ werden sollten, sondern, dass je nach Vorkenntnisse eine Pflichtveranstaltung (z.B. Evaluation) durch eine Wahl- pflichtveranstaltung (z.B. Keine Angst vor‘m roten Licht – Lehrmaterialien im Videostudio produzieren) ersetzt werden kann. Dadurch könnte das Seminarprogramm viel stärker an den Bedürfnissen der jeweiligen Person ausgerichtet werden.

– Angebot der Pflichtseminare: Als besonderes Ärgernis habe ich das teilweise sehr seltene und auch sehr späte Angebot von Pflichtveranstaltungen empfunden. Im Mai 2017 habe ich an der Erstberatung teilgenommen. Das Pflichtseminar „Evaluation“ des Grundlagen- bereichs wurde erstmalig im Dezember 2018 angeboten. Aus meiner Sicht sollten Pflichtseminare zumindest einmalig im Semester angeboten werden, um eine zügige Teilnahme am Zertifikatsprogramm zu ermöglichen. Eine positive Entwicklung ist aus meiner Sicht, dass ein Pflichtseminar „Überblick über FernUni-Tools“ als dauerhafter FernUni-Moodle-Kurs angeboten wird. Dies bietet mehr Flexibilität.

– E-Teaching-Zertifikatsprogramm und NRW-Zertifikatsprogramm. Gelegentlich hatte ich den Eindruck, dass das E-Teaching-Zertifikatsprogramm als „Einstieg“ in die Hochschul- lehre dienen soll und das NRW-Zertifikatsprogramm dann als „Vertiefung“. Die zwei Zer- tifikatsprogramme also nicht unabhängig zu betrachten sind. Die Programme sind offen- sichtlich so konzipiert, dass Personen erst das „E-Teaching-Zertifikatsprogramm“

absolvieren und anschließend das „NRW-Zertifikatsprogramm“. Der umgekehrte Weg ist dabei aber nicht vorgesehen.

– „Bild des Studierenden“: In einzelnen Veranstaltungen hatte ich den Eindruck, dass ein unrealistisches Bild des Studierenden vermittelt wird. Nicht alle Studierenden sind intrin- sisch motiviert. Es soll auch Studierende geben, die mit möglichst wenig Aufwand das Modul abschließen wollen. Es wird sehr häufig die Angebotsseite der Lehre behandelt (z.B. Videos, Moodle-Tests), aber das Angebot muss auch nachgefragt bzw. genutzt werden. Die Ergebnisse von Evaluationen deuten aber darauf hin, dass viele Studierende nicht die erforderliche Zeit investieren, die für ein wissenschaftliches Studium erforderlich und im Modulkatalog auch veranschlagt sind. Dieser empirische Befund wird in Veran- staltungen allerdings kaum thematisiert.

Bei all der Kritik an dieser Stelle aber auch ein ausdrückliches Lob. Das Angebot an Fortbildungs- veranstaltungen im Bereich „Gute Lehre“ ist sehr umfangreich und deckt sehr viele Themen ab.

Deshalb wäre es meines Erachtens auch möglich, das E-Teaching-Zertifikatsprogramm stärker an den konkreten Bedürfnissen der Personen bzw. an den Vorkenntnissen auszurichten. Zudem hat

(18)

Anhang: Projektskizze 18

das Zertifikationsprogramm dazu beigetragen, den Austausch mit Kolleginnen und Kollegen über Lehr-Lern-Arrangements zu intensivieren.

4 Anhang: Projektskizze

4.1 Einführung

In zentralen Themengebieten der Politikwissenschaft (z.B. Wahlforschung), der Verwaltungswis- senschaft (z.B. Evaluationsforschung) und der Soziologie (z.B. soziale Ungleichheit) werden heute verstärkt quantitative Analyseverfahren eingesetzt, um konkrete Forschungsfragen zu bearbeiten.

Regressionsanalytische Verfahren gehören dabei zu den am häufigsten verwendeten Auswer- tungsverfahren in den Sozialwissenschaften (Wolf und Best 2010, S. 607). Sie tragen dem Um- stand Rechnung, dass sich in der sozialen Wirklichkeit zu erklärende Phänomene so gut wie nie auf nur einen Faktor zurückführen lassen, sondern in der Regel verschiedenen Einflüssen unter- worfen sind. Die lineare Regressionsanalyse lässt sich immer dann anwenden, wenn eine lineare Beziehung zwischen der abhängigen Variable und den unabhängigen Variablen besteht und die abhängige Variable ein metrisches Skalenniveau aufweist. Die logistische Regression kommt bei einer dichotomen abhängigen Variable zum Einsatz. Das Verständnis dieser beiden Analysever- fahren ist für (angehende) Sozialwissenschaftler und Sozialwissenschaftlerinnen eine zentrale Vo- raussetzung, um quantitative Studien bewerten zu können. Wer nicht in der Lage ist, die Resultate empirischer Analysen nachzuvollziehen, kann keine Aussagen über ihre Gültigkeit machen und damit auch kein fundiertes Urteil über Hypothesen und Theorien abgeben. Für Sozialwissenschaft- lerinnen und Sozialwissenschaftler sind deshalb elementare Kenntnisse dieser quantitativen Ana- lyseverfahren unverzichtbar.

Deshalb werden im Modul M1 „Quantitative Methoden der Sozialwissenschaften“ im BA-Studi- engang „Politikwissenschaft, Verwaltungswissenschaft, Soziologie“ Analyseverfahren vorgestellt, die den Einfluss mehrerer unabhängiger Variablen (z.B. Bildung und Berufstätigkeit) auf eine ab- hängige Variable (z.B. Einkommen) schätzen können. Die lineare und logistische Regression wird dabei in zwei Kursen behandelt. Während der Kurs 33205 „Quantitative Analyseverfahren“ (Kurs- autoren: Simone Abendschön/Markus Tausendpfund) eine Einführung in die lineare und logistische Regression bietet, behandelt der Kurs 33225 „Quantitative Datenanalyse“ (Kursautor: Mar- kus Tausendpfund) die Schätzung einer linearen und logistischen Regression auf Grundlage des Statistikprogramms SPSS.

4.2 Zielsetzung des Projekts

Im Rahmen des individuellen E-Teaching-Projekts soll das textliche Kursmaterial zur logistischen Regression durch kurze Vodcasts ergänzt werden. Während zur linearen Regression bereits fünf Vodcasts produziert wurden, liegt zur logistischen Regression aktuell noch kein Vodcast vor. Dies ist aus didaktischer Perspektive insbesondere aus zwei Punkten beklagenswert: Erstens werden in den Sozialwissenschaften viele Fragestellungen untersucht, die in Variablen mit zwei Ausprägun- gen (sogenannte dichotome oder binäre Variablen) abgebildet werden können. Typische Frage- stellungen sind etwa die Wahlbeteiligung, der Kauf eines bestimmten Produkts oder auch der

(19)

Anhang: Projektskizze 19

Tabakkonsum. Zweitens erschweren die nicht-lineare Funktion (Logit-Funktion) und das iterative Maximum-Likelihood-Verfahren das Verständnis der logistischen Regression, sodass die Interpre- tation der logistischen Regression besonders anspruchsvoll ist. Die Produktion von Vodcasts zur logistischen Regression soll dieses Manko beheben und den Studierenden einen zusätzlichen Zu- gang bieten, um sich mit der logistischen Regression auseinanderzusetzen und die methodische Kompetenz zu fördern. Die Auseinandersetzung mit der logistischen Regression soll durch ergän- zende Testfragen (z.B. Moodle-Test) unterstützt werden, die im Kontext der Videos entwickelt werden.

4.3 Projektplan

Die Vodcasts werden mit der Software Camtasia (Version 9) produziert. Vorläufig sind insgesamt vier Vodcasts vorgesehen, die jeweils eine maximale Länge von 15 Minuten nicht überschreiten sollen. Die einzelnen Videos bauen dabei aufeinander auf. Das erste Video behandelt die Grund- lagen der logistischen Regression. Es werden die Unterschiede zur linearen Regression (nicht lineare Regressionskurve und Schätzverfahren) behandelt. Das zweite Video widmet sich der Interpre- tation einer logistischen Regression auf Grundlage einer sozialwissenschaftlichen Fragestellung (Determinanten der Wahlbeteiligung). Insbesondere werden die Unterschiede der Ergebnisinter- pretation (Logit-Koeffizienten und Odds-Radios) dargestellt. Das dritte Video thematisiert die Gü- tekriterien einer logistischen Regression. Es werden typische Maßzahlen vorgestellt, um die Güte einer Regression zu bewerten. Das vierte Video demonstriert die Durchführung einer logistischen Regression mit dem Statistikprogramm SPSS. Tabelle 4 bietet eine Übersicht der geplanten Videos.

Ergänzend zu den Vodcasts werden Übungsfragen entwickelt. Für die Einbindung der Übungs- aufgaben sind zwei Varianten denkbar. Einerseits können die Übungsaufgaben klassisch als Moodle-Tests zu den Vodcasts erstellt werden. Andererseits können die Übungsaufgaben auch interaktiv mit dem Plugin h5p in die Videos integriert werden. Im Rahmen des Projekts ist eine Kombination dieser beiden Möglichkeiten vorgesehen. Bei der Evaluation soll geprüft werden, ob eine Variante besonders positiv oder negativ von den Studierenden wahrgenommen wird.

Tabelle 4: Geplante Vodcasts zur logistischen Regression

Video Titel Kurzbeschreibung

1 Logistische Regression:

Grundlagen

Grundlagen der logistischen Regression und Unterschiede zur linearen Regression.

2

Logistische Regression:

Interpretation

Sachgemäße Interpretation einer logistischen Regression. Unter- schiede von Logit-Koeffizienten und Odds-Radios.

3 Logistische Regression:

Gütekriterien

Vorstellung typischer Maßzahlen zur Bewertung einer logistischen Regression (z.B. Nagelkekes R²)

4

Logistische Regression:

Anwendung

Schätzung eines logistischen Regressionsmodells mit dem Sta- tistikprogramm SPSS. Erläuterung der einzelnen Schritte

(20)

Literatur 20

Die Videos und Tests werden in die Moodle-Lernumgebung des Moduls M1 „Quantitative Me- thoden der Sozialwissenschaften“ im BA-Studiengang „Politikwissenschaft, Verwaltungswissen- schaft, Soziologie“ integriert. Die Moodle-Lernumgebung ist ein integraler Bestandteil des Moduls M1 und die zentrale Kommunikationszentrale zwischen den Studierenden und den Lehrenden.

Die Videos selbst werden via h5p in Moodle eingebunden. Ergänzend werden die Videos im Vir- tuellen Studienplatz zur Verfügung gestellt, sodass auch der Download der Videos möglich ist.

4.4 Zeitplan und Einschätzung des zeitlichen Aufwands

Die Videos werden schrittweise im Herbst 2018 produziert. Für die komplette Produktion eines Videos (inklusive Drehbuch) wird mit einem Zeitbedarf von 8 bis 12 Stunden kalkuliert (inklusive der Datenaufbereitung zur Illustration eines einfachen Anwendungsbeispiels). Im Idealfall können die Videos vor Weihnachten den Studierenden zugänglich gemacht werden. Im Frühjahr 2019 ist eine Evaluation vorgesehen, um Stärken und Schwächen der Videos zu identifizieren und mögli- che Defizite zu beseitigen. Die Evaluation berücksichtigt auch die Übungsaufgaben, die – wie oben geschildert – in unterschiedlichen Formaten in das Projekt eingebunden werden.

5 Literatur

Wolf, Christof, und Henning Best. 2010. Lineare Regressionsanalyse. In Handbuch der sozialwissenschaftlichen Datenanalyse, Hrsg. Christof Wolf und Henning Best, 607-638.

Wiesbaden: VS Verlag für Sozialwissenschaften.