8.3 Instrumente
8.3.2 Logfileanalyse zur Erhebung der Aktivität im ViT
Ein weiterer Schwerpunkt der Untersuchung liegt in der exakten Analyse des Benut-zerverhaltens. Für die Messung der Aktivität jedes Teilnehmers innerhalb des virtu-ellen Tutoriums wurde das Verfahren der Logfileauswertung verwendet. Das für die virtuellen Tutorien verwendete Lernmanagementsystem beinhaltet die Möglichkeit, al-le Vorgänge in der Lernumgebung sekundengenau mitzuprotokollieren. Im Einzelnen werden bei jedem Besuch einer Seite die folgenden Einträge festgehalten:
Der Identitätsschlüssel des Benutzers. Jeder Benutzer erhält bei seiner Anmeldung einen eindeutigen Identitätsschlüssel. Mit Hilfe dieses Schlüssels können alle Aktivitä-ten dem jeweiligen Benutzer zugewiesen werden, ohne auf personenbezogene DaAktivitä-ten wie den Namen oder den Login des Benutzers zurückgreifen zu müssen.
Der Identitätsschlüssel der Session.Unter einer Session versteht man eine komplette (Lern-)Sitzung, die mit dem Einloggen beginnt und mit dem Verlassen der Lernumge-bung endet. Mit Hilfe des Identitätsschlüssels der Session können die Aktivitäten der jeweiligen Session zugeordnet werden, so dass erkennbar wird, welche Aktivitäten der Benutzer während einer Session durchgeführt hat.
Der Name der Seite.Jede Seite hat einen eindeutigen Namen. Mit Hilfe dieser Angabe kann erkannt werden, welche Seiten wie häufig besucht wurden.
Die Funktion der Seite.Die Funktion einer Seite ergibt sich aus der Interaktion, die diese Seite dem Benutzer bietet. Auf einer Seite mit der Funktion "Forum" können bei-spielsweise Nachrichten der Tutoren oder der anderen Benutzer gelesen oder eigene Einträge geschrieben werden. Insgesamt werden folgende Funktionen unterschieden:
– Navigation, – Inhalte,
– interaktive Seiten (z.B. Yellow Pages), – Downloads,
– Foren,
– Übungsaufgaben,
– strukturierende Trainings, – Fragebögen.
Aktion des Benutzers:Bei interaktiven Seiten (Foren, Übungsaufgaben und Trainings)
spiel unterschieden werden, ob der Benutzer auf einer Seite eines Forums einen Eintrag eines anderen liest oder selbst einen Eintrag schreibt. In der Beschreibung der Aktivi-tät der Benutzer wird im Folgenden für die interaktiven Seiten zwischen der passiven Benutzung (z. B. Lesen eines Foreneintrags oder Lesen der Aufgabenstellung) und der aktiven Verwendung (z. B. Schreiben eines Foreneintrags oder Bearbeiten einer Aufga-be) einer Seite unterschieden.
Der sekundengenaue Zeitpunkt des Besuchs der Seite.Die Zeit, die der Benutzer auf der Seite verbrachte, kann dabei aus der Differenz der Zeit des Aufrufs dieser Seite zur nächsten Seite gemessen werden. Dabei ist es allerdings nicht möglich, den Zeit-raum des Besuchs der letzten Seite, die nach dem Abmelden des Benutzers angezeigt wird, zu berechnen. Die Anzeigedauer dieser Seite ist jedoch für diese Untersuchung unerheblich.
Aus diesen Angaben wurden in einem ersten Schritt die einzelnen Seitenaufrufe nach den einzelnen Funktionen kumuliert und für die deskriptive Auswertung die nachfol-genden Variablen berechnet.
Insgesamt wurden so bei den 1106 Teilnehmern des virtuellen Tutoriums 39547 Sessi-ons und 590221 Seitenaufrufe festgehalten. Die Ergebnisse im Einzelnen werden weiter unten vorgestellt.
Aus den Log-Einträgen der Lernumgebung wurden danach mit Hilfe einer eigens für diese Studie erstellten Software die Logfiles in einem ersten Schritt analytisch ausge-wertet, indem die Funktion jeder aufgerufenen Seite für jeden Benutzer aufsummiert wurde. Zudem aggregierte das Programm die einzelnen Seitenaufrufe zu einer Gesamt-übersicht für jeden Benutzer. Die einzelnen Variablen, die bei der Analyse der Logfiles berechnet wurden, sind in Anhang 3 aufgelistet.
Aufgrund der großen Zahl an Werten wurde für die Messung der Aktivität in der vir-tuellen Lernumgebung für diese Untersuchung nach einem datenreduzierenden Ver-fahren gesucht.
Um die Aktivität der Benutzer im virtuellen Tutorium und deren Varianz besser be-schreiben zu können, wurde geprüft, inwieweit die beschriebenen Variablen die Akti-vität in unterscheidbaren Dimensionen messen. Dies wurde mit einer faktorenanalyti-schen Auswertung der Log-Dateien untersucht. In die Auswertung gingen die Items ein, die die Anzahl der Besuche, den Mittelwert der Nutzungsdauer oder die Sum-me der Nutzungsdauer maßen, nicht Minimum, Maximum oder Standardabweichung.
Wie der folgende Scree-Plot (Abbildung 8.1) verdeutlicht, ergaben sich insgesamt fünf Faktoren.
Abbildung 8.1: Aktivität in der virtuellen Lernumgebung: Scree-Plot der Faktorenana-lyse. Angezeigt werden die ersten 11 Faktoren
ligen Faktoren (vgl. Tab. 8.6).
Tabelle 8.6: Aktivität in der virtuellen Lernumgebung: Rotierte Faktorlösung. Rotationsmethode: VARI-MAX mit Kaiser-Normalisierung
1 2 3 4 5
So oft Navigationsseiten besucht .63
Summe der Zeit Navigation
Mittelwert Zeit Navigation .62
So oft Seiten mit Inhalten besucht .80
Summe der Zeit Inhalte .83
Mittelwert Zeit Inhalte .69
So oft aktive Seiten besucht Summe der Zeit aktive Seiten Mittelwert Zeit aktive Seiten
So oft im Forum Einträge gelesen .87
Summe der Zeit "Forum passiv"& .75 Mittelwert Zeit "Forum passiv"&
So oft ins Forum Einträge geschrieben .89
Summe der Zeit "Forum aktiv"& .86 Mittelwert Zeit "Forum aktiv"&
So oft Downloads durchgeführt .85
Summe der Zeit "Downloads"& .79
Mittelwert Zeit "Downloads"& .58
So oft Uploads durchgeführt .89
Summe der Zeit "Uploads"& .80
Mittelwert Zeit "Uploads"& .65
So oft Übungsaufgaben passiv .85
Summe der Zeit "Übungsaufgaben passiv"& .73 Mittelwert Zeit "Übungsaufgaben passiv"&
So oft Übungsaufgaben aktiv .88
Summe der Zeit "Übungsaufgaben aktiv"& .77 Mittelwert Zeit "Übungsaufgaben aktiv"&
So oft strukturierende Trainings passiv .86
Summe der Zeit "strukturierende Trainings passiv"& .68 Mittelwert Zeit "strukturierende Trainings passiv"&
So oft strukturierende Trainings aktiv .85
Summe der Zeit "strukturierende Trainings aktiv"& .69 Mittelwert Zeit "strukturierende Trainings aktiv"&
So oft Fragebogen gelesen .73
Summe der Zeit "Fragebogen passiv"& .50 Mittelwert Zeit "Fragebogen passiv"&
So oft Fragebogen ausgefüllt .80
Summe der Zeit "Fragebogen aktiv"& .84 Mittelwert Zeit "Fragebogen aktiv"& .72
Die Rotation ist in 6 Iterationen konvergiert. Doppelladungen und Ladungen < .50 wurden entfernt.
Die Aktivität der Benutzer konnte demnach in fünf Dimensionen gemessen werden.
Diese Faktoren wurden aus den Items gebildet, die in der rotierten
Komponentenma-samtzeit", "Mittelwert Zeit" und "Anzahl" stark differieren, wurden zur Berechnung der Items jeweils zunächst alle Items über alle Benutzer hinweg z-standardisiert. Der Wert des Faktors ergibt sich aus dem arithmetischen Mittel der z-Werte der verwendeten Items. Es ergaben sich folgende Dimensionen:
Zugriff auf Ressourcen.Die Markieritems für diesen Faktor legen nahe, dass diese Di-mension des Instruments den Zugriff auf die eingestellten Online-Ressourcen misst.
Bei den Online-Ressourcen handelt es sich sowohl um die Officia des Seminars (z. B.
Informationen zum Seminarablauf) als auch um die eingestellten Lehrtexte, die für je-den Kurs sowohl als Bildschirmpräsentation als auch als Download angeboten wurje-den.
Hinzu kamen alle Seiten, die dafür nötig waren, um die Officia und Online-Ressourcen zu erreichen, hier speziell die Index-Seite und die Kapitelübersicht der einzelnen Lern-texte.
Die Auswertung der Log-Daten ergab, dass die Inhalte und Officia in weniger als 10%
der Fälle als direkte Präsentation auf dem Bildschirm aufgerufen wurden. Der überwie-gende Zugriff auf die Ressourcen erfolgte in Form von Downloads. Aus diesem Grund konnte angenommen werden, dass diese Dimension vor allem die Aktivität beim Zu-griff auf die eingestellten Informationen misst. Dieser Faktor bekam demnach die Be-zeichnung "Zugriff auf Ressourcen" (Cronbach"sα=.90).
Online-Foren.Diese Dimension misst die Aktivität der Studierenden in den angebote-nen Online-Foren (Cronbach"sα=.94). Hierunter fällt sowohl die Navigation innerhalb der Foren und das Lesen der eingestellten Beiträge als auch das Eintragen neuer Bei-träge in einem der Foren. Die Faktorenanalyse ergab, dass beide Vorgänge nicht, wie eingangs vermutet, in unterschiedlichen Dimensionen gemessen werden konnten. Es existiert hingegen eine hohe Korrelation zwischen der passiven Benutzung der Foren und der Häufigkeit des Einstellens neuer Beiträge (r = .64; p < .01). Damit kann an-genommen werden, dass mit der Aktivität des Teilnehmers in der Dimension "Online-Foren" sowohl Aussagen über die aktive als auch über die passive Benutzung der Foren getroffen werden können. Studierende, die viele Einträge machen, lesen demnach auch viele Einträge der anderen Studierenden bzw. des Tutors.
Die Aktivität innerhalb der Online-Foren betrifft in dieser Studie fast ausschließlich die Aktivität innerhalb des Forums "Frage und Antwort". In diesen Foren konnten die Stu-dierenden Fragen an den Tutor stellen und Probleme beim Verständnis eines Themas aufzeigen. Die Antworten des Tutors konnten dann einige Stunden danach in diesem Forum gelesen werden. Es wurden auch unmoderierte Diskussionsforen angeboten, in denen die Studierenden ohne die Mitwirkung eines Tutors über die Inhalte der Vorle-sung diskutieren konnten. Diese Foren wurden allerdings von den Studierenden so gut wie gar nicht angenommen: Zirka 98% aller Forenaktivitäten fanden in den tutoriell moderierten Online-Foren statt.
Übungsaufgaben.Die dritte Dimension der Faktorenanalyse betraf die Aktivität der Studierenden innerhalb der Übungsaufgaben (Cronbach"s α = .96). Der Modus der
semester 2003 variiert. Das virtuelle Tutorium des Wintersemesters 2001/2002 enthielt Übungsaufgaben, die von einem Tutor korrigiert wurden. Das virtuelle Tutorium ab dem Sommersemester 2003 wurde mit Übungsaufgaben angeboten, bei denen ein Ex-pertenlösungsvorschlag zum selbständigen Vergleichen direkt zur Verfügung stand.
Auch hier konnten analog zu den Foren keine unterschiedlichen Dimensionen "aktives Bearbeiten der Übungsaufgaben" und "Lesen der Aufgabenstellung" ermittelt werden.
Auch hier gibt es eine hohe positive Korrelation zwischen dem passiven und dem ak-tiven Bearbeiten der Aufgaben (r =.73;p < .01).Trainings.Auch die Aktivität in den strukturierenden Trainings ergab in der Faktorenanalyse eine eigene Dimension (Cron-bach"sα =.95). Mit diesem Faktor wird die Aktivität der Teilnehmer in den struktu-rierenden Trainings gemessen. Es ergab sich keine faktoranalytisch fundierte Trennung zwischen aktiver und passiver Teilnahme an einem Training. Analog zu der Aktivität innerhalb der Foren und der Übungsaufgaben gibt es auch bei den strukturierenden Trainings eine hohe Korrelation zwischen der aktiven Teilnahme an einem Training und dem (passiven) Lesen der Aufgabenstellung (r =.77;p < .01).
Fragebogen.Die fünfte Dimension misst die Aktivität der Studierenden in den beglei-tenden Evaluationsinstrumenten (Cronbach"sα=.88). Dieser Faktor ist für diese Unter-suchung nicht von Belang. Zudem misst er lediglich die Aktivität beim Ausfüllen des Fragebogens zur Varianz der Voraussetzungen, wodurch eine trennscharfe Betrachtung dieses Faktors nicht gegeben ist. Tabelle 8.7 zeigt die Reliabilitätswerte der 5 Faktoren.
Tabelle 8.7: Reliabilitätswerte der Faktoren "Aktivität der Lernenden"
Faktor Cronbach"sα
Aktivität Zugriff auf Ressourcen .90
Aktivität in den Foren .94
Aktivität in den Übungsaufgaben .96
Aktivität in den Trainings .95
(Aktivität in den Fragebögen) (.88)
Dabei werden durch die fünf Faktoren 56,91% der Gesamtvarianz aufgeklärt. Die 4 für diese Studie relevanten Faktoren klären51,12%der Gesamtvarianz auf. Das Erhe-bungsinstrument ist somit für diese Untersuchung gut geeignet.
Die Korrelationen der 4 Faktoren zeigt Tabelle 8.8.
Ressourcen Forum Aufgaben Ressourcen
Forum .57**
Aufgaben .66** .23**
Trainings .61** .24** .73**
∗∗Die Korrelation ist auf dem Niveau von .01 (2-seitig) signifikant.
Diese hohen Korrelationswerte können zu einem großen Teil mit dem gemeinsamen Hintergrund "Gesamtaktivität" erklärt werden. Personen, die das virtuelle Tutorium oft und intensiv verwenden, haben in den meisten Fällen sowohl höhere Aktivitäts-werte in den gemessenen Dimensionen als Personen, die das virtuelle Tutorium nur sehr selten benutzen. Trotz der durch diese Unschärfe aufgezeigten geringen Validität der Aktivitätsmessung in den einzelnen Dimensionen soll die nachfolgende Analyse wegen des stark hypothesengenerierenden Charakters dieser Studie in den ermittelten Dimensionen durchgeführt werden. Die durchweg mittlere bis hohe Korrelation der Aktivitätsdimensionen muss bei der Interpretation berücksichtigt werden.