4. Assessment-Feedback am Beispiel der Professur für Medienpädagogik . 62
4.4 Dokumentenanalyse ausgewählter Feedbacks
Als erste der in der Studie verwendeten Methoden soll an dieser Stelle die Dokumen-tenanalyse vorgestellt werden. Der Sinn dieser Analyse ist zweierlei: Zum einen dient sie dazu, die Feedbacks auf Basis der in Abschnitt 3.5 ausgearbeiteten „goldenen Re-geln“ einzuschätzen; zum anderen sollen die von den Studierenden und Dozenten ge-troffenen Aussagen mit der „Realität“154 abgeglichen werden. Als Beispiel: Geben die Lernenden an, das Feedback, das sie erhalten, sei nicht kriterienbasiert; die Dokumen-tenanalyse verdeutlicht aber, dass dies doch der Fall ist? Zur Einschätzung solcher Fragen ist es unabdingbar, ein konkretes Bild des Feedbacks vor Augen zu haben.
4.4.1 Erarbeitung eines Kriterienrasters auf Basis der „goldenen Regeln“
Bei der Erarbeitung des Kriterienrasters hielt ich mir das Ziel vor Augen, am Ende eine Art „Checkliste“ vorliegen zu haben, anhand derer ich die Feedbacks in den einzelnen Veranstaltung analysieren kann. Das Vorgehen bei der Dokumentenanalyse ist somit nicht induktiv, sondern deduktiv. Ich wende im Wesentlichen meine im Abschnitt 3.5
„goldene Regeln des Feedbacks“ gesammelten Richtlinien auf die Feedbacks in den einzelnen Veranstaltungen an155. Das Kriterienraster lässt sich in die beiden Grobkate-gorien „Formales“ und „Inhaltliches“ aufteilen und beinhaltet folgende UnterkateGrobkate-gorien:
Tab. 6: Kriterienraster der Dokumentenanalyse
Formales Inhaltliches
Art des Feedbacks (schriftlich, mündlich / stichpunktar-tig; ausformuliert)
Umfang des Feedbacks (Gesamtumfang)
Zeitpunkt des Feedbacks (nach Abschluss des Assessments oder begleitend zum Assessment)
Zielgruppe des Feedbacks (Individuum versus Gruppe)
Anbindung an definierte Kriterien
Anbindung an Lernziele
Best-Practices
Note /Punktzahl (gleichzeitig mit Feedback?)
Positives und Negatives
Verbesserungstipps
Vergleich mit anderen Kursteilnehmern
Zusätzliche Hinweise (z.B. zu Lehr-/ Lernstra-tegien) sowie Besonderheiten
Quelle: Eigene Darstellung
154 Jedoch möchte ich an dieser Stelle ganz im Sinne des Konstruktivismus darauf verweisen, dass es eine objektiv erfassbare Realität nicht gibt, da jede Wahrnehmung – also auch meine Analyse der Feedbacks – subjektiv ist.
155 Induktiv wäre das Vorgehen hingegen, wenn ich im Anschluss an die Analyse der mir vorliegenden Feedbacks selber solche „Goldenen Regeln“ oder zumindest ein Kategoriensystem entwickeln würde.
4. Assessment-Feedback am Beispiel der Professur für Medienpädagogik 77
Auf eine differenzierte Analyse auf semantischer Ebene verzichte ich allerdings, da dies für die Beantwortung der Forschungsfragen nicht notwendig ist.
4.4.2 Auswahl der Dokumente und Auswertungsprozess
Bei der Auswahl, welche Feedbacks genau analysiert werden sollten, war schon zu einem frühen Zeitpunkt klar, dass keinesfalls sämtliche Feedbacks aller untersuchten Veranstaltungen Berücksichtigung finden können würden. Bei diesem Vorgehen wären wahrscheinlich zwischen 100 und 200 Seiten an Material zusammen gekommen. Aus diesem Grund entschied ich mich zu folgendem Vorgehen:
Für den Fall, das sämtliche Feedbacks einer Veranstaltung den gleichen Aufbau haben, analysiere ich exemplarisch nur eines der Feedbacks. Dazu zählen die Veranstaltungen „Einführung in die qualitative Sozialforschung“
sowie „Sozialpsychologie des Internets“. Auch für das mündlich distribuierte Feedback in der Veranstaltung „Grundlagen des Wissensmanagement“ gilt dies. Hier wurde eine Feedback-Session mit einem Audiorekorder aufge-zeichnet und für die Auswertung transkribiert.
Für den Fall, dass es verschiedene Feedbacks aufgrund mehrerer Assess-ment-Formen in einer Veranstaltung gibt, wird für jede Form ein Beispiel-Dokument analysiert. Dies trifft auf die Veranstaltung „Konstruktivismus“ zu.
Für den Fall, dass ein Feedback keine feste Form hat und sich im Laufe der Veranstaltung kontinuierlich verändert, werden alle (formellen156) Feedbacks untersucht. Dies betrifft das Projektseminar „Corporate Citizenship“.
Für die Auswertung wurden die vorliegenden Dokumente in das RTF-Format umge-wandelt und in das Programm „MAXqda“ eingelesen. Die dargelegten Kategorien157 wurden als Codes angelegt und die eingelesenen Texte auf ihre „Erfüllung“ dieser Co-des hin untersucht. Dabei wurde nicht das gesamte Material (also Satz für Satz) analy-siert, sondern lediglich festgehalten, ob die einzelnen Kategorien auf das Feedback zutreffen. Somit kann nicht „abgelesen“ werden, in welchem Verhältnis die einzelnen Kategorien (z.B. positive versus negative Kommentare) in den Feedbacks auftauchen.
4.4.3 Darstellung der Ergebnisse
Nachfolgende Tabelle stellt nun zunächst die Ergebnisse der Auswertung vor. Ein
„Häckchen“ bedeutet dabei zunächst einmal nur, dass die jeweilige Kategorie durch das Feedback erfüllt wird. Es stellt keine Bewertung dar, ob dies gut oder negativ ist. In gleicher Weise gilt dies für das „Minus“. Eine kurze Zusammenfassung der Ergebnisse und eine Beschreibung der Besonderheiten des Feedbacks werden im Anschluss an die tabellarische Darstellung gegeben.
156 Es werden hier lediglich formelle Feedbacks untersucht. Merkmal der Veranstaltung „Corporate Citi-zenship“ ist allerdings, dass die Dozentin den Studierenden explizit für weitere individuelle Feedbacks zur Verfügung steht. Diese informellen Feedbacks können in der Analyse nicht berücksichtigt werden.
157 Die Information „Zeitpunkt des Feedbacks“ ist nicht aus den Dokumenten „abzulesen“ und wurde aus diesem Grund bei den Dozenten erfragt.
Tab. 7: Ergebnisse der Dokumentenanalyse
4. Assessment-Feedback am Beispiel der Professur für Medienpädagogik 79 Wortwahl hin untersucht wurden, so kann als Gesamteindruck jedoch festgehalten werden, dass keines der Feedbacks durch einen „groben Schnitzer“ aus dem Rahmen fällt. Alle Rückmeldungen enthalten Ich-Botschaften des Dozenten und verwenden
„Urteile“ sparsam. Das Verhältnis dieser beiden Bestandteile zueinander variiert aller-dings von Feedback zu Feedback. Die zentralen Merkmale der Feedbacks sind:
Sozialpsychologie des Internets: Jede Arbeitsgruppe erhält nach der von ihnen durchgeführten Lehr-Lern-Einheit ein ausführliches, ausformuliertes, schriftliches Feedback, das anhand einer Reihe von „Bewertungsdimensionen“ (es sind hier weni-ger Kriterien als Dimensionen) strukturiert ist. Der Dozent verweist auch ganz deutlich darauf, dass das Feedback auch für die anderen Gruppen hilfreiche Tipps enthält. Da das Feedback für die jeweilige Gruppe eher summativen Charakter hat (allgemeine Hinweise zur Präsentationstechnik ausgeklammert), sind die Verbesserungstipps auch gerade für die nachfolgenden Gruppen brauchbar.
Einführung in die qualitative Sozialforschung: Nach jeder der drei Partneraufgaben stellt der Dozent allen Arbeitsgruppen ein jeweils etwa eine Seite umfassendes Feed-back (in einem Dokument gebündelt) zur Verfügung. Besonders auffällig ist die starke Ausrichtung an zuvor definierten Kriterien, durch die das Feedback hinsichtlich der angesprochenen Punkte sehr umfangreich ist: Zu jedem Kriterium wird schließlich eine Bewertung (auch in Form von Punkten; nur für die Gruppen sichtbar) gegeben. Durch die Auflistung positiver und negativer Aspekte der Leistung mit Symbolen (+/-) ist der Text sehr strukturiert. Konkrete Verbesserungshinweise sichern die Nutzbarkeit des Feedbacks für die weiteren Partneraufgaben. „Überfachliche“ Hinweise spielen keine Rolle in dieser Rückmeldung.
Grundkurs Wissensmanagement: Die mündliche Feedback-Sitzung mit dem Dozen-ten und der Arbeitsgruppe ist mit fast einer Stunde sehr umfangreich. Dementspre-chend groß ist auch die Anzahl an Hinweisen, die die Studierenden hinsichtlich der Verbesserung ihrer Rechercheaufgabe (mit der Chance auf eine bessere Note) erhal-ten. Den größten Redeanteil hat der Dozent, jedoch entwickelt sich die Sitzung zum
Ende hin eher zu einem Dialog zwischen Studierenden und dem Dozenten. Der Dozent kritisiert sowohl auf inhaltlicher als auch auf formaler und sprachlicher Ebene die Arbeit der Studierenden. Besonderheit dieses Feedbacks ist die Einbindung zusätzlicher In-formationen zum wissenschaftlichen Arbeiten sowie der direkte Hinweis, wie die Tipps aus dem Feedback auch bei zukünftigen Arbeiten zu gebrauchen sind.
Corporate Citizenship: Die Dozentin stellt nach jeder Sitzung ein Feedback von etwa einer Seite Länge zur Verfügung, dass sich an alle Gruppen gemeinsam richtet. Insbe-sondere negative Aspekte werden daher nicht gruppenspezifisch besprochen, sondern eher im Umkehrschluss („Darauf solltet ihr noch einmal besonders achten!“) als wichti-ge To-Dos formuliert. Positives wird hinwichti-gewichti-gen schon wichti-genannt (mit Best-Practice-Charakter). Das Feedback dient primär einer Zusammenfassung des aktuellen Zwi-schenstandes im Prozess und ebnet den Weg für den nächsten Schritt. Die Dozentin fordert die Studierenden auf, bei Fragen und Problemen aktiv auf sie zuzukommen.
Konstruktivismus-Seminar: Die Dozentin stellt den Gruppen zu jeder absolvierten Leistung (Vortrag, Podcast, Protokoll, Diskussionsleitung und Klausur) ein eigenes Feedback zur Verfügung. Dieses beleuchtet im Wesentlichen Stärken und Schwächen (bzw. „Verbesserungspotenzial“) der Leistung und hat einen eher summativen Charak-ter. Hervorzuheben sind die vielen konkreten Beispiele, an denen positive und negative Aspekte der Arbeit belegt werden.
4.4.4 Zusammenfassung und Interpretation der Ergebnisse
Die Analyse ausgewählter Feedbacks unter Berücksichtigung der „goldenen Regeln“
hat gezeigt, dass diese auf formaler Ebene in weiten Teilen diesen Empfehlungen Fol-ge leisten. Alle Feedbacks beinhalten Lob und Kritik sowie VerbesserungsvorschläFol-ge, wobei gerade Letzteres zentrales Element einer lernförderlichen Rückmeldung ist. Hin-gegen ist ein Vergleich Studierender untereinander wenig empfehlenswerter Bestand-teil eines lernförderlichen Feedbacks, da dieses Vorgehen weniger kriterienorientiert denn normativ ist (Baartman et al., 2007, S. 118). Zwar strebt keines der untersuchten Feedbacks ein solch vergleichendes Vorgehen an, jedoch zeigen manche Formulie-rungen Tendenzen in diese Richtung. Ob dies von den Studierenden wahrgenommen wird und ob dies eventuell negative Einflüsse auf den emotional-motivationalen Zu-stand der Lerner hat, werden die anderen Untersuchungsmethoden zeigen.
Die Feedbacks werden den Studierenden zeitnah zur Verfügung gestellt, was eine wichtige Determinante des Nutzens der Rückmeldung ist. In dem Moment, wo ein Feedback keine Relevanz mehr für den Lerner hat (weil das Assessment z.B. einen Monat zurück liegt) ist es unwahrscheinlich, dass dieses seine lernförderliche Wirkung erreichen kann. Da ich diesen Punkt aber als gut erfüllt ansehe, wird in den weiteren Methoden kein Schwerpunkt auf eine nähere Untersuchung des Zeitpunkts gelegt.
Auf formaler Ebene besonders gut den Rahmenbedingungen eines transparenten Feedbacks gerecht werden die Rückmeldungen in den Veranstaltungen „Sozialpsycho-logie des Internets“ und „Einführung in die qualitative Sozialforschung“, da diese durch das Bereitstellen von Bewertungskriterien und die klare Anbindung an Lernziele einen deutlichen Bezug an das Assessment und die gewünschten Learning Outcomes zeigen (Brown, 2004, S. 83; vgl. Biggs, 2003). Ob diese Feedbacks im Vergleich mit den an-deren Rückmeldungen einen größeren Nutzen für die Studierenden bringen, werden die anderen Forschungsmethoden zeigen müssen.
Bis auf das Feedback in der Veranstaltung „Corporate Citizenship“ stellen alle Rückmeldungen (fast) zeitgleich eine Note oder Punktzahl zur Verfügung. Im weiteren
4. Assessment-Feedback am Beispiel der Professur für Medienpädagogik 81
Verlauf der Arbeit werde ich aus diesem Grund auch die Frage untersuchen, inwiefern diese Note eventuell negativen Einfluss auf die Rezeption des Feedbacks hat. Wie im Theorieteil erläutert wurde, ist der Konsens in der Literatur, dass ein lernförderliches Feedback idealerweise ohne eine Note gegeben werden sollte, da eine gute Note wo-möglich dazu führt, dass das Feedback nicht rezipiert wird bzw. da eine schlechte Note u.U. demotivierend wirken kann (vgl. z.B. Knight & Yorke, 2003, S. 17). Insbesondere in den qualitativen Untersuchungen wird aus diesem Grund die Frage aufgegriffen, welche Relevanz ein Feedback im Vergleich zur Note hat. Dies ist eine besonders spannende Frage, da in den Bachelor- und Masterstudiengängen den Noten ein hoher Stellenwert zukommt, da fast alle erbrachten Leistungen in die Endnote mit eingehen.
Der konkrete Bezug zu den erbrachten Leistungen ist einerseits ein wichtiges Krite-rium eines Assessment-Feedbacks. Andererseits muss besonderes Augenmerk darauf gelegt werden, dass die Feedbacks für die Studierenden tatsächlich nutzbar sind. Ins-besondere dann, wenn ein formatives Feedback auf ein eher summatives Assessment erfolgen soll, muss das Feedback auch Themen enthalten, die über das jeweilige As-sessment hinausgehen. Sonst ist die Gefahr groß, dass aufgrund der Modularisierung in Bachelor- und Masterstudiengängen die Feedbacks ausschließlich als Rechtferti-gung einer Bewertung gesehen werden und ein langfristiger Nutzen unwahrscheinlich wird. Die untersuchten Feedbacks geben Studierenden (nur) teilweise Tipps zu über-fachlichen Kompetenzen (z.B. Präsentieren und wissenschaftliches Arbeiten). Die wei-teren (insbesondere qualitativen) Untersuchungen sollen Aufschluss darüber geben, ob dies bereits einen langfristigen Nutzen des Feedbacks hinsichtlich der Kompetenzent-wicklung sicherstellt. In diesem Zusammenhang wird überdies untersucht, ob das Feedback auch einen Beitrag zur Selbststeuerung und zur Fähigkeit zum lebenslangen Lernen zu leisten vermag und wenn ja, worin dieser Beitrag liegt.