Seite 1-3 7. Peer Tutor*innen Konferenz in Frankfurt a. M.
Fachgutachten zur Heterogenität in der Hochschulwelt
Seite 4
An alle interessierten Lehrenden, Studierenden und Freunde des Universitätskollegs
Fragebogen © S. Möller
Liebe Leserinnen und Leser,
das Universitätskolleg besteht aus einer Vielzahl ganz unterschiedlicher Projekte, die in verschiedenen Hand-lungsfeldern neue Ansätze erproben, diese kontinuier-lich entwickeln und verbessern. Dazu bedarf es einer koordinierten Evaluation der jeweiligen Maßnahmen.
Alle Projekte sind darauf angewiesen, laufend auf Erfolg und Zielrichtung überprüft und hinterfragt zu werden, um nachhaltigen Erfolg zu haben. In diesem Kolleg-Boten richten wir deshalb einen Blick darauf, wie das Universitätskolleg durch interne Evaluation sicherstellt, dass die weitere Entwicklung der Projekte
positiv verläuft und gewonnene Erkenntnisse nutzbar gemacht werden. In einem Beitrag von Eva Arnold und André Kopischke vom Teilprojekt 24 (Evaluation Maßnahmen) wird beleuchtet, welche Ziele interne Evaluation verfolgt, welche Herausforderungen es dabei zu beachten und bewältigen gibt und welchen Stellenwert die interne Evaluation in Abgrenzung zu externer Evaluation einnimmt.
Auf Seite 4 finden sich eine Ankündigung zur 7. Peer Tutor*innenkonferenz in Frankfurt und ein Hinweis auf ein HRK-Fachgutachten zu Heterogenität in der Hochschulwelt. (bg)
Der Begriff „Evaluation“ steht für die Bewertung von Aktivitäten und Projekten. Evaluation stützt sich auf systematisch erhobene Daten und beschreibt und be-wertet das Programm oder Projekt transparent anhand nachvollziehbarer Kriterien. Wird die Bewertung von außenstehenden Personen durchgeführt, spricht man von externer Evaluation. Interne Evaluation liegt dage-gen in der Hand von Personen, die der Institution selbst angehören, die das Programm oder Projekt durchführt.
Evaluationen können unterschiedlichen Zwecken die-nen: Sie können Entscheidungen über die Beibehaltung oder Veränderungen von Programmen unterstützen (Kontrollfunktion) oder belegen, dass die jeweilige Maßnahme hält, was sie verspricht (Legitimations-funktion). Für die Beteiligten selbst sind Erkenntnisse über die Wirksamkeit und Wirkungsweise des Pro-gramms besonders nützlich (Erkenntnisfunktion).
Die Handlungsfähig-keit der Teilprojekte durch Erkenntnisse zu stärken, steht auch bei den internen Evaluati-onen im Vordergrund, die vom Teilprojekt 24 im Universitätskolleg unterstützt werden.
Nützliche interne Evaluationen orientie-ren sich an den
Erkennt-nisinteressen des Projektes, beantworten relevante Fragen und liefern Informationen, die für die Hand-lungsentscheidungen der Beteiligten wesentlich sind.
Das klingt einfach, aber es gelingt nicht immer, Infor-mationen zu sammeln, die ein Projekt tatsächlich
Interne Evaluation im Universitätskolleg
Autorin und Autor: Eva Arnold & André Kopischke
Termine
Lange Nacht der Bildung: Am Mittwoch, 3. September, um 18:00 Uhr lädt die Grüne Bürgerschaftsfraktion zur „Langen Nacht der Bildung“ in das Hamburger Rathaus ein.
Vizepräsidentin Dr. Susanne Rupp und Holger Schlegel vom Universitätskolleg werden Vorträge halten. Nähere Infos und Anmeldung unter http://uhh.de/7dghue
Die nächste Ausgabe des Kolleg-Boten erscheint am 17. September.
Die STEOP-Session wird während der vorlesungsfreien Zeit nicht stattfinden.
Die nächste STEOP-Session findet am 27. Oktober statt.
Alle Neuigkeiten und Termine finden Sie auch unter
http://uhh.de/uk-news
weiterbringen.
Ein Beispiel: Wenn es um Bildungsveranstaltungen geht, wird fast immer die Frage nach der Zufriedenheit der Teilnehmenden gestellt. Allerdings lässt sich mit den Rückmeldungen häufig wenig anfangen, weil nicht die Zufriedenheit der Lernenden das Ziel der Veranstaltung ist, sondern deren Lernergebnisse.
Die Formulierung von nützlichen Fragen ist deshalb ein wichtiger Schritt interner Evaluation.
Leitfrage 1: Funktioniert das Projekt?
Ziel vieler interner Evaluationen ist zu klären, ob die Ziele, die bei der Antragstellung oder in der Konzeption des untersuchten Projekts definiert wurden, erreicht werden. Bei der Planung der Evaluation zeigt sich allerdings nicht selten, dass diese so abstrakt formuliert sind, dass zunächst genauer geklärt werden muss, wo-ran die Erreichung der Ziele erkennbar wird. Der erste Schritt einer internen Evaluation ist deshalb meist die Konkretisierung der Programmziele. Das Teilprojekt 24 im Universitätskolleg unterstützt die Akteurinnen und Akteure anderer Teilprojekte bei dieser Aufgabe mit der „Zielbaummethode“. Der „Zielbaum“ bildet dabei ein hierarchisches Bezugssystem: Ausgehend vom
„Leitziel“ (Stamm), werden einige „Grobziele“ (Äste), mehrere „Feinziele“ (Zweige) und zahlreiche „Indika-toren“ (Blätter) unterschieden. Das Leitziel ist dabei meist abstrakt und langfristig, während die Grobziele konkreter beschreiben,
mit welchen Maßnahmen dieses verfolgt wird. Grob-ziele gliedern sich wie-derum in Feinziele, d. h.
angestrebte Zielzustände einzelner Projektaktivi-täten. Der höchste Grad der Konkretisierung wird erreicht, wenn festgelegt werden kann, was erfragt oder beobachtet werden soll, um die Erreichung des Feinziels zu beurteilen (Indikatoren).
Abbildung 1 zeigt einen Ast des Zielbaums der Schreib-werkstatt Mehrspra-chigkeit, der ein Grobziel
und ein daraus abgeleitetes Feinziel in drei Indikatoren konkretisiert.
Mit dieser Methode lassen sich die Zielvorstellungen in Projekten so konkretisieren, dass ihre Erreichung über messbare Indikatoren dokumentiert werden kann. Dis-kussionen über Leit-, Grob- und Feinziele können auch der Zusammenarbeit im Projekt dienlich sein, wenn die Beteiligten ein gemeinsames Verständnis der Projekt-ziele erarbeiten.
Leitfrage 2: Wie funktioniert das Projekt?
Interne Evaluationen zur Frage, ob die Ziele des Projekts erreicht wurden, sagen nichts darüber aus, wie die Ziele erreicht oder verfehlt wurden. Die Wirkungsweise einer Bildungsmaßnahme zu kennen, ist wichtig, wenn es z. B. darum geht, das Vorgehen nach einem weniger zufriedenstellenden Ergebnis zu verändern oder die Ak-tivitäten an neue Rahmenbedingungen anzupassen. Im Erfolgsfall ist es wichtig, die entscheidenden Elemente des Projekts zu kennen, die nicht verändert werden sollten, um das positive Ergebnis nicht zu gefährden.
Lehrende und Organisatorinnen und Organisatoren von Bildungsveranstaltungen haben ihre eigenen, individuellen Theorien über die Wirkungsweise ihrer Veranstaltungen: Welche Inhalte sind zentral, welche ggf. entbehrlich? Welches didaktische Vorgehen hat sich bewährt, welches eher nicht? Welche Lernvoraus-setzungen der Teilnehmenden sind günstig, welche
schwierig? Um mehr über die Wirkungsweise des Angebots zu erfahren, lohnt es sich, solche „Pro-grammtheorien“ zu expli-zieren, über Ursache-Wir-kungs-Verhältnisse zu spekulieren und zu klären, welche Annahmen dazu geführt haben, die für das Projekt charakteristischen Handlungsstrategien zu wählen.
Das Ergebnis solcher Über-legungen lässt sich z. B. als
„Wirkungskette“ darstel-len. Abbildung 2 zeigt eine einfache Wirkungskette für die Schreibwerkstatt
Abb. 1 - Teil des Zielbaums der Schreibwerkstatt Mehrsprachigkeit ©TP24
Mehr BAföG: BAföG-Empfängerinnen und -Empfänger erhalten zukünftig 7% mehr Geld. Auch Wohn- und Betreuungszuschläge werden ab 2016 überproportional angehoben. Minijobs werden nicht mehr angerechnet und der Empfängerkreis ausgeweitet. Das Geld wird ab 2015 erstmal komplett vom Bund gestellt, so dass für die Länder mehr Kapazitäten in der Finanzierung von Forschung und Bildung frei werden. Mehr Infos: http://www.bmbf.de/press/3632.php
Mehr als sechs Semester: Das Bachelor-Studium dauert in der Realität weit länger als geplant. Zahlen aus den Bundesländern erge-ben, dass Studierende für gewöhnlich zwischen sieben und neun Semestern für ihren Abschluss benötigen.
Mehr Studienzugänge: Ab August 2014 erhalten 97 deutsche Hochschulen eine Förderung im Rahmen des Wettbewerbs „Aufstieg durch Bildung: offene Hochschulen“. Der Wettbewerb richtet sich an Berufstätige, Berufsrückkehrende und qualifizierte Fachkräfte ohne Abitur. Dabei stehen Weiterbildung und lebenslanges Lernen im Vordergrund: www.wettbewerb-offene-hochschulen-bmbf.de
Kurzmeldungen
Mehrsprachigkeit: Textarbeit, Reflexion und Feedback der Tutorinnen und Tutoren verbessern demnach die Schreibkompetenz, die wiederum die akademische
Textkompetenz erhöht und damit die Schreibprodukte der Teilnehmenden verbessert, so dass schließlich der Studienerfolg wahrscheinlicher wird.
Um eine solche Programmtheorie zu überprüfen, müss-ten die Beteiligmüss-ten „experimentieren“, d. h. ihr Vorge-hen schrittweise variieren und die jeweiligen Folgen beobachten. In der Schreibwerkstatt Mehrsprachigkeit könnten z. B. die Anleitungen zur Reflexion oder die Ge-staltung des Feedbacks schrittweise verändert werden, um mehr über „Gelingensbedingungen“ der Aktivitäten zu erfahren.
Hinweis: Häufig werden Erfolgsfaktoren vor allem in den persönlichen Merkmalen der Lernenden vermutet. Daher werden umfangreiche Informationen, z. B. über Vor-bildung, Interessen und Lebenssituationen erfasst. Das wirft nicht nur Datenschutzprobleme auf, es führt auch selten zu entscheidenden Einsichten, da einzelne Merk-male erfahrungsgemäß keine eindeutige Wirkung haben und komplexe Merkmalskombinationen an Gruppen mit wenigen Dutzend Teilnehmenden nicht untersucht
werden können.
Wenn der Aufwand für die empirische Prüfung zu hoch ist, kann man sich darauf konzentrieren, die Plausibili-tät der Programmtheorie zu belegen, denn auch dieser Schritt kann entscheidend dazu beitragen, die eigenen Aktivitäten besser zu verstehen und anderen verständ-lich zu machen. Ein prominenter Befürworter „nützli-cher“ Evaluationen hat beobachtet: „Policymakers and program decision makers, I find, typically understand and appreciate this.“ (Patton, 1997, S. 217).
Das Verhältnis zwischen interner und externer Evaluation Interne Evaluation orientiert sich also mit guten Grün-den eng an Grün-den spezifischen Annahmen und Zielen des jeweils einzelnen Projekts, um den Beteiligten nütz-liche Einsichten in das eigene Handeln zu vermitteln.
Um die eigenen Aktivitäten weiterzuentwickeln, sind Vergleiche mit Projekten, die ein anderes Vorgehen realisieren, nicht dienlich. Daher eignen sich die inter-nen Evaluatiointer-nen im Universitätskolleg nicht, um z. B.
Self Assessment, Crashkurse, Schreibwerkstätten und Mentoring, miteinander zu vergleichen, auch wenn diese gemeinsam
„Studierfähigkeit“
erhöhen sollen. Um diese Ergebnisse in eine externe Evalua-tion einzubeziehen, müssen zusätzliche, übergreifende Krite-rien gesetzt werden.
Ernsthaftigkeit der Überprüfung der Zielerreichung oder Plausibilität der je-weiligen Programm-theorie kommen als Kriterien durchaus in Frage.
„Evaluation Maßnahmen“ – Teilprojekt 24
Projektleitung: Prof. Dr. Eva Arnold — Projektmitarbeitende: André Kopischke und Stefanie Möller
Hintergrund zum Projekt: www.universitaetskolleg.uni-hamburg.de/de/projekte/begleitforschung-evaluation.html Literatur zum Artikel: Patton, M. Q. (1997). Utilization-Focused Evaluation: The new century text. 3. Edition. Thousand Oaks:
SAGE Publication Inc.
Abb. 2- Wirkungskette zu einer Programmtheorie der Schreibwerkstatt Mehrsprachigkeit ©TP24
Planung einer Evaluation © S. Möller
Dieses Vorhaben wird aus Mitteln des BMBF unter dem Förderkennzeichen 01PL12033 gefördert. Die Verantwortung für den Inhalt dieser Veröffentlichung liegt bei den Herausgebern und Autoren.