te unterteilen, Evaluation von Komponenten und Evaluation von Dimensionen – wobei zwischen diesen beiden Ansätzen auch Mischformen – zum Beispiel die Programmevaluation – existieren.
Im Rahmen der Komponentenevaluationen („component evaluation“) werden die einzelnen Bestandteile einer Maßnahme oder einer Intervention evaluiert; die Evaluation von Dimensionen („dimensional evaluation“) be-schäftigt sich in erster Linien mit der Bewertung von „aspects“.
2.9.21 Global Evaluation (Scriven)
174Der analytischen Evaluation steht die “global evaluation“ gegenüber. Im Rahmen einer globalen Evaluation wird der Gesamtcharakter bzw. die Komplettperformance einer Maßnahme evaluiert – im Gegensatz zur analytischen Evaluation handelt es sich bei der globalen Variante um eine Evaluation auf Macro- Ebene.
In pragmatischer Hinsicht sind globale Evaluationen schneller umzusetzen und in der Regel unkomplizierter zu bearbeiten als analytische Evaluationen, die sehr detailliert vorgehen.
2.9.22 Alternative Evaluationsmodelle
Als Gegenbewegung zu den in den 1970er Jahren häufig verwendeten Modellen (vorwiegend zielorientierte Ansätze), gelten alternative Evaluationsmodelle. Sie werden in erster Linie als Kritik an den in dieser Zeit ver-wendeten Modellen gesehen.
Hense beschreibt die Merkmale von alternativen Evaluationsmodellen folgendermaßen:
„Kennzeichen sind u.a. die Aufwertung der Rolle der Stakeholder im Evaluationsprozess, Metho-den- und Wertepluralismus, qualitative Methoden, Präferierung sekundärer Evaluationszwecke und teils eine konstruktivistisch beeinflusste erkenntnistheoretische Fundierung.“175
2.9.23 Modelle in der Evaluation PROFiL-TT
In die Evaluation von PROFiL-TT sind verschiedene Ansätze aus unterschiedlichen Evaluationsmodellen integ-riert worden (Modellmix). Der Einsatz von deskriptiven Techniken in Verbindung mit askriptiven und zielorien-tierten Ansätzen wird im Design und der Datenauswertung deutlich. Die Bezugnahme auf Projekt- und die Lern-ziele der einzelnen Module spielt im Design der Erhebungsinstrumente ebenso eine wesentliche Rolle. Von Beginn des Projekts an wurde die Durchführung und Umsetzung der Evaluation PROFiL-TT geplant und jeder Schritt mittels eines genauen Zeitplans festgelegt.
2.10 Evaluationsstandards
1772.10.1 Übersicht
Das Ziel einer Evaluation von Programmen178 besteht in erster Linie in der Bestimmung und Feststellung der Qualität. In diesem Rahmen bietet Evaluation die Möglichkeit, Hinweise zur Verbesserung zu geben und da-durch die Implementierung von Maßnahmen und Interventionen hilfreich zu unterstützen.
Die Rolle des Evaluators ist dabei vor allem von der interessensgebundenen Informationssammlung für seine Auftraggeber sowie alle anderweitig von der Evaluation betroffenen Personengruppen zur Effizienz- und Kos-teneinschätzung eines Programms geprägt.
Eine valide Richtlinie zur Durchführung von Evaluationen bieten die Program Evaluation Standards des Joint Committee on Standards for Educational Evaluation. Diese Standards wurden von der Deutschen Gesellschaft für Evaluation (DeGEval; http://www.degeval.de) übersetzt und angepasst, und sollen die Wissenschaftlichkeit bei Konzeption und Durchführung von Evaluationen sicherstellen.
Bei der deutschen Übersetzung und Interpretation wurden die ursprünglichen, amerikanischen Standards gering-fügig abgeändert und vereinzelt angepasst.
Der folgende Teil der Arbeit soll die Standards des Joint Committee on Standards for Educational Evaluation darstellen und näher erläutern.179
Das Joint Committee on Standards for Educational Evaluation differenziert die dreißig Evaluationsstandards in vier Oberkategorien:
• Utility Standards (Nützlichkeitsstandards)
177 Beywl W / Widmer T (2006)
178 Verwendungsinfo: „Programm“ umfasst in der Verwendung des Joint Committee on Standards for Educatio-nal Evaluation Evaluationsgegenstände aller Art (Programme, Projekte, Materialien [Maßnahmen, Interventio-nen]) aus den Bereichen Erziehung, Aus- und Weiterbildung (ibidem; 28)
179 Eine Übersicht über alle Standards des Joint Committee on Standards for Educational Evaluation befindet sich im Anhang I.
• Feasibility Standards (Durchführbarkeitsstandards)
• Propriety Standards (Korrektheitsstandards)
• Accuracy Standards (Genauigkeitsstandards)
2.10.2 Hintergrund der Evaluationsstandards
Die Standards dienen als Richtlinie für die Durchführung einer konsistenten und aussagekräftigen Evaluation und geben Empfehlungen dafür ab.
„Die mit den Standards gestellten Anforderungen sind oft sehr anspruchvoll und konkurrieren mit-einander. Eine unter realen Bedingungen stattfindende Evaluation vermag demzufolge kaum alle Standards gleichzeitig in vollem Umfang zu erfüllen.“180
Die allgemeine Zielsetzung der Standards besteht darin, Evaluatoren Richtlinien und unterstützende Hilfestel-lungen zu bieten. Diese Unterstützung wendet sich allerdings auch an all diejenigen, die in eine Evaluation in-volviert oder davon betroffen sind, ein qualitativ möglichst hochwertiges Evaluationsprojekt zu realisieren.
Die Standards sollen darüber hinaus dazu dienen, die Qualität einer Evaluation für Auftraggeber besser einschät-zen zu können und Transparenz zu schaffen.
Die dritte Zielsetzung, die von den Evaluationsstandards beabsichtigt wird, betrifft die Schulung, Aus- und Wei-terbildung von Evaluatoren. Die Standards sollen als Grundstock für die Qualifizierung von Evaluatoren dienen, und somit das „Basiswerkzeug“ für fähiges Fachpersonal im Bereich der Evaluation bieten.
Grundsätzlich sollten die Standards nur in einer situationsgebundenen Abhängigkeit eingesetzt werden, bei der für jeden spezifischen Kontext entschieden werden muss, welche Standards angewendet werden können. Die Anwendung und die Entscheidungen, welche Standards berücksichtigt werden und bei welchen das Augenmerk mehr auf die Pragmatik gesetzt wird, sollten dabei begründet und für Außenstehende nachvollziehbar sein.
Die Evaluationsstandards sollen Evaluatoren in wichtigen Fragestellungen und Aspekten einer Evaluation unter-stützen. Für die meisten Standards kann eine funktionale Zuordnung zu den Phasen einer Evaluation getroffen werden.
Mittels der Standards kann entschieden werden, ob es überhaupt zweckdienlich und sinnvoll ist, eine Evaluation durchzuführen; sie bieten generell Hilfestellungen bei der Eingrenzung des Evaluationsgegenstandes und der Umsetzung sämtlicher Phasen einer Evaluation – angefangen von der Konzeption, über die Informationsgewin-nung und -auswertung bis hin zum Reporting. Ferner werden durch die Standards administrative Angelegenhei-ten – beispielsweise die Ausarbeitung eines Evaluationsvertrags, wichtige Hinweise zum Evaluationsmanage-ment sowie die personelle Planung und die allgemeine Budgetierung – erklärt und regleEvaluationsmanage-mentiert.
180 Beywl W / Widmer T (2006). 10
2.10.3 Nützlichkeitsstandards
181Das Joint Committee on Standards for Educational Evaluation legt in sieben Standards Kriterien für die Nütz-lichkeit einer Evaluation fest.
Generell wird in diesen Standards proklamiert, dass eine Evaluation in ihrer Gesamtheit die verschiedenen be-troffen Zielgruppen erreichen sollte, die die Evaluation entweder in Auftrag gegeben oder ein bestimmtes Inte-resse an der Durchführung und den Ergebnissen haben, oder einen – wie auch immer gearteten – sonstigen Nut-zen aus der Evaluation eines Programms ziehen können.
Die Nützlichkeit von Evaluationen bezieht sich hauptsächlich auf den Informationsgehalt, den eine Evaluation für den Nutzer haben sollte, den richtigen Zeitpunkt sowie die Wirksamkeit.