Evaluationsmodelle .1 Übersicht

Evaluationen können anhand einer Vielzahl unterschiedlicher Kriterien charakterisiert werden. Aufgrund dieser Facettenfülle ist es bis jetzt noch nicht gelungen, ein Evaluationsmodell zu formulieren, dass den Charakter einer eigenständigen Evaluationstheorie besitzt.¹³⁸

Die Unterscheidung der Modelle betrifft unterschiedliche Kriterien, die im Rahmen einer Evaluation auftreten, wesentlich sind und nach denen eine Evaluation durchgeführt werden kann.¹³⁹

Grundsätzlich wird dabei berücksichtigt, wie groß die Reichweite einer Evaluation sein sollte, ob einzelne As-pekte, Abschnitte eines Programms oder das komplette Programm im Fokus der Untersuchung stehen sollen.

Für die praktische Anwendung von Evaluationen hat diese Vielfalt zur Folge, dass häufig unterschiedliche Mo-delle miteinander vermischt werden, bis wiederum neue MoMo-delle entstehen, die in spezifischen Kontexten den betreffenden Gegenstand genau beschreiben und bewerten können.¹⁴⁰ Die Tendenz, ein generell gültiges, globa-les Evaluationsmodell zu formulieren besteht allerdings weiterhin (z.B. der Ansatz von Worthen und Sanders zur managementorientierten Evaluation).¹⁴¹

Hense beschreibt die Vielzahl der Evaluationsmodelle als „Bündel deskriptiver, präskriptiver und/oder normati-ver Aussagen zu Bedingungen, Wirkungen und/oder Umsetzungsvarianten von Evaluation, die optimalerweise auf theoretischen und empirischen Ergebnissen der Evaluationsforschung basieren.“¹⁴²

Im folgenden Abschnitt sollen die wesentlichen Modelle und deren Eigenschaften dargestellt und erläutert wer-den.

138 Vgl. Shadish, Cook, Leviton (1991); Alkin (2004); zit. in Hense J (2007)

139 Die Charakterisierung von Evaluationsmodellen kann z.B. anhand folgender Kriterien getroffen werden:

Design, Methodenauswahl, Zielsetzungen, Generalisierbarkeit von Ergebnissen versus Einzelfallanalysen, Ver-hältnis zwischen Evaluator und Auftraggeber, interne versus externe Evaluation, Selbst- versus Fremdevaluation, Wissenschaftlichkeit der Evaluation gegenüber Anwendungsorientierung und Verwendbarkeit der Ergebnisse (vgl. Rindermann H (2001). 10 f.; Hense J (2007))

140 Vgl. Beywl W (2006). Evaluationsmodelle und qualitative Methoden. in Flick U (Hrsg.).(2006). 92 – 116

141 Vgl. Worthen BR / Sanders JR / Fitzpatrick JL (1997). 102

142 Hense J (2007)

2.9.2 Effizienzkriterienorientiert Evaluation (Rossi, Freeman, Lipsey)

Bei der effizienzkriterienorientierten Evaluation wird meist von externen Evaluatoren das Kosten- Nutzen- Ver-hältnis einer Veranstaltung oder Intervention untersucht. Der Aufwand, der für die Konzeption, Durchführung und Nachbereitung einer Maßnahme notwendig ist, wird dabei der Effektivität und Wirkung gegenübergestellt, die von dieser Maßnahme herrühren. Voraussetzung für eine effizienzkriterienorientierte Evaluation ist eine umfangreiche Wirkungsanalyse, die in erster Linie unter Verwendung von experimentellen Designs durchgeführt werden kann.¹⁴⁴

Bei der Wirksamkeitsprüfung von Interventionen stellt sich grundsätzlich die Frage, wie empirische Informatio-nen über die Wirkungsweise einer Intervention gesammelt werden könInformatio-nen und wie überprüft werden kann, ob eine solche Wirkung überhaupt vorhanden ist. Anhaltspunkte hierfür sind in der Regel Programmziele, anhand derer festgestellt werden kann, ob oder inwiefern eine Intervention zielgerichtet und somit effizient implemen-tiert und durchgeführt wurde und ob dadurch eine Wirkung oder sogar einen Nutzen erzielet werden konnte.

Die Daten, die aus einer solchen Erhebung resultieren, entsprechen in der Regel wissenschaftlichen Untersu-chungskriterien und weisen demzufolge eine hohe Generalisierbarkeit auf.

2.9.3 Versuchsplanorientierte Evaluation (Hager, Patry, Brezing)

Auch im Rahmen von versuchsplanorientierten Evaluationen wird auf die strenge Einhaltung methodischer Standards geachtet. Der Untersuchungsplan wird vor der Evaluation ausgearbeitet und während der gesamten Dauer eingehalten. Die Untersuchung betrifft – ähnlich wie bei der effizienzkriterienorientierten Evaluation – Wirkungen und Wirkfaktoren von lokal eingesetzten Interventionen. Die Einhaltung der Gütekriterien interne und externe Validität, Reliabilität und Präzision hat bei diesem Modell oberste Priorität.

2.9.4 Programmziel- / lernzielgesteuerte Evaluation (objective-based study)

In programm- oder lernzielgesteuerten Modellen werden anhand von meist experimentellen oder zumindest quasi-experimentellen Vorgehensweisen die angestrebten Programmziele mit den tatsächlichen Resultaten einer Intervention verglichen. Ausschlaggebend für einen solchen Vergleich ist die Formulierung der Programm- und Lernziele einer Intervention vor Beginn der Evaluation.

143 Vgl. Rossi PH, Freeman HE, Lipsey MW (2004). 331 – 341

144 Vgl. Stockmann R (2006). 101 – 106

145 Vgl. Hager, Patry, Brezing (2000). Zusammenfassung. 47 – 61

146 Vgl. Beywl W (2004). Artikel Programmzielgesteuerte Evaluation

2.9.5 Theoriegeleitete Evaluation (Chen)

Die Basis für theoriegeleitete Evaluationen beruht auf der Formulierung und Ausarbeitung eines logischen Mo-dells vor Programmstart, das der Evaluation zugrunde liegt. Von diesem Modell abhängig ist die Konzeption der Evaluation, die Datenerhebung, -auswertung und -interpretation – somit die gesamte Steuerung.

Der Hintergrund dieses Modells besteht in der Annahme, dass es sinnvoller ist, die Arbeits- und Wirkungsweise einer Intervention zu verstehen, als zu untersuchen, ob ein Programm in nichtgeneralisierbaren und hochspezifi-schen Kontexten überhaupt einen Effekt erzielen kann. Die Grundlage für theoriegeleitete Evaluationen stellen

„black-box evaluations“ (siehe Kapitel 2.9.18) dar.

2.9.6 Gegnerschaftsgesteuerte Evaluation (adversary Evaluation)

Die Besonderheit bei gegnerschaftsgesteuerten Evaluationen besteht darin, dass zwei Evaluationsteams, die bezüglich der zu evaluierenden Maßnahme unterschiedliche Auffassungen vertreten, dieselbe Maßnahme unab-hängig voneinander untersuchen. Die beiden Evaluationsteams stellen ihre Ergebnisse nach Beendigung der Evaluation einer Kommission vor, die die Ergebnisse unter Miteinbeziehung aller Vor- und Nachteile bewertet, ein Resümee daraus zieht und eine Empfehlung für die weitere Vorgehensweise bezogen auf die Intervention ausspricht.

Dieser Modelltyp wird meist dann verwendet, wenn Vor- und Nachteile einer Intervention explizit herausgestellt werden sollen.

2.9.7 Entscheidungsgesteuerte Evaluation (Stufflebeam)

Entscheidungsorientierte Evaluationsansätze zielen in erster Linie auf die Beschreibung, Abgrenzung und An-wendung deskriptiver Informationen, um den Wert oder die Leistung eines Programms einschätzen oder beurtei-len zu können. Einer entscheidungsorientierten Evaluation liegen meist zur untersuchten Intervention eine oder mehrere Alternativen vor. Um letztendlich eine Entscheidung für oder gegen das untersuchte Programm treffen zu können, sind detaillierte Aussagen über Ziele, Design, Implementierung und Ergebnisse dieser Intervention notwendig.

2.9.8 Beteiligteninteressengesteuerte Evaluation

Die beteiligteninteressengesteuerte Evaluation hat das Interesse, alle Anliegen und Konfliktthemen der beteilig-ten Personengruppen zu berücksichtigen. Die Praxisorientierung steht bei diesem Modell im Vordergrund, wobei

147 Vgl. Chen HT (1990). 37 – 55 / Patton MQ (2002). 481 – 487

148 Vgl. Owens T (1973) / Wolf RL (1979). 19 – 28

149 Vgl. Stufflebeam DL, Shinkfield AJ (1985)

größtenteils qualitative Untersuchungsmethoden eingesetzt werden, um die Interessen möglichst aller involvier-ten Gruppen einzubeziehen.

Beteiligenteninteressengesteuerte Evaluationen können in verschiedene Varianten differenziert werden. Natura-listische¹⁵⁰ und responsive Evaluationen sowie Fallstudieneinsätze¹⁵¹ fallen unter diese Kategorie.