Grundlagen zur Evaluation

Nach Blessing & Chakrabarti (2009) gibt es drei Arten von Evaluation: Lösungsansatz- (engl. support evaluation), Anwendungs- (engl. application evaluation) und Erfolgsevaluation (engl. success evaluation). Eine Lösungsansatzevaluation wird während der Entwicklung des Lösungsansatzes durchgeführt. Diese soll sicherstellen, dass der Lösungsansatz in der Deskriptiven Studie II auch bewertet werden kann. Dies geschah in dieser Arbeit durch die Festlegung der Anforderungen an den Lösungsansatz. In der Anwendungsevaluation, die in der Deskriptiven Studie II durchgeführt wird, werden die Anwendbarkeit (engl. applicability) und Verwendbarkeit (engl. usability) des Lösungsansatzes überprüft. Anknüpfend an die Anwendungsevaluation wird in der Erfolgsevaluation die Nützlichkeit (engl. usefulness) des Lösungsansatzes anhand quantitativer Erfolgskriterien gemessen. (Blessing & Chakrabarti, 2009, 181 ff.)

Die folgende Evaluation ist entsprechend dieser Definitionen eine einführende Anwendungs-evaluation (engl. initial application Anwendungs-evaluation). Aufbauend auf dieser kann in weiteren Studien eine vollständige Anwendungs- und darauffolgende Erfolgsevaluation durchgeführt werden.

Der Begriff Evaluation kann aus dem Lateinischen (ex ‚aus‘ und valor ‚Wert‘) sowie Französischem (évaluation ‚Schätzung‘ und évaluer ‚(ab)schätzen‘) hergeleitet werden. Aus diesen beiden Ursprüngen ergibt sich die allgemeine Bedeutung einer Evaluation: Einen Wert aus etwas ziehen. Aufbauend auf dieser Bedeutung und im Sinne von Stockmann (2007, S. 25 f.) und Gollwitzer & Jäger (2014, S. 21 f.) wird der Begriff Evaluation in dieser Forschungsarbeit als eine Wertbeurteilung bezeichnet. Bei dieser werden Informationen gesammelt, bewertet und auf dieser Grundlage Entscheidungen getroffen.

Es gibt unterschiedliche Formen von Evaluationen, wie Evaluationsforschungsstudien oder Alltagsevaluationen. Die Disziplin der Evaluationsforschung hilft bei der Abgrenzung der Begriffe. Sie beschreibt eine nicht willkürliche Bewertung, sondern eine Bewertung anhand präziser festgelegter Bewertungskriterien und die Verwendung (sozialwissenschaftlicher) Methoden (Gollwitzer & Jäger, 2014, S. 21; Balzer, 2005, S. 16). Da die beiden Begriffe Evaluation und Evaluationsforschung meist synonym verwendet werden (Beck, 2016, S. 5;

Stockmann, 2007, S. 25), wird im Folgenden nur noch der Begriff Evaluation verwendet. Eine wissenschaftliche Evaluation sollte nach Stockmann (2007, S. 27) folgende fünf Kriterien erfüllen:

 Es existiert ein klar definierter Evaluationsgegenstand.

 Die Evaluation wird von Experten durchgeführt.

 Die Bewertung wird anhand explizit auf den zu evaluierenden Sachverhalt zugeschnittener und offengelegter Kriterien durchgeführt.

 Informationen werden anhand empirischer Datenerhebungen gewonnen.

 Für die Informationsbewertung werden systematisch vergleichende Verfahren herange-zogen.

Zwei wesentliche Merkmale einer Evaluation sind die Funktion einer Evaluation und die Rolle des Evaluierenden, die in interne und externe Evaluation unterteilt werden kann. Zur Beschreibung der Evaluationsstudien werden diese beiden Merkmale kurz vorgestellt.

Beck (2016, S. 9 f.), Bortz & Döring (2006, S. 987) und Stockmann (2007, S. 36 ff.) unterscheiden fünf Evaluationsfunktionen (bzw. Evaluationszwecke oder Evaluationsziele)⁴¹. Ein erster Aspekt ist die Erkenntnisfunktion: Bei einer Evaluation werden relevante Daten gesammelt, mithilfe derer dann Entscheidungen getroffen werden sollen. Unter anderem soll festgestellt werden, ob die angewendeten Maßnahmen die Zielgruppe erreicht haben, wie hoch die Akzeptanz eines Programmes ist oder inwiefern sich die Rahmenbedingungen der Untersuchung verändert haben. Zum Zweiten spielt die Kontrollfunktion eine Rolle: Durch die Beobachtung des Programms sollen vor allem Defizite schnell identifiziert und diesen entgegengewirkt werden. Zudem lassen sich Informationen gewinnen, die erkennen lassen, ob alle Aufgaben erledigt werden. So dient die Evaluation als eine Form der Kontrolle. Dazu

41 Beschreibungen basieren auf der Semesterarbeit Golditchuk (2016).

8.1 Grundlagen zur Evaluation 131

kommt drittens die Optimierungsfunktion: Über die reine Wissenserweiterung soll die Evaluation Erkenntnisse schaffen, um den Evaluationsgegenstand zielgerichtet zu verbessern.

Der vierte Aspekt ist die Dialog-/Lernfunktion: Bei einer Evaluation werden den Stakeholdern Informationen bereitgestellt. Auf Grundlage dieser Daten wird ein Dialog angeregt, wodurch gemeinsam ermittelt werden kann, welche Ergebnisse erreicht wurden und wo Defizite auftraten. Dadurch kann nun die Zusammenarbeit effizienter gestaltet werden und es findet ein gemeinsamer Lernprozess statt. Abschließend steht die Legitimierungsfunktion: Mithilfe der Evaluation wird eine Datenbasis generiert, die es ermöglicht, die Prozessperspektive einzunehmen. Dadurch lässt sich nachweisen, welcher Input über die Zeit hinweg zu welchem Output bzw. zu welcher Wirkung führte. Zudem lässt sich so die nachhaltige Wirkung eines Programmes prüfen. So können beispielsweise Mittelnehmer belegen, wie effizient Finanz-mittel eingesetzt wurden. Die im Folgenden durchgeführte Evaluation fokussiert dabei die Erkenntnis- und Kontrollfunktion.

Ergänzend zur Funktion der Evaluation muss die Rolle des Evaluierenden festgelegt werden.

Es wird die interne von der externen Evaluation unterschieden. Bei der internen Evaluation führen Mitarbeiter der Organisation, welche die Maßnahme umsetzt, auch die Evaluations-untersuchung durch. Externe Evaluationen werden von Personen durchgeführt, welche nicht dem Anbieter der Maßnahmen angehören. (Rossi et al., 2004, S. 401; Gollwitzer & Jäger, 2014, S. 30; Stockmann, 2007, S. 160)

Beide Arten der Evaluation haben Vor- und Nachteile. So kann eine interne Evaluation mit geringem Aufwand durchgeführt werden, aber aufgrund von Betriebsblindheit oder geringer Methodenkompetenz keine verlässlichen Ergebnisse liefern. Im Gegensatz dazu ist ein wesentlicher Vorteil einer externen Evaluation die Methodenkompetenz der Evaluierenden. Die Distanz zum Untersuchungsgegenstand kann aber zu Abwehrreaktionen und Umsetzungs-problemen führen. In Tabelle 8-1 werden die Vor- und Nachteile beider Arten nach Stockmann (2007, S. 61) gegenübergestellt.

Tabelle 8-1: Übersicht von Vor- und Nachteilen von interner und externer Evaluation nach Stockmann 2007, S. 61)

Interne Evaluation Externe Evaluation

Vorteile

 Rasch mit geringem Aufwand

 Hohe Sachkenntnis

Abschließend soll in dieser Einleitung auf unterschiedliche Vorgehensmodelle für die Evaluation eingegangen werden. In der sozialwissenschaftlichen Forschung gibt es unterschiedliche Vorgehensmodelle zur Durchführung von Evaluationen, z. B.

Beywl et al. (2007) oder Stockmann (2007). Diese Vorgehen definieren unterschiedlich viele

Vorgehensschritte. Allgemein ist jedoch festzuhalten, dass eine Evaluation in die Schritte Initiierung, Konzept, Design, Erhebung und Umsetzung unterteilt werden kann. Entsprechend diesem Vorgehen orientieren sich die folgenden Studien an diesen Schritten. Ergänzt wird diese deutschsprachige, sozialwissenschaftlich geprägte Sichtweise um das Evaluationsvorgehen von Field & Hole (2003).

Diese Grundlagen leiten die folgenden Evaluationsstudien. Die Kriterien für eine wissenschaft-liche Evaluation wurden bei der Entwicklung der Evaluationsstudien beachtet. Die Merkmale Funktion einer Evaluation und die Rolle des Evaluierenden werden in Unterkapitel 8.7 bezug-nehmend auf die Evaluationsergebnisse diskutiert. Im Folgenden wird ein Überblick über die vier Evaluationsstudien gegeben. Es werden die Ziele, das Vorgehen sowie die Evaluationspartner und der Evaluationsgegenstand vorgestellt. Anschließend werden die vier Studien und ihre Ergebnisse vorgestellt.