Grundlagen und Anwendung sozialwissenschaftlicher Evaluation

2.3.1 Begriffsbestimmung der Evaluation

Im weitesten Sinne kann Evaluation als die Bewertung von Ereignissen, Dingen, Prozessen oder Personen gesehen werden (Rossi, Freeman & Lipsey, 1999). Alles kann evaluiert werden, Evaluationen eingeschlossen (Cook & Gruder, 1978).

Grundsätzlich handelt es sich bei Evaluationen also um einen ziel- und zweckorientierten Prozess zur Bewertung eines Evaluationsobjekts (Mittag & Hager, 2000). Dieser Prozess erfordert nicht notwendigerweise systematische Verfahren oder datengestützte Beweise zur Untermauerung einer Beurteilung (Wottawa & Thierau, 1998).

Anders verhält es sich mit der Evaluationsforschung. Sie verwendet explizit wissenschaftliche Forschungsmethoden und –techniken für den Zweck der Durchführung einer Bewertung. Evaluationsforschung betont die Möglichkeit des Beweises anstelle der reinen Behauptung bzgl. des Wertes und Nutzens einer bestimmten sozialen Aktivität (Wottawa & Thierau, 1998).

Wissenschaftliche Evaluation befasst sich mit der Bewertung eines Programms. Ein Programm kann alles sein, was durchgeführt wird, weil man sich davon einen gewissen Effekt verspricht (Herman, Morris & Fitz-Gibbon, 1987). Das kann ein neuer Lehrplan sein, ein Training, eine Therapie, eine Software und vieles mehr. Kennzeichnend für wissenschaftliche Evaluation ist, dass sie ziel- und zweckorientiert ist. Ihr primäres Ziel ist, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.

Sie dient als Planungs- und Entscheidungshilfe und soll dem aktuellen Stand wissenschaftlicher Forschung angepasst sein (Wottawa & Thierau, 1998).

2.3.2 Ziele einer Evaluation

Evaluation kann in praktisch allen gesellschaftlich relevanten Bereichen des

häufigsten Nutzenerwartungen von Auftraggebern einer Evaluation:

• Bewertung ohne detaillierte Zielsetzung:

Hierbei handelt es sich eher um eine Überprüfung oder Kontrolle. Der Auftraggeber möchte möglichst umfassende Informationen über ein Programm bekommen.

• Verantwortungsdelegation:

Dieses Ziel wird vor allem bei unter großer Unsicherheit getroffenen Innovationsentscheidungen verfolgt. Durch eine begleitende Evaluation möchte man Vorsicht bekunden und hofft, dass die Tatsache der Evaluation als solche zur Verbesserung der Unsicherheit beiträgt.

• Durchsetzungshilfe:

Zum einen soll hier die Durchführung der Evaluation selbst, unabhängig von den Resultaten, die gewünschte Maßnahme erleichtern. Zum anderen sollen die Ergebnisse so beschaffen sein, dass sie der eigenen Zielsetzung entsprechen also die vorgefasste Meinung über ein Programm unterstützen.

• Entscheidungshilfe:

Hier gibt es im Idealfall zwei oder mehr Alternativen von Programmen. Die Aufgabe des Evaluators ist, die verschiedenen Alternativen anhand bestimmter Kriterien zu bewerten um dann die beste Alternative auszuwählen. Nach Legge (1984) kann Evaluation aber auch eingesetzt werden, um zu entscheiden, ob ein laufendes Programm fortgesetzt, erweitert oder modifiziert werden soll.

• Optimierungsgrundlage:

Hier ist das Ziel des Auftraggebers, das fragliche Programm durch systematische Rückmeldung zu verbessern. Der Evaluator soll Hinweise geben, welche Aspekte des Programms verbesserungswürdig sind und eventuell Vorschläge dazu machen, wie diese Verbesserungen zu erreichen sind.

• Kontrolle der Zielerreichung:

Grundlage der Bewertung ist in diesem Fall der Vergleich zwischen erzieltem Ergebnis eines Programms und erwartetem Profil. Evaluationen mit einer derartigen Zielsetzung werden vor allem im Zusammenhang mit Maßnahmen des Qualitätsmanagements immer wichtiger.

Egal welche Nutzenerwartungen ein Auftraggeber schließlich hat, Ziel jeder Evaluation sollte die Übelminimierung sein und keine unrealistische Ideallösung (Wottawa &

Thierau, 1998, S.22)

2.3.3 Evaluationstypen und ihre Funktionen

Evaluationen erfüllen verschiedene Funktionen, je nachdem, welche Absicht mit ihnen verfolgt wird oder zu welcher zeitlichen Phase eines Programms sie durchgeführt werden. Scriven (1972) unterscheidet zwischen summativer und formativer Evaluation.

Summative Evaluation soll alle Effekte eines Programms erfassen, damit sich potentielle Konsumenten der Evaluation (z.B. Entscheidungsträger oder Benutzer eines Programms) ein vollständiges Bild machen können. Formative Evaluation soll verbesserungsbedürftige Komponenten eines Programms identifizieren. Ergebnisse einer formativen Evaluation sind für die Entwickler eines Programms gedacht.

Summative und formative Evaluation unterscheiden sich aber auch in dem Zeitpunkt an dem sie durchgeführt werden. Eine summative Evaluation wird typischerweise nach Fertigstellung oder Durchführung eines Programms durchgeführt. Formative Evaluationen kommen während der Entwicklungs- und Erprobungsphase oder während der Durchführung eines Programms zur Anwendung (Bortz & Döring, 2002; Mittag &

Hager, 2000).

Mittag und Hager (2000) haben ein Rahmenkonzept der Evaluation erstellt, dass sich an den zeitlichen Phasen eines Programms orientiert. Sie teilen ein Programm in vier Phasen und ordnen diesen vier Phasen fünf Evaluationstypen mit unterschiedlichen Funktionen zu (siehe Abb. 2.4).

Abbildung 2.4: Ein Rahmenkonzept zur Evaluation von Interventionsprogrammen

Quelle: Mittag und Hager (2000)

Vor der Erprobung eines Programms kann eine Evaluation der Programmkonzeption durchgeführt werden. Während der Erprobung eines Programms kommt die formative Evaluation zur Anwendung. Hier wird das Programm fortlaufend kontrolliert und gegebenenfalls modifiziert. Während der Durchführung des Programms kann eine Implementations- oder Begleitforschung sowie Prozessevaluation zum Einsatz kommen.

Hier soll evaluiert werden, inwieweit die tatsächliche Umsetzung des Programms der entwickelten Konzeption entspricht. Während der Durchführung kann aber auch eine Evaluation der Programmwirksamkeit angewandt werden. Dabei sollen Ergebnisse und Erfolg des Programms bewertet werden. Nach der Durchführung eines Programms kann wiederum eine Evaluation der Programmwirksamkeit im Rahmen einer Ergebnis- oder Erfolgsevaluation stattfinden. Es können aber auch Nutzen und Kosten-Effektivitäts-Analysen durchgeführt werden. Das wäre dann eine Evaluation der Programmeffizienz.

In der Praxis werden häufig verschiedene Evaluationstypen gemeinsam angewandt oder vermischt, je nachdem, welche Art von Informationen eine Evaluation bereitstellen soll bzw. was mit ihr bezweckt werden soll. Oft wird eine Evaluation der Implementation zusammen mit einer Evaluation der Ergebnisse durchgeführt. Denn der Erfolg eines

Programms misst sich nicht nur daran, ob alle Ziele erreicht wurden, sondern auch daran, inwieweit das Programm wie geplant implementiert wurde. Auch kann ein Programm nicht sinnvoll modifiziert werden, wenn man weiß, wie seine einzelnen Komponenten implementiert wurden, aber keine Informationen über seine Auswirkungen hat (Herman et al., 1987).

2.3.4 Evaluationshindernisse

Der Nutzen von Evaluationsprojekten im Sinne von Handlungsoptimierung ist offensichtlich. Dabei hat der finanzielle Aspekt einen besonderen Stellenwert.

Maßnahmen und Programme werden bei einer Evaluation einer Qualitätskontrolle unterzogen. Es kann festgestellt werden, ob sich die Investition in ein bestimmtes Projekt lohnt, ob es das erhoffte Ergebnis gebracht hat oder wo noch Schwachstellen sind. Die Bescheinigung des Erfolgs eines Programms durch eine objektive Evaluation rechtfertigt die finanzielle oder auch personelle Investition in ein Projekt und steigert zusätzlich die allgemeine Akzeptanz.

Es stellt sich die Frage, warum die Wirkung von Maßnahmen oder Programmen nicht häufiger überprüft wird. Was können Gründe sein für diese mangelnden Evaluationsaktivitäten? Thierau, Stangel-Meseke und Wottawa (1992) sehen einen Grund im fehlenden Interesse von potentiellen Auftraggebern, also zum Beispiel der Leitung eines Unternehmens. Oft wird die Meinung vertreten, dass es sich nicht lohnt, für „so was“ Geld auszugeben. Der geforderte Aufwand erscheint im Vergleich zum erwarteten Nutzen unangemessen hoch. Weitere Hindernisse sind schlicht Zeit- und Personalmangel. Die Ressourcen werden lieber in die sorgfältige Vorbereitung und Durchführung investiert als in die nachfolgende kritische Bewertung.

Der potentielle Evaluator selbst kann ein Hindernis für eine Evaluation darstellen (Thierau et al., 1992). Er braucht genaue Informationen zum Gegenstand der Beurteilung und zum Umfeld. Er muss über gute methodische Kenntnisse verfügen und muss vor allem die geeigneten Instrumente für seine Beurteilung einsetzen. Ist dies nicht der Fall, so ist der Erfolg einer Evaluation gefährdet. Oft ist es für den Evaluator

positive Veränderungen bei den Teilnehmern eines Programms einstellen, liegt es dann wirklich an dem Training oder gibt es andere Ursachen?

Thierau et al. (1992) sehen den Hauptgrund des häufigen Scheiterns von Evaluationsprojekten in Unternehmen (z.B. Erfolgskontrolle von Weiterbildungsmaßnahmen und Trainings) in den unterschiedlichen Interessen des potentiellen Auftraggebers (z.B. Unternehmensleitung) und der Evaluierten (z.B.

Verantwortliche für die Personalentwicklung). Meist findet eine Evaluation nur dann statt, wenn beide es wünschen oder zumindest dulden. Wird aber die Maßnahme übereinstimmend für gut gehalten, möchten zwar die Verantwortlichen dies gerne objektiv bestätigt wissen, aber die Unternehmensleitung sieht keine Notwendigkeit für die Ausgaben. Ist die Maßnahme vermutlich schlecht, so würde zwar die Unternehmensleitung gern eine Maßnahme überprüfen lassen, die Verantwortlichen jedoch nicht. Gerade im zweiten Fall wäre die Durchführung einer formativen Evaluation für beide Parteien Gewinn bringend.