Ansätze der Evaluationsforschung

Der Begriff der Evaluation, so zeigt die vielfältige Literatur, ist nach wie vor in keine verbindliche Definition zu pressen. Im Gegenteil, der Begriff ist so facettenreich in seiner Verwendung, dass er sich einem allgemein gültigen Bestimmungsversuch entzieht. An dieser Stelle sollen daher im Mittelpunkt allgemeine Kennzeichen wissenschaftlicher Evaluation herausgestellt werden.

Nach WOTTAWA & THIERAU (1990) bestehen diese in Folgendem:

• Ein allgemeiner Konsens, der hier auch schon durch die Wortwurzel von „Evaluation“

vorgezeichnet ist, liegt darin, dass alle solche Tätigkeiten etwas mit Bewerten zu tun haben.

Evaluation dient als Planungs- und Entscheidungshilfe und hat somit etwas mit der Bewertung von Handlungsalternativen zu tun (vgl. WOTTAWA 1986, S. 707).

• Evaluation ist ziel- und zweckorientiert. Sie hat primär das Ziel, praktische Maßnahmen zu überprüfen, zu verbessern oder über sie zu entscheiden.

• Es besteht im wissenschaftlichen Sprachgebrauch ebenfalls Konsens darüber, dass Evalu-ationsmaßnahmen dem aktuellen Stand wissenschaftlicher Techniken und Forschungs-methoden angepasst sein sollten (WOTTAWA & THIERAU 1990, S. 9).

Evaluation ist demnach im engeren Sinne die „Bewertung von Programmen und Maßnahmen“, wobei in der Bewertung zwischen der Wirkung (Effektivitätsprüfung, Gegenüberstellung von Zielen und Erfolgen) und dem Kosten-Nutzen-Verhältnis (Effizienzprüfung, Gegenüberstellung von Erfolg und Aufwand) unterschieden wird (vgl. RIEMANN 1996). POSSE (1991) weist darauf hin, dass sich der Begriff der Evaluation in der Erziehungswissenschaftlichen Forschung nicht richtig durchsetzen konnte und in diesem Bereich eher von „wissenschaftlicher Begleitung“

gesprochen wird (vgl. POSSE 1991, S. 457). Dies liegt u.a. daran, dass Evaluation häufig verwechselt oder gleichgesetzt wird mit externer Bewertung im Sinne von Kontrolle. KOCH &

WITTMANN (1990) weisen darauf hin, dass unter Evaluation häufig jegliche Art der Beurteilung des Wertes eines Programms oder einer Sache verstanden werde und eine solche Evaluation in allen Lebensbereichen tagtäglich vorgenommen werde und nicht notwendigerweise auf einem systematischen Verfahren beruhe. Der Begriff der Evaluationsforschung wird dagegen enger gefasst und betont die Verwendung (sozial)-wissenschaftlicher Methoden (vgl. BAMBERG et. al., 2000, S. 14). Die verbreitete Definition stammt von ROSSI & FREEMAN (1993, S. 5):

„Unter Evaluationsforschung wird die systematische Anwendung der empirischen Sozial-forschung zur Bewertung des Konzepts, des Designs, der Implementation und des Nutzens sozialer Programme und Maßnahmen verstanden.“ Und WOTTAWA & THIERAU (1990, S. 9)

______________________________________________________________________________

formulieren: „Evaluationsforschung betont die Möglichkeit des Beweises anstelle der reinen Behauptung bzgl. des Wertes und Nutzen einer bestimmten sozialen Aktivität“.

ROSSI (1984, S. 655) definiert die „Evaluationsforschung als die Anwendung sozial-wissenschaftlicher Erkenntnisse und sozialsozial-wissenschaftlicher Forschungsmethoden, um soziale Programme zu bewerten“.

Nach RIEMANN (1996) wird unter Evaluation im Bereich der Gesundheitsförderung die Bewertung der Erfolge von Maßnahmen und Programmen verstanden. Zu berücksichtigen ist, dass Kosten-Nutzen-Analysen zur Überprüfung der Effizienz in der Praxis noch eher selten sind.

Wie in der Qualitätsforschung können auch in der Evaluationsforschung ergebnis- und prozessorientierter Ansätze voneinander unterschieden werden. In der folgenden Abbildung zeigen BADURA & STRODTHOLZ (1997) eine schematische Gegenüberstellung ergebnis- und prozessorientierter Ansätze in der Evaluationsforschung auf.

Tab. 2: Schematische Gegenüberstellung ergebnis- und prozessorientierter Ansätze in der Evaluationsforschung (BADURA & STRODTHOLZ 1997)

Schematische Gegenüberstellung ergebnis- und prozessorientierter Ansätze in der Evaluationsforschung

ergebnisorientiert prozessorientiert Fragestellung

Gütekriterium Methoden

Erkenntnistheorie Organisationsmodell Evaluator

Wirksamkeit Validität quantitativ

positivistischer Ansatz Goal-Attainment Beobachter

laufende Beurteilung und Prozessgestaltung Relevanz

qualitativ

phänomenologischer Ansatz Negotiated-Order

Berater

Es wird zwischen einer formativen Prozessevaluation und einer summativen Produktevaluation unterschieden. Erstere ist die Untersuchung der Planung, Durchführung und Wirkung einzelner Elemente einer Maßnahme oder eines Programms in ihrem Verlauf bzw. Prozess, die durch Rückkopplung ihrer Zwischenergebnisse zu ihrer Optimierung beiträgt („formativ“). Letztere ist die Bewertung eines Endergebnisses einer Maßnahme oder eines Programms („Produkt“), und dabei wird der Gesamteffekt aller Teilmaßnahmen bewertet („summativ“) (vgl. RIEMANN 1996).

______________________________________________________________________________

In der neueren Literatur der Evaluationsforschung gibt es Versuche, den positivistischen, er-gebnisorientierten und quantitativen Ansatz mit dem phänomenologischen, prozessorientierten und qualitativen Ansatz zu verschränken. Eine methodologische Kontroverse wird über-wunden, und verschiedene Designs, Erhebungs- und Auswertungsverfahren werden nach forschungs-praktischen Gesichtspunkten integriert (vgl. POPE & MAYS 1995). In der Tabelle 3 werden diese

„gemischten Strategien“ dargestellt.

Eine „ergebnisorientiert/qualitativ gemischte Strategie“ beinhaltet ein randomisiertes experi-mentelles Design. Mittels offener Befragung bzw. Beobachtung werden erwartete oder uner-wartete Effekte untersucht, um individuelle Erfahrungen in Experiment und Kontrollgruppen zu kontrastieren.

Tab. 3: Gegenüberstellung der „gemischten Strategien“ neuerer Evaluationsforschung (BADURA & STRODTHOLZ 1997, S. 582)

Gegenüberstellung der „gemischten Strategien“ neuerer Evaluationsforschung ergebnisorientiert prozessorientiert quantitativ positivistischer Ansatz

- experimentelles Design - quantitative Erhebungs- und Auswertungsverfahren

„gemischte Strategie“ (2) - naturalistisches Design - qualitative Erhebungs- und

quantitative Auswertungsverfahren qualitativ „gemischte Strategie“ (1)

- experimentelles Design - qualitative Erhebungs- und Auswertungsverfahren

phänomenologischer Ansatz - naturalistisches Design

- qualitative Erhebungs- und Auswertungsverfahren

Dieser Ansatz ist zum einen vorteilhaft bei einer Unklarheit der Ergebnisse einer Intervention und zum anderen, wenn Ergebnisse quantitativ schwer zu messen sind, wie beispielsweise Befragungen zur „Lebensqualität“. Eine „pozessorientiert/quantitativ gemischte Strategie“ erhebt in einem offenen Design sämtliche Aktivitäten und Ergebnisse des Prozessverlaufs, um sie einer begrenzten Anzahl von Interaktions- und Verhaltenstypen zuzuordnen. Variablen können dabei organisational (Häufigkeit, Anzahl etc.) oder personal (Psyche, Einstellung, Empfinden etc.) sein.

Es werden bei diesem Ansatz Antworten auf Fragen zu Kausalzusammenhängen, die im Implementationsprozess von Bedeutung sind, gefunden. Dies bedeutet, dass es um eine

______________________________________________________________________________

Beschreibung und Analyse der in Blackbox-Modellen ausgeblendeten Transformationsprozesse zwischen Programm-Input und -Output geht (vgl. BADURA & STRODTHOLZ 1997, S. 581 ff).

Denn im ursprünglichen Sinne zeichnet sich eine Blackbox-Evaluation durch ihre Konzentration auf die Beziehungen zwischen den Inputs und Outputs eines Programms aus. Nach BAMBERG et.al. (2000, S. 34) verzichtet sie weitgehend auf die „Analyse der kausalen Prozesse, durch die diese Beziehung vermittelt wird“. Deshalb habe die auf einer Blackbox-Evaluation beruhende Aussage, dass ein Programm erfolgreich oder nicht erfolgreich ist, oft nur einen sehr beschränkten Informationswert für die praxisorientierte Anwendung. Die zunehmend wachsende Einsicht, dass die Entwicklung guter Forschungsmethoden alleine die Defizite der Blackbox-Evaluationsforschung nicht beseitigen wird, hat nach der Meinung der Autoren BAMBERG et. al.

(2000, S. 35) in den letzten Jahren zu einer stärkeren Theorieorientierung innerhalb der Evaluationsforschung geführt. „Eine Programmtheorie erklärt, warum das Programm das tut, was es tut, und liefert somit eine Begründung für die Erwartung, warum gerade diese Vorgehensweise besonders geeignet ist, die angestrebten Ziele zu erreichen“ (BAMBERG et. al. 2000, S. 36). Die Autoren gehen sogar noch einen Schritt weiter und beschreiben bei der Operationalisierung der einem Programm zugrunde liegenden „Wirkungstheorie“ („impact-theory“), dass eine Wirkungstheorie¹⁸ den inhaltlichen Kern eines jeden sozialen Programms konstituiere. Das bedeutet: „wenn die Annahme der Wirkungstheorie darüber, wie die erwünschten Veränderungen durch das Programm erzeugt werden können, falsch sind oder wenn sie zwar richtig sind, aber durch ein Programm falsch operationalisiert werden, kann der beabsichtigt soziale Nutzen nicht erreicht werden“ (BAMBERG et. al. 2000, S. 38). Insgesamt gesehen hat die Einsicht, dass die Erklärung der Wirksamkeit einer Maßnahme ein theoretisches Verständnis der kausal vermittelten Mechanismen voraussetzt, in den letzten Jahren dazu geführt, den Blackbox-Ansatz zu einer theoriegeleiteten Evaluationsforschung weiterzuentwickeln, die eine Entwicklung von so genannten Programmwirkungstheorien in den Mittelpunkt stellt. Im Bereich der schulischen Gesundheitsförderung wurden allerdings in der Literatur noch keine Programmwirkungstheorien formuliert, aus denen sich eine theoriegeleitete Evaluationsforschung entwickelt hätte.

RIEMANN (1996) betont, dass eine Mischform von Prozess- und Produktevaluation im Bereich der Gesundheitsförderung den größten Nutzen entfaltet. Auch nach PAULUS (1995) sollte eine Evaluation folgende Gesichtspunkte bzw. gemischte Strategien berücksichtigen, damit sie den

18 Die Wirkungstheorie eines Programms bedeutet den Satz von Annahmen, der beschreibt, wie die Programm-angebote die beabsichtigen Veränderungen bewirken sollen. Das Ziel einer Wirkungsanalyse einer Intervention besteht darin, zuverlässige Aussagen darüber zu ermöglichen, ob diese Intervention tatsächlich die von ihr intendierten Effekte hervorbringt (vgl. BAMBERG et al. 2000)

______________________________________________________________________________

aktuellen wissenschaftlichen Standards genügt: Sie sollte (a) ent-scheidungsorientiert sein, (b) formative und summative Elemente miteinander verbinden, (c) sich auf alle Aspekte eines Vorhabens beziehen, wie Konzeptentwicklung, Ablauf- und Umsetzung, Nutzen und Wirkung, Ergebnissicherung u.a., und (d) die Interessen aller Beteiligten angemessen berücksichtigen.

BAUCH (2000) betont, dass sich unabhängig von den einzelnen Methoden der Evaluationsarbeit die Einrichtung von Qualitätszirkeln bewährt hat als Instanz und Organisationsform für eine Evaluation. Bei der Festlegung von Qualitätskriterien gelte es ja nicht nur normative „Standards“

zu setzen, Qualitätszirkel müssten sich auch Gedanken machen, wie diese Standards zu operationalisieren und letztlich zu erreichen seien.

Evaluation ist ein wesentlicher Teil von Qualitätssicherung und sollte nach RIEMANN (1996) wesentlicher und integraler Bestandteil jeder gesundheitsfördernden Maßnahme sein, da sie grundlegende Funktionen erfüllt, wie eine Kontrolle der Zielerreichung, die Formulierung erreichbarer Ziele, Definition von Zielgruppen, Prozess- und Zielkorrektur, Dokumentation und Legitimation u.a. Dies überdeckt allerdings ein wesentliches Problem im Kontext von Gesundheitsförderung nicht: dass es meist an der Vergleichbarkeit von Ergebnissen, Maßnahmen und Interventionen mangelt und es zukünftig vermehrt zu einer Standardisierung eingesetzter Fragestellungen kommen sollte.

Trotz der unterschiedlichen Herkunft der beiden Konzepte (Evaluation im sozialwissen-schaftlichen Verständnis einerseits und Qualitätsmanagement andererseits) kommt es durch die objektiven Ähnlichkeiten bzw. Identitäten zu einer Konvergenz beider Denkschienen (vgl.

BAMBERG et al. 2000, S. 31).

Bei der vorliegenden Arbeit lässt sich die methodische und praxisorientierte Vorgehensweise folgendermaßen darstellen (s. Abbildung 9). Die vorgenommene Methodentriangulation lehnt sich dabei an NICKEL (1996) und STRAKA (1997) an:

______________________________________________________________________________

Abb. 9: Methodentriangulation von qualitativen und quantitativen Methoden