Methoden der Evaluation

Die Darstellung methodischer Ansätze in der Evaluationsforschung kann nicht umfassend erfolgen, da es dort keine einheitliche Systematisierung gibt bzw. die verschiedenen Eva-luationsdesigns unterschiedlich kategorisiert werden. Die folgende knappe Darstellung des für die Evaluation zur Verfügung stehenden Methodenrepertoires gibt einen Einblick in die potenziellen Möglichkeiten der Methodenauswahl. Bei der Evaluation stehen nach Hell-stern & Wollmann (1984a, 19) vorwiegend die folgenden Kernfragen im Mittelpunkt der Untersuchung, die Auswirkungen auf die Methodenauswahl haben:

1. Welche Veränderungen sind festzustellen? In welchem Umfang wurden mit dem Pro-gramm bzw. mit der Massnahme die angestrebten Ziele erreicht? ("Bestimmung des Zielerreichungsgrads")

2. Sind die beobachtbaren Veränderungen kausal auf das Programm, die Planung bzw.

die Massnahme zurückzuführen? Wie sind Zielabweichungen, unerwartete Nebenwir-kungen zu erklären? ("Untersuchung des Ursache-Wirkungs-Zusammenhangs")

ad 1) Zur Beantwortung der Frage nach der Zielerreichung geht es methodisch um die Bildung und Bestimmung geeigneter Indikatoren - soweit die Wirkungen nicht unmittelbar am Zielkriterium gemessen werden können (Zielkriterium und Indikator sind dann iden-tisch) -, die möglichst empirisch abgesichert sein sollen. Die Indikatoren sollen dazu ge-eignet sein, den "Zielerreichungsgrad" zu bestimmen (Soll-Ist-Vergleich) sowie den Um-fang und die Richtung.

ad 2) Für die Untersuchung des Ursache-Wirkungs-Zusammenhangs, wobei sowohl die intendierten als auch die nicht-intendierten Wirkungen erfasst werden sollen, steht die gesamte Palette wirkungsbezogener Untersuchungen zur Verfügung:

Bei den "echten Experimenten" werden die Untersuchungsbedingungen so gewählt, dass die Wirkung einer Massnahme ("unabhängige" Variable, z.B. Bestrahlung mit UV-Licht) auf das Untersuchungsobjekt ("abhängige" Variable, z.B. Pflanze) feststellbar ist. Zur Ü-berprüfung möglicher Fehler erfolgt eine Aufteilung in eine Untersuchungs- und Kontroll-gruppe, die durch Zufallsauswahl ("Randomisierung") gebildet wird (vgl. Hellstern &

Wollmann 1983, 47).

Im Gegensatz zu den "echten" Experimenten werden bei den Quasi-Experimenten den Versuchsgruppen zur Analyse der Wirkungen konstruierte oder statistisch definierte Kon-trollgruppen gegenübergestellt (vgl. Rossi et al. 1988; 114f.).

Bei den nicht experimentellen Untersuchungen steht der explorative Zweck mehr im Mit-telpunkt, und es gibt kein starres Untersuchungsschema, sondern je nach Fragestellung können Vorgehensweise und Methoden flexibel gewählt werden. Vor allem (vergleichen-de) Fallstudien kommen dabei zum Einsatz, in denen meistens verschiedene Untersu-chungsformen, beispielsweise Befragungen, Aktenstudium ("Methodenmix" angewandt werden (vgl. Kromrey 1995; Schnell et al. 1999).

In Abhängigkeit vom Zeitpunkt und der Häufigkeit der Messung können verschiedene Un-tersuchungsmethoden bestimmt werden, die bei den eben beschriebenen wirkungsbezo-genen Untersuchungsformen zur Anwendung kommen können. Bei Längsschnittanalysen, bei denen Daten zu verschiedenen Zeitpunkten erhoben werden (Panel-Untersuchungen) und die über eine einmalige Vorher-Nachher-Untersuchung hinausgehen müssen, werden systematische Veränderungen im Zeitverlauf aufgezeigt. Als Erweiterung von Panel-Untersuchungen sind Zeitreihenuntersuchungen anzusehen, in denen schon vor Beginn des Programms / der Massnahme zu verschiedenen Zeitpunkten Messungen durchgeführt werden. Aufgrund dieser Ergebnisse wird ein Trend bestimmt, der sich ohne Intervention ergeben würde. Nach Durchführung des Programms / der Massnahme wird der Trend mit dem prognostizierten verglichen (vgl. Rossi et al. 1988, 117).

Im Gegensatz dazu werden bei Querschnittsuntersuchungen die Wirkungen eines Pro-gramms / eines Projekts zu einem einzigen Zeitpunkt, unter Einschluss eines Referenzge-biets in verschiedenen Einheiten stichprobenhaft erhoben, beispielsweise um die ''Ent-wicklung einer Zielvariablen in Förder- und Nichtfördergebieten" (Fischer 1982, 19) zu vergleichen.

Es kann konstatiert werden, dass es die Evaluationsmethode nicht gibt. Die Frage nach der Verwendung der angemessenen Methode für eine spezielle Forschungs- bzw. Unter-suchungsfrage spiegelt zum Teil die Auseinandersetzung zwischen quantitativer und quali-tativer Forschung wider, auf die in der Grundlagenliteratur zur empirischen Sozialfor-schung und der EvaluationsforSozialfor-schung immer wieder abgehoben wird. Beim quantitativen Ansatz erfolgt eine Quantifizierung und Messung von Ausschnitten der Beobachtungsreali-tät. Die dabei erhobenen Messwerte werden in statistischen Verfahren analysiert und

aus-gewertet. Beim qualitativen Ansatz findet eine "Verbalisierung" der Realität ("Erfahrungs-wirklichkeit") statt, die mittels Interpretation ausgewertet wird. Dazu wird nichtnummeri-sches Material verwendet, wie z.B. Beobachtungsprotokolle, Interviewtexte, Zeitungsarti-kel, Fotos und Zeichnungen. Im Gegensatz zum quantitativen Ansatz besteht weniger die Notwendigkeit, den Untersuchungsvorgang zu standardisieren (vgl. Bortz & Döring 1995).

Es kann festgestellt werden, dass bei einfach strukturierten Untersuchungsfeldern eher nur eine Untersuchungsmethode/ -strategie gewählt wird. Bei komplexeren und somit umfassenderen Wirkungsfeldern sollten verschiedene Untersuchungsmethoden ("Metho-denmix") zur Anwendung kommen. Häufig werden Fallstudien als methodischer Ansatz dafür vorgeschlagen werden. Für die Entscheidung des Untersuchungsdesigns und für die Verwendung von Methoden im Rahmen einer Evaluation sollten v.a. die folgenden Aspek-te eine besondere Rolle spielen:

ƒ Zielsetzung und Handlungsinteresse (Welche Methode ist am besten für die Ziel-setzung und den Zweck der Evaluation geeignet, z.B. Ergebniskontrolle, Begleitun-tersuchung, Optimierung der Planung?);

ƒ Angemessenheit (Welche Methode ist dem Untersuchungsgegenstand adäquat hinsichtlich des Objektivitätsproblems, der Beteiligung verschiedener Akteure und Betroffener, der Zweckbestimmung, des Datenmaterials und dem Zeitpunkt der Evaluation?);

ƒ Gültigkeit und Zuverlässigkeit (Mit welcher Methode und den damit verbundenen Untersuchungstechniken kann eine möglichst genaue, die Realität abbildende Aus-sage getroffen werden; wie müssen die Untersuchungsbedingungen beschaffen sein, um zu "eindeutigen" (Mess-)Ergebnissen zu gelangen?) (vgl. Holzinger 1993, 30).

3.2 Spezifischer Evaluationsansatz

Die Entwicklung eines spezifischen Evaluationsansatzes basiert auf den Ergebnissen der Literaturrecherche zu den Ansprüchen von Erholungsuchenden, den Freizeittrends und den dargestellten methodischen Grundlagen. Als weiterer Aspekt ist zu berücksichtigen, dass die Evaluation in einem vertretbaren zeitlichen und finanziellen Aufwand durchführ-bar sein soll.

3.2.1 Ziel der Evaluation

Mit der Evaluation einzelner Planungsinstrumente wird das Ziel verfolgt, zu ermitteln,

ƒ ob und inwieweit über Planungsinstrumenten die Ansprüche von Naherholungsu-chenden an eine attraktive Alltagslandschaft verwirklicht werden können,

ƒ inwieweit die betrachteten Instrumente zur Lösung von Konflikten zwischen Nah-erholungsinteressen und anderen Raumnutzungsinteressen beizutragen.