Ziel der Auftraggeber bei dieser Vorgehensweise ist die Untersuchung der Effizienz eines Programms / einer Intervention. Der Evaluator untersucht die Qualität – wurde die geplante Kosten- Nutzen- Rechnung erreicht oder nicht. Der Abgleich der projektierten Programmziele mit den tatsächlich erreichten Zielen ist dabei wesent-lich.
2.5 Typische Untersuchungsdesigns / Evaluationsdesigns
85Der Anspruch der Evaluatoren, wissenschaftlich fundierte und objektive Untersuchungsverfahren einzusetzen ist generell nachvollziehbar, muss allerdings auch stets unter der Prämisse der Umsetzbarkeit und der praktischen Anwendung betrachtet werden. Unter diesen Voraussetzungen ist es „sinnvoller (…) mit einer ‚weichen’, weni-ger exakten und elaborierten Methode ein interessantes Kriterium zu messen, als mit hoher Präzision etwas, was inhaltlich nicht zu den eigentlichen Evaluationszielen paßt“86. Der „Verteidigungswert“ bei wissenschaftlich fundierten Methoden ist allerdings ungleich höher, als bei solchen „ad-hoc“- Instrumenten.
Grundsätzlich stellt sich somit die Frage nach dem Grad der Wissenschaftlichkeit der angestrebten Untersu-chung. Es besteht dabei die Möglichkeit zwischen „echten“ wissenschaftlichen Experimenten, Quasiexperimen-ten bis hin zu stark pragmatischen Designs wie Pretest- Posttest- Untersuchungen oder GutachQuasiexperimen-tenmodellen zu wählen. Wesentlich bei dieser Auswahl ist die Häufigkeit und Art der Datenerhebungszeitpunkte und die Exis-tenz oder Beschaffenheit einer Kontrollgruppe.
Die Designs zur Untersuchung von Maßnahmen beruhen in der Regel auf Vergleichen. Es werden zwei Gruppen gebildet:
• eine Experimentalgruppe, an der die Intervention vorgenommen wird und
• eine Kontrollgruppe, die von der Intervention nicht betroffen ist
Diese Vorgehensweise ist für den Vergleich der Resultate (hat die Intervention einen Effekt, wenn ja einen posi-tiven oder einen negaposi-tiven) notwendig.
2.5.1 Experimente / Feldexperimente
87Echte Experimente entsprechen den Anforderungen zur Überprüfung einer kausalen Anordnung. Sie tragen der zeitlichen Abfolge von Maßnahme und Wirkung, dem Zusammenhang zwischen Maßnahme und Wirkung sowie der Kontrolle von Drittvariablen (mittels Randomisierung und Matching) Rechnung.
In realen sozialen Situationen ist allerdings die Verwendung von echten experimentellen Designs nie vollständig möglich.88
Echte experimentelle Designs sind trotz der – gegenüber anderen Designtypen – Überlegenheit in der Wir-kungsmessung nicht unproblematisch umzusetzen.
Theoretische und empirische Restriktionen verhindern die Vollständigkeit der einzubeziehenden, erklärenden Faktoren. Eine Intervention durch einen Forscher löst durch die Untersuchung automatisch eine Veränderung
85 Vgl. Stockmann R (2006). 229 ff.
86 Wottawa H, Thierau H (2003). 132
87 Vgl. Stockmann R (2006). 230 ff.
88 Vgl. Kromrey H (2002). 96 ff.
aus, deren Effekte von den Wirkungen der Intervention getrennt werden müssen (Hawthorne- Effekt).89 Dieser Effekt kann lediglich mittels eines schwer zu realisierenden Solomon-Vier-Gruppen-Designs vermieden werden, also eine Untersuchung mit mehreren Kontrollgruppen, die zu mindestens zwei Messzeitpunkten mit den glei-chen Instrumenten untersucht werden.
Da die Teilnahme an einer Untersuchung in der Regel aus freiem Willen erfolgt, besteht von Beginn an in diesen Designs die Gefahr einer Selbstselektion der Teilnehmer.
Vor allem bei formativen Untersuchungen ist eine Wiederherstellung der Versuchsbedingungen schwierig, da bereits durch die Maßnahme interveniert wurde, was eine Rückkehr zum Ausgangspunkt nahezu unmöglich macht. Somit muss in diesem Fall bei Messwiederholungen stets mit einer Verzerrung der Untersuchungsbedin-gungen gerechnet werden.90
Über die Ergebnisse, die durch den Einsatz von echten experimentellen Designs bei Untersuchungen erzielt werden, besteht generell Uneinigkeit.
So konnten z.B. in vielen Untersuchungen des „Great Society Programs“ unter der Verwendung von experimen-tellen Designs keine signifikanten Programmeffekte nachgewiesen werden, was allerdings auch so interpretiert werden kann, dass es tatsächlich keine Programmeffekte gab.91 Das Resultat aus dieser Ungewissheit war der Trend, Designs immer aufwändiger und kostenintensiver zu gestalten, weswegen sich die Meinung konstatierte, dass dieser optimale Evaluationsansatz zu anspruchsvoll, kostenintensiv und letztendlich für die Durchführung von Forschungsprojekten ungeeignet sei.92
Eine weitere Schwierigkeit, die aus der Anwendung von experimentellen Designs resultiert, besteht in der Kom-plexität der Untersuchungsgegenstände. So können echte Experimente bei Untersuchungen benutzt werden, die eine relativ geringe Anzahl von Parameter umfassen. Auf diese Weise können die Effekte der einzelnen Parame-ter schrittweise unParame-tersucht werden. Bei der UnParame-tersuchung von komplexen Phänomenen – beispielsweise Organi-sationen oder vielschichtigen Weiterbildungsinstrumenten – ist die Verwendung von experimentellen Untersu-chungsdesigns weniger zielführend.93
Stockmann beschreibt weitere Probleme experimenteller Designs. So können „auch im Sinne der experimentel-len Logik ‚schwache’ Designs […] durchaus eine hohe interne Validität besitzen, wenn die Beobachtungsbefun-de nur auf eine Weise plausibel erklärt werBeobachtungsbefun-den können, und umgekehrt erzielt ein ‚echtes’ Experiment nur eine schwache interne Validität, wenn es für das Zustandekommen der Befunde gleichermaßen plausible konkurrie-rende Erklärungen gibt.“94
89 Vgl. Thompson RJ (1990). 379ff
90 Vgl. Stockmann R (2006). 231
91 Vgl. ibidem
92 Vgl. Binnendijk AL (1989). 209
93 Vgl. Stockmann R (2006). 232
94 Ibidem
Laborergebnisse müssen ebenso nicht unbedingt intern und extern hoch valide sein, da in diesem Umfeld häufig Versuchleitereffekte oder Messeffekte, bedingt durch die Laborsituation auftreten können.95
Andererseits besteht auch bei Feldexperimenten die Möglichkeit, dass Ergebnisse – z.B. aufgrund des Hawthor-ne- Effekt – verzerrt dargestellt werden. Die Situation, die mittels des Untersuchungseingriffs geschaffen wird stellt fast immer einen Eingriff in den Alltag und das gewohnte Umfeld der Zielpersonen dar.
Im Rahmen von sozialwissenschaftlichen Untersuchen verhindern oftmals ethische und rechtliche Aspekte den Einsatz von empirischen Untersuchungsdesigns, da es beispielsweise bei der Implementierung eines Sozialpro-gramms in der Regel nicht zu rechtfertigen ist, einer sozialen Gruppe den Zugang zu einer Intervention zu ver-weigern – um eine Kontrollgruppe bilden zu können (siehe Korrektheitsstandards Kapitel 2.10.5).96
2.5.2 Quasi-Experimente
Vor dem Hintergrund solcher praktischen Einschränkungen wird häufig auf Quasi- Experimente zurückgegriffen, die den Einsatz der Untersuchungsinstrumente und die Rahmenbedingungen nicht auf derartig strenge Weise reglementieren, allerdings auch nicht einen so hohen wissenschaftlichen Verteidigungswert besitzen wie „echte“
Experimente.
Bei Quasi-Experimenten wird die Zuteilung der Versuchspersonen zu den einzelnen Versuchgruppen nicht ran-domisiert oder parallelisiert. Im Rahmen eines Quasiexperiments können Abhängigkeiten von Variablen unter-sucht und bestimmt werden, es kann jedoch kein Rückschluss auf die Richtung der Abhängigkeit zwischen den Variablen gezogen werden.97
2.5.3 Ex-Post-Facto-Designs
Ex-Post-Facto-Designs werden für Untersuchungen verwendet, wenn die Rahmenbedingungen weder experi-mentelle noch quasiexperiexperi-mentelle Designs erlauben. Ähnlich wie bei quasiexperiexperi-mentellen Untersuchungsplä-nen werden auch in diesem Typ abhängige und unabhängige Variablen untersucht, wobei auch in diesem Fall Störvariablen nicht überprüft werden können. Der wesentliche Vorteil von Ex-Post-Facto-Untersuchungen be-steht in einer meist hohen Effizienz des Untersuchungsapparats, der mit relativ geringem Aufwand an Ressour-cen Rückschlüsse und Verallgemeinerungen erlaubt.
Grundsätzlich können Ex-Post-Facto-Designs in Quer- und Längsschnittuntersuchungen eingeteilt werden.98
95 Vgl. ibidem; 233
96 Vgl. ibidem
97 Vgl. Campbell DT, Stanley JC (1963). 171–246
Querschnittstudien
99Im Rahmen dieses „Ex-Post-Facto-Designs“ wird aus der Zielpopulation eine Stichprobe gezogen, wobei Perso-nen erfasst werden, die an einer Intervention oder Maßnahme teilgenommen haben, sowie PersoPerso-nen, die diese Intervention nicht betroffen hat. Die Ergebnisse beider Gruppen werden miteinander verglichen, um die Wirkung der Zielvariablen zu bestimmen. Eine kausale Reihenfolge kann bei diesem Design nicht berücksichtigt werden, da es keinen zeitlichen Verlauf der Untersuchungsergebnisse gibt und die Erhebung zu einem bestimmten Zeit-punkt stattfindet.