Historische Entwicklung wissenschaftlicher Evaluationsansätze

In einem sehr extensiven Begriffsverständnis kann Evaluation als leitendes Handlungsprinzip entlang der menschlichen Kulturentwicklungsgeschichte beschrieben werden, das sich von den prähistorischen Stammesgesellschaften bis in die Moderne durchzieht (vgl. Wotta-wa/Thierau 1998, 27 f.). Evaluation in einem engeren, wissenschaftlichen Verständnis als explizit reflektiertes, planvolles Handeln hat seine Ursprünge in der ersten Hälfte des 20.

Jahrhunderts in den USA.

Bis in die 30er Jahre des vergangenen Jahrhunderts sind es individuenzentrierte Evaluati-onsansätze, die den Erfolg vorgenommener Interventionen – etwa im schulischen Bereich – anhand des Messens definierter Variablen vor und nach einem Treatment bewerten. Es wur-den Verfahren entwickelt, die sich methodologisch am positivistisch-naturwissenschaftlichen Paradigma orientierten und diese Epistemologie in die Sozialwissenschaften übertrugen⁶.

2 z.B. Standards des Joint Committee on Standards for Educational Evaluation 1999, Principles der American Evaluation Association 1994, Standards der Evaluation Research Soiety 1982;

3 www.degeval.de

4 Joint Committe 1999

5 bspw. die Universität Bern

6 vgl. Guba/Lincoln 1989

Die in der ersten Hälfte des 20. Jahrhunderts durchgeführten erziehungswissenschaftlichen Forschungen Tylers hatten eine Verschiebung des Evaluationsblickwinkels vom Individuum zum Interventionsprozeß, (Lern-)Programm oder Curriculum zur Folge. Sein Ansatz erhob die Beschreibung programmspezifischer Ziele und den Grad der individuell geleisteten Ziel-erreichung zum Erfolgsbewertungsmaßstab eines Programms⁷. Das Herausarbeiten der Be-deutung spezifischer und hierarchisch differenzierter Programmziele wirkt bis heute in der Weiterbildungsforschung.

Von diesen früheren wegweisenden Arbeiten abgesehen, erlebte die Evaluationsforschung ihre Expansion als Wissenschaftsdisziplin in den 1960er-Jahren in den USA. Hierzu trugen wesentlich rechtliche und administrative Entscheidungen bei, die verlangten, sozialpolitische Reformmaßnahmen bereits bei ihrer Einführung einer Überprüfung zu unterziehen (vgl. Ros-si/Freeman/Hofmann 1988).

Der rechtlich legitimierte Bedeutungszuwachs von Evaluation in der Praxis (verbunden mit entsprechender finanzieller Ausstattung) führte zu einer Weiterentwicklung und Diversifizie-rung des theoretischen Diskurses. Konkurrierende Ansätze entwickelten sich, die ihren Fo-kus auf bislang vernachlässigte Fragestellungen richteten, die bis heute uneinheitlich gelöst sind. So wurde dem Implementierungsprozeß des Evaluationsinstrumentariums in geplante Programme stärkere Beachtung beigemessen und von unterschiedlicher Seite die als zu einengend empfundene ausschließliche Orientierung an vorgegebenen Programm-Zielen kritisiert⁸.

Verbunden mit den Reformbestrebungen im Bildungssektor, wurde Evaluationsforschung auch in Deutschland als – zumindest mitgestaltendes – Element innerhalb politischer Ent-scheidungsprozesse begriffen und entsprechend vorangetrieben.

Eine historisch-analytische Systematisierung evaluationstheoretischer Diskurse in vier Gene-rationen nehmen Guba/Lincoln (1989)⁹ vor:

Die Cost-Benefit-Analysis der ersten Generation zielten vor allem auf eine Abwägung des Verhältnisses von Kosten und Nutzen eines Programmes und leiteten daraus Urteile über dessen Qualität ab.

Für Evaluationen im Bildungssektor erwies sich dieser Ansatz als nicht ausreichend; die Ka-tegorie Nutzen erschien in pädagogischen Zusammenhängen nicht zufriedenstellend opera-tionalisierbar und meßbar. In der zweiten Generation von Evaluationsforschungen rückte deshalb der bislang vernachlässigte Lehr-Lern-Prozeß ins Zentrum des Forschungsinteres-ses. Die als Input beobachtbare Qualität des Bildungsprozesses wurde als Indikator für die Beurteilung der Output-Qualität herangezogen.

7 vgl. Grohmann 1997

8 vgl. Guba/Lincoln 1989; Beywl 1998

9 vgl. hierzu auch Wesseler 1999

Damit einher ging das Interesse, Lehr-Lern-Prozesse auch stärker objektivierbar und quanti-fizierbar erfassen zu können. Entsprechend stellte eine dritte Generation die Entwicklung und Anwendung valider und reliabler Methoden und Instrumente in den Mittelpunkt. Eine dann mit dem Anspruch methodologischer Exaktheit oftmals einhergehende, kaum mehr handhabbare und interpretierbare Datenüberfrachtung von Evaluationsstudien, hatte einen vorübergehenden Bedeutungsverlust der gesamten Evaluationsforschung zur Folge.

Erst eine, bis heute relevante wirkungsorientierte vierte Generation intendiert, stärker auch Prozesse der Programmsteuerung (mit) zu initiieren und den konkreten Praxisnutzen von Evaluationen auf einer pragmatischen Ebene hervorzuheben.

Für Wesseler (1999) zeichnet sich seit Beginn der 1990er Jahre eine fünfte Generation der Evaluationsforschung ab, die weniger eine objektive Bewertung anstrebt, sondern eine Ba-lance zwischen dem Bemühen um ein komplexes Prozeßverständnis und der Notwendigkeit herzustellen sucht, zu dezidierten, an den Interessen der Beteiligten orientierten Entschei-dungen beizutragen.

Cook/Matt (1990) differenzieren verschiedene Theorieentwicklungsepochen der auf soziale Gegenstandsbereiche bezogenen Evaluationsforschung¹⁰.

In stage one theories dominierten objektivistische Evaluationsmodelle. Diese Ansätze beab-sichtigten, Effektivitätskontrollen sozialer Programme mittels elaborierter Methoden der expe-rimentellen empirischen Sozialforschung vorzunehmen und deren Ergebnisse damit abzusi-chern¹¹.

Die zweite Epoche der stage two theories ist als kritische Reaktion auf die mangelnde Be-rücksichtigung der Betroffenen innerhalb der etablierten Konzepte zu begreifen. Es differen-zierten sich Modelle heraus, die sich auf unterschiedliche epistemologische Grundlagen be-riefen. Eine starre, paradigmatische Abgrenzung einerseits positivistisch-quantitativ, ande-rerseits interpretativ-qualitativ orientierter Verfahren kennzeichnete den wissenschaftlichen Diskurs¹².

Stage three theories unternehmen aktuell den Versuch einer Synthese der scheinbar unver-einbaren Gegenpositionen und streben eine Integration der sinnvollen Bestandteile beider Konzepte an¹³.

Seit Mitte der 1990er Jahre erlangt der Evaluationsgedanke – verbunden mit der gewachse-nen Sensibilisierung für die Wirksamkeit sozial-politischer Interventiogewachse-nen und die Qualität des

10 vgl. hierzu auch Grohmann 1997, 59 f.

11 exemplarisch Suchman 1967, Campbell 1971, Scriven 1972

12 Weiss 1974, Stufflebeam 1972, Cronbach 1972, Stake 1972 als Vertreter des positivistischen Ansatzes; Gu-ba/Lincoln 1989 für die alternativen, interpretativen Verfahren.

13 Rossi und Cronbach 1982

Bildungssystems – in Deutschland auch im öffentlichen Bewußtsein eine gewachsene Be-deutung.

In der betrieblichen Weiterbildung sind Bewertungskonzepte in der Systemlogik verankert;

teilweise wird versucht, sie in Controllingansätzen umzusetzen. Diese in der Weiterbildungs-praxis größerer Unternehmen unterschiedlich konzipierten Modelle bleiben jedoch meist hin-ter dem wissenschaftlichen Stand der Lehr-Lern-Forschung zurück und suggerieren lediglich die Steuer- und Beherrschbarkeit von Bildungsprozessen (Arnold 1996, 227f.).

Inwieweit sich Ansätze des Bildungs-Controlling komplementär, divergent oder synonym zur Evaluationsforschung verhalten, soll weiter unten diskutiert werden.

Gegenwärtig favorisieren innovative Evaluationskonzepte vor allem stark beteiligtenorientier-te Ansätze. Dieses, zu einem Modell der responsiven Evaluation (Beywl 1988) zugespitzbeteiligtenorientier-te Konzept der Stakeholder-Based Evaluation korrespondiert in ihren normativen Gehalten mit originär pädagogisch orientierten Intentionen: Eine responsive Evaluation soll Beteiligte und Betroffene nicht nur über die Ergebnisse der Evaluation informieren, sondern auch dazu be-fähigen, eigene Beschreibungen und Bewertungen des evaluierten Programms vorzuneh-men (vgl. Beywl 1998, 8). Diese Position steht in Widerspruch zu Auffassungen, die das Be-urteilen des empirisch Beobachteten als originäre Kompetenz der Evaluatoren begreifen (etwa Scriven 1991).