Grundlegende theoretische Zugänge

Eine immer noch aktuelle synoptische Darstellung divergenter Evluationsmodelle geht auf Beywl (1988/1998) zurück, der eine systematische Typenanalyse entlang der Dimensionen Wertungen, Strukturiertheit, Demokratiegehalt und Vereinbarkeit mit qualitativ orientierten Methoden unternimmt (aaO, Kap 1.3).

Wertgebundene Modelle berücksichtigen Wertungen im Evaluationsprozeß, die sich in der Festlegung der Evaluationsfragestellung, der Schwerpunktsetzung der Untersuchung oder in der abschließenden Gesamteinschätzung manifestieren. Wertorientierte Urteile sind somit auf der Ebene des Entdeckungs-, Begründungs- und Verwendungszusammenhangs mög-lich, was sie als 'wirkliche Evaluationen' von 'Quasi-Evaluationen' unterscheidet¹⁴, die ihre eigentliche Aufgabe des Bewertens nicht erfüllen (vgl. aaO, 80).

Die Dimension der Strukturiertheit bezieht sich auf die Entwicklung von Evaluationsfragestel-lungen. Geschlossene Modelle präferieren weitgehend festgelegte leitende Fragestellungen und Hypothesen, die sich auch im Evaluationsprozeß nicht oder nur noch kaum verändern¹⁵. Dies führt zu der Konsequenz, daß der Entdeckungszusammenhang selbst, die Frage,

14 Stufflebeam/Webster 1981

15 von Guba/Lincoln (1989) unter den Begriffen pre-ordinate vs. emergent evaluation differenziert

che politischen, ökonomischen oder organisatorischen Bedingungen das Interesse an der Evaluation prädestinieren, nicht angemessen reflektiert werden kann. Das konkurrierende Modell der offenen Evaluation begreift das Bestimmen der Fragestellungen, die Wahl zu un-tersuchender Problembereiche und die Generierung von Hypothesen selbst als wichtigen Bestandteil eines Evaluationsprozesses. Dieser Zugang strebt an, den eigentlichen Evaluati-onsgegenstand erst zu entdecken und fortlaufend neue Fragestellungen zu identifizieren (vgl. aaO, 82).

Einzelne Evaluationsmodelle messen der Teilhabe der verschiedenen, vom Evaluationspro-zeß betroffenen Gruppen und Personen einen unterschiedlichen Stellenwert zu. Sie reichen von der Auffassung, die Entwicklung von Fragestellungen, der Prozeß der Untersuchung, sowie die Interpretation und Verwertung der Ergebnisse lägen allein im Kompetenzbereich der Entscheidungseliten (etwa den Auftraggebern oder Finanziers), bis zu systematisch initi-ierten Partizipationsmodellen für sämtliche Beteiligte am zu evaluierenden Programm (sta-keholders). Beywl (1988, 86) interpretiert solche Diskrepanzen aus einer Perspektive, die die politische Dimension und die gesellschaftliche Funktion von Evaluation hervorhebt; entspre-chend werden den einzelnen Ansätzen unterschiedliche Gehalte immanenter Demokratie beigemessen.

Die Frage, in wieweit sich die einzelnen Modelle kompatibel zu qualitativen Untersuchungs-strategien verhalten, hat zwischenzeitlich an Bedeutung verloren; aktuell werden beide Pa-radigmen konsensuell als notwendige und sich gegenseitig ergänzende Erkundungsweisen sozialer Wirklichkeit anerkannt.

Scriven (1972) sieht in der ausschließlichen Orientierung an vordefinierten Zielen und inten-dierten Wirkungen eines Programms eine unproduktive Beschränkung und Einengung des Evaluationsverfahrens. Diesbezüglich gewonnene Ergebnisse unterlägen der Gefahr, über-bewertet zu werden; wohingegen andere als die angestrebten, möglicherweise jedoch we-sentlichen Effekte sich dem Untersuchungsfokus entzögen oder vernachlässigt würden. Oft seien es jedoch die Nebenwirkungen einer Intervention oder eines Programms, die dessen Qualität oder Erfolg entscheidend beeinflussten.

Entsprechend distanziert sich Scrivens Ansatz der Goal-free-Evaluation vom – anderen so-zialwissenschaftlichen Modellen immanenten – technologischen Verständnis sozialer Reali-tät und deren Gestaltbarkeit. Dieses Modell lehnt die positivistische Grundannahme ab, mit-tels geeigneter Interventionen und über die Anwendung entsprechender Verfahren definierte Maßnahmeintentionen prinzipiell umsetzen zu können.

Um Akzeptanz bei Entscheidungsträgern für Evaluationsvorhaben im Kontext betrieblicher Weiterbildungsmaßnahmen zu erlangen, scheint es m.M. allerdings unverzichtbar, klar defi-nierte Ziele in einer Evaluations-Projektskizze festzuschreiben.

Einen ähnlich offenen Zugang strebt Stakes Ansatz der responsive evaluation an¹⁶. Kritisiert wird der im preorientated approach als zu starr und einseitig empfundene Einsatz standardi-sierter Analyse- und Bewertungsinstrumente. Diese stark an Methoden orientierte Vorge-hensweise ermögliche zwar eine möglichst objektive Erfassung des Untersuchungsgegens-tands und die Formulierung generalisierbarer Ergebnisse, letztlich bestehe jedoch die Ge-fahr, für den Erfolg oder Mißerfolg des Evaluationsgegenstands relevante Indikatoren auszu-blenden.

Der responsive Ansatz intendiert, die reaktive Betrachtung eines vorliegenden Untersu-chungsgegenstands vorzunehmen, der nicht einer für Untersuchungszwecke günstig er-scheinenden Operationalisierung unterzogen wurde. Um unangemessene, an den Interes-sen und BedürfnisInteres-sen der Betroffenen vorbei zielende Interpretationen auszuschließen, sei eine direkte Interaktion innerhalb des betreffenden sozialen Systems und in konkreten Pra-xissituationen anzustreben. Dabei wird versucht, die vom Evaluationsprozeß betroffenen Individuen zu aktiv beteiligten zu machen. Hierauf zielt der Begriff stakeholder, der all dieje-nigen Personen(gruppen) umfaßt, die ein Interesse an der zu evaluierenden Maßnahme gel-tend machen können¹⁷.

Einen beteiligungsorientierte Ansätze radikalisierenden Entwurf bildet das Konzept der Em-powerment Evaluation von Fetterman et al. (1995), der an die Theorie der kritischen Aktions-forschung (Lewin 1953) erinnert.

Die Realisierung dieses, gleichwohl für Evaluationen auch sensibler pädagogischer Interven-tionen prädestinierten Ansatzes, stößt in bezug auf die Anforderungen innerhalb der betrieb-lichen Weiterbildungsrealität in globalisierten Unternehmen, die durch ausgeprägte Dislokati-onen der Arbeitsplätze einzelner Organisationsmitglieder gekennzeichnet sind, an seine Grenzen. Wo Arbeitsteams mehr und mehr durch eine lediglich virtuelle Verbindung konstitu-iert sind, läßt sich nur noch vereinzelt eine direkte, nicht medial vermittelte Kommunikation organisieren, da gemeinsam geteilte Arbeitsorte nur noch temporär vorhanden sind.

Im Handbuch für Evaluationsstandards des 'Joint Committee' (1999, 25) wird Evaluation le-diglich als "systematische Untersuchung der Verwendbarkeit oder Güte eines Gegenstan-des" definiert. Die in den Begriffen Güte und Verwendbarkeit mitschwingende Frage nach der Qualität des untersuchten Gegenstands verweist auf ein zentrales Anliegen von Evalua-tion. Sie beschränkt sich – im Unterschied etwa zur empirischen Forschung – nicht auf Ana-lyse und Deskription, sondern strebt (begründete) Bewertungen des Nutzens und der Taug-lichkeit eines Evaluationsobjektes an.

16 vgl. auch Shadish 1991, Beywl 1998

17 vgl. hierzu etwa Beywl/Schepp-Winter 2000

So ist auch in Cronbachs (1972) Evaluationsverständnis die Ziel- und Zweckorientierung der vorgenommenen Bewertung ein zentrales Merkmal; Evaluation als systematische Sammlung von Informationen und deren interpretierende Verarbeitung müsse darauf abheben, Ent-scheidungen treffen zu können, die zur Verbesserung von Praxis führen. Im Kontext von Weiterbildung sind dies etwa Entscheidungen über didaktische Arrangements, Entscheidun-gen über Bedürfnisse von Adressaten und LeistungsveränderunEntscheidun-gen von Teilnehmern, letzt-lich auch Entscheidungen über relevante administrative Regelungen¹⁸. Evaluation ist somit entscheidungsorientierte Forschung.

Ähnlich sieht dies auch Stufflebeam (1972), der Evaluation als geeignetes Mittel dafür be-greift, Entscheidungen auf einer rationalen Grundlage fällen zu können, bzw. Scriven (1991), der vor allem die Nutzenorientierung von Evaluationen betont.¹⁹

Rossi/Freeman (1985, 19) ordnen Evaluation in den Kontext der sozialwissenschaftlichen Forschung ein; Evaluation bezeichnet dabei die systematische Anwendung sozialwissen-schaftlicher Forschungsprozeduren, um die Angemessenheit von Programmen hinsichtlich Konzeption, Implementation und Nützlichkeit überprüfen zu können.

Eine Bewertung bedarf allerdings auch eines Entscheidungskriteriums, anhand dessen Urtei-le in der Form besser/schUrtei-lechter getroffen werden können. Die Frage, welche im Evaluationsprozeß beteiligte Instanz über die Kompetenz verfügt, sinnvolle Bewertungskriterien und -maßstäbe zu definieren, wird unterschiedlich beantwortet. Scheint zunächst per se der Auf-traggeber einer Evaluationsmaßnahme dafür zuständig zu sein, verweisen Ansätze in der Tradition Scrivens auf die Fachkompetenz des Evaluators selbst.

So wird in aktuellen Diskursen um Evaluation eben die Definition von Untersuchungszielen und die Festlegung von Bewertungsmaßstäben als zwar anspruchsvoller, jedoch elementa-rer Teil des Evaluationsprozesses selbst begriffen (Balzer et al 1999, Beywl 1998).

Neuere Ansätze der Evaluationstheorie grenzen sich explizit von den entscheidungsorientier-ten Auffassungen ab (vgl. Ditton 2002, 779) und relativieren den Anspruch auf Unabhängig-keit und Distanz zum Evaluationsobjekt. Wesentlich bedeutsamer für eine erfolgreiche Eva-luationspraxis und das Erzielen wirksamer Ergebnisse scheint vielmehr die umfassende Ein-beziehung aller Beteiligten in Planung und Durchführung des Evaluationsprozesses zu sein.

Wichtige Ansätze dieser, vor allem auf Praxisbegleitung und -verbesserung ausgerichteten Konzepte sind das Modell der responsiven Evaluation (Beywl 1998), der nützlichkeitsfokus-sierte Ansatz Pattons (1997) sowie der Ansatz der Empowerment Evaluation (Fetterman et al 1996).

18 Cronbachs Vorschläge beziehen sich auf die Curriculumsdiskussion der 1970er Jahre; sie sind jedoch auch im Kontext aktueller Fragestellungen der Bildungsforschung relevant.

19 ähnlich auch Stake (1972, 112): die Aufgabe von Evaluation sollte darin bestehen, "Daten für Entscheidungen"

zu gewinnen.

Die geforderte praxisfokussierte Nützlichkeitsorientierung und damit verbundene Spezifizität von Evaluationen reduziert allerdings auch deren übergreifenden Erkenntnisgewinn. So warnt Lee (2000, 161) davor, in einem spezifischen Kontext gewonnene Ergebnisse zu ver-allgemeinern und betont die Abhängigkeit der Erkenntnisse vom spezifischen Setting und ihrer zeitlich begrenzten Gültigkeit.

Inzwischen scheint die Auseinandersetzung um verschiedene Evaluationsparadigmen, wie sie etwa noch Guba/Lincoln (1989) durch ihre Differenzierung von Evaluationsgenerationen suchten, einer pragmatischeren Sichtweise gewichen zu sein. Weniger Diskurse um die rich-tigen theoretischen Konzepte als vielmehr die Diskussion geeigneter Strategien für das Auf-decken kausaler Beziehungen zwischen Programminterventionen und -effekten bestimmen den Tenor aktueller Publikationen. In diesem pragmatisch und praxisfokussierten Kontext ist auch Pattens (1997) Modell der Utilization-Focused Evaluation zu sehen, das die ökono-misch orientierte Auseinandersetzung um Qualitätsmanagement in den sozialwissenschaft-lich geprägten Evaluationsdiskurs mit aufnimmt.

Das Prinzip Evaluation, verstanden als ziel- und zweckorientiertes Handeln und mit der In-tention vorgenommen, vorgefundene Praxis nicht nur zu beurteilen, sondern auch über ihren Nutzen zu entscheiden und ggf. Verbesserungen und Weiterentwicklungen anzuregen, erhält für die Weiterbildung eine enorme Bedeutung.

Entsprechend hat sich die Debatte auch im Kontext der Weiterbildung erheblich differenziert: