Der Aspekt der Erfolgskontrolle

In der Evaluation – vor allem betrieblicher – Weiterbildung wird dem Bedürfnis nach Erfolgs-kontrolle eine wesentliche Bedeutung beigemessen; oftmals erheben die Konzepte jedoch nicht den Anspruch, auch den Aspekt Erfolgssteuerung zu verfolgen. Arnold (1996, 225) in-terpretiert die in diesem Zusammenhang vorhandenen begrifflichen Inkonsistenzen im fachli-chen Diskurs als Ausdruck eines noch vorherrsfachli-chenden disparaten Verständnisses von Qua-litätsmerkmalen und Qualitätssicherung in der Weiterbildung. Er bevorzugt einen "facetten-reichen" (ebd.), pragmatischen Begriff der Erfolgskontrolle, der die folgenden 4 Aspekte er-faßt: den Zufriedenheitserfolg, den Lernerfolg, den betriebswirtschaftlichen Erfolg und den Transfererfolg. Hierbei beziehen sich die ersten beiden Punkte auf das Lernfeld, die letztge-nannten auf das Funktionsfeld.

Gestützt auf die Basis empirischer Untersuchungen im betrieblichen Weiterbildungssektor zeichnen Arnold/Krämer-Stürzel (1995) eine Typologie praxisrelevanter Evaluationsmodelle, die abbildet, inwiefern diese Ansätze den Ansprüchen verschiedener Aspekte der Erfolgs-kontrolle gerecht werden:

Die, in der Praxis noch immer am weitesten verbreitete Form der seminarorientierten Er-folgskontrolle, beschränkt sich auf eine Kontrolle der Teilnehmerzufriedenheit und eine – meist nur ansatzweise vorgenommene – Kontrolle des Lernerfolgs. Diesbezügliche Messun-gen und EinschätzunMessun-gen werden meist zum Ende einer Bildungsmaßnahme mittels des In-struments Fragebogen durchgeführt. Dieser Evaluationsansatz bleibt in seinem Wirkungs-spektrum auf das Lernfeld beschränkt und blendet die Funktionsbereiche der Teilnehmer aus; betriebswirtschaftliche Kosten-Nutzen-Analysen und der wesentliche, organisations-relevante Aspekt der Transferbeurteilung kommen nur marginal zum Tragen.

Der Ansatz der legitimationsorientierten Erfolgskontrolle weist in Teilen strukturelle Gemein-samkeiten mit dem zuvor beschriebenen Typus auf. Die ermittelten und den jeweiligen Bil-dungsmaßnahmen zurechenbaren Zufriedenheitswerte bilden eine Beurteilungsbasis für die Qualität einer spezifischen Weiterbildungsmaßnahme und dienen der Rechtfertigung in Be-zug auf die eingesetzten Mittel und Ressourcen. Lernerfolg und Lern-Transfereffekte spielen bei diesem Ansatz nur eine marginale Rolle.

Transferorientierte Erfolgskontrollen entsprechen Dahms'/Gerls (1991) Hauptkriterium für den betriebswirtschaftlich relevanten Erfolg von Weiterbildung: dem Maß des aus einem Lernfeld in ein entsprechendes Funktionsfeld (Arbeitsplatz) erzielten Transfers von Inhalten.

Die Bildungsverantwortlichen müssen vor diesem Hintergrund Bedingungen schaffen, die eine möglichst effiziente Umsetzung und Auswertung der Lerninhalte in die Arbeitspraxis der Mitarbeiter gewährleisten. Erfolgsevaluation in diesem Verständnis löst sich von den rein unternehmensbezogenen Ansätzen; sie ist individuenzentriert und fokussiert den subjekti-ven, aus einer Lernsituation resultierenden Transfererfolg.

Parallel hierzu sind operationalisierbare Verfahren festzulegen, die Aussagen über bildungs-ökonomische Aspekte ermöglichen, etwa in Form von Kosten-Nutzen-Abwägungen. Der transferorientierte Ansatz entspricht in vielerlei Hinsicht den Anforderungen an einen aussa-gekräftigen, betriebsökonomische Aspekte wie lernpsychologische Problembereiche glei-chermaßen berücksichtigenden Evaluationstypus. Arnold verweist in diesem Zusammen-hang auf einen weiteren intendierten Wirkungsaspekt betrieblicher Weiterbildung: der Opti-mierung betriebsinterner Abläufe. Das Erreichen dieses Zieles wird durch die evaluations-bedingte Steuerung des Lerntransfers unterstützt.

Die Evaluationsstrategie der entwicklungsorientierten Erfolgskontrolle spiegelt nach Arnold (1996, 231 f.) den derzeit höchsten Professionalisierungsgrad betrieblicher Weiterbildung wider. Weiterbildungsabteilungen verstehen sich in diesem Kontext nicht mehr als allein zu-ständige Instanz für die Bedarfserhebung, Durchführung und Qualitätssicherung der betrieb-lichen Bildung. Sie definieren sich eher als Begleitung in vor Ort auszuhandelnden Prozes-sen der Problemlösung; die Hauptverantwortung für das Gelingen einer dergestalt konzipier-ten Weiterbildung liegt bei den jeweils involvierkonzipier-ten Organisationseinheikonzipier-ten, was eine Sensibi-lisierung aller Beteiligten für die Erfolgskriterien von Entwicklungsmaßnahmen voraussetzt.

Erfolgssensibilisierung ersetzt gewissermaßen die ohnehin nicht einlösbaren Erwartungen an eine Erfolgskontrolle von Weiterbildung.

2.1.5 Evaluationsmodelle

Um ein Bildungsprogramm in dessen sozialen und organisationalen Kontext für eine Evalua-tion operaEvalua-tionalisierbar zu machen, ist es notwendig, ein spezifisches Modell des Handlungs- und Beobachtungszusammenhangs zu entwerfen, das eine systematisierte und komplexi-tätsreduzierte Beschreibung von Wirklichkeit erlaubt.

Entscheidend für die Konzipierung eines Evaluationsprojekts und die Wahl eines bestimmten Modells ist die dem Vorhaben zugrunde liegende Intention: etwa ob die Qualität, die Ergeb-nisse oder die Einwirkungen bereits stattgefundener Programme abschließend bewertet werden sollen, oder ob beabsichtigt ist, im Verlauf des Programms Schwachstellen zu ent-decken, Verbesserungen vorzunehmen und es weiterzuentwickeln. Scriven führte zur Diffe-renzierung dieser beiden Optionen die Begriffe summative und formative Evaluation ein²⁴.

24 vgl. Scriven 1972, 62 u. 1991

Summative Evaluation bewertet abschließend die Ergebnisse eines Programms. Die gewon-nen Erkenntnisse diegewon-nen dem besseren Verständnis und einer optimierten Nutzung der Pro-grammaßnahmen im Nachhinein; eine parallele Verbesserung durch prozeßbegleitende Eva-luationsoperationen und Kommunikation von Evaluationsergebnissen ist dabei nicht inten-diert. Demgegenüber streben formativ orientierte Evaluationen an, durch das Bereitstellen erzielter Erkenntnisse bereits während einzelner Programmabschnitte und deren Nutzung durch die Beteiligten, den weiteren Verlauf eines Programms positiv zu beeinflussen und dessen Effizienz zu steigern.

Evaluationsmodelle in der Praxis beziehen sich häufig auf Untersuchungskriterien, die auf das Stufenmodell Kirkpatricks (1975) rekurrieren, das Lernprozesse in vier Ebenen unterteilt, deren Abfolge auch eine Bedeutungshierarchisierung wiedergibt: Reaction (Grad der Zufrie-denheit und Akzeptanz des Programms bei den Teilnehmern), Learning (Zusammenfassung der Lerninhalte und -ergebnisse), Behaviour (Beobachtung der auf das Programm zurück-führbaren Verhaltensänderungen im Arbeitsfeld) und Results (Darstellung, Quantifizierung und Auswertung der Programmergebnisse bzgl. Kostenreduktion, Qualitätsverbesserung, Produktivitätsentwicklung etc.)

Weiterentwicklungen dieses Modells richten den Blick auf die Wirkungszusammenhänge von Weiterbildungsprozessen. So etwa auf Hamblin (1974) zurückgehende Ansätze der Organi-sationsentwicklung, die zwar individuelles Lernen als Ausgangspunkt eines Entwicklungs-prozesses begreifen, jedoch auch die Effekte individuellen Lernens auf die gesamte Organi-sation und letztlich auf das Erreichen der OrganiOrgani-sationsziele mit in den Blick nehmen.

Eine Differenzierung der Weiterbildungseffekte in die Stufen unmittelbarer Lernerfolg zum Ende einer Maßnahme, Verhaltensänderungen im Funktionsfeld und davon abhängige Leis-tungsveränderungen nimmt Martens (1987) vor.

Im Unterschied zu diesen Stufenmodellen, die Weiterbildungseffekte utilitaristisch nach ihrer Relevanz auf hierarchisch übereinander liegenden Wirkungsebenen analysieren, orientieren sich Phasenmodelle an den zeitlich und räumlich abgrenzbaren Bereichen eines Lernpro-zesses. Das Design komplexer und differenzierter Evaluationen von Bildungsmaßnahmen muß in seinen Untersuchungsschritten den phasenhaften Verlauf abbilden. Auf Stuffle-beam/Shinkfield (1985) geht die Differenzierung in Kontext-, Input-, Prozeß- und Produkt-/Ergebnisevaluation zurück²⁵.

Die Phase der Kontextevaluation zielt auf das Erfassen der individuellen, strukturellen und administrativen Voraussetzungen einer Bildungsmaßnahme, den damit verbunden Bedarfen und Problemlagen. Die Evaluation des Inputs beabsichtigt das Erkennen und Bewerten der

25 vgl. Ditton 2002, 781

Strategien und Maßnahmen die gewählt wurden, um die vereinbarten Programmziele zu er-reichen. Eine Identifikation möglicher Defizite in der Planung und Durchführung des Pro-gramms und Erkenntnisse über günstige und produktive Faktoren, ist durch die Prozeßeva-luation angestrebt. Die Wirksamkeit und Nützlichkeit eines Programms, ihr Nutzen im Hin-blick auf die benannten Ziele, soll mittels einer abschließenden Ergebnis- bzw. Produkteva-luation nachgewiesen werden.

Bronner/Schröder (1983) differenzieren Weiterbildungsprozesse in 4 Phasen: Die Bedarfs- und Problemanalyse, die Gestaltung des Lernfelds, die Durchführung der Bildungsmaßnah-me, schließlich den Transfer, die Übertragung der Lerninhalte in die Arbeitspraxis.

Schindler (1979) benennt 5 Phasen: Den Kontext einer Maßnahme (in dem etwa Ziele defi-niert werden), den Input (Planung des Ressourceneinsatzes zur Zielerreichung und Vorberei-tung der Bildungsmaßnahmen), den (Lern-)Prozeß, den Output (auf die Trainingssituation rückführbarer Lernerfolg) und den Transfer (Übertragung der Lernleistung in das Funktions-feld).

Dieses Modell wird von Beywl (2000) um einen weiteren Aspekt ergänzt, der Analyse des Kosten-Nutzen-Verhältnisses eines Programms.

Götz (1993) weitet das mögliche Evaluationsfeld um eine zusätzliche Dimension aus: Neben den Phasen Analyse/Planung, Lernprozeß, Lernerfolg und Lerntransfer, schließt sich als letzte Phase die Evaluation der Effekte auf die Ebene der Organisationsentwicklung an.

Ein für die Evaluation betrieblicher Weiterbildung pragmatisches und operationalisierbares 3-Phasen-Modell führt Wilkening²⁶ ein, der zwischen der im Funktionsfeld angesiedelten Vor-bereitungsphase, der im räumlich und zeitlich separierten Lernfeld verorteten Durchfüh-rungsphase und der schließlich wiederum im Funktionsfeld zu organisierenden Nachberei-tungsphase unterscheidet.