Zur Abgrenzung von Evaluation und Bildungscontrolling

Unter Controlling sind allgemein ökonomische Steuerungskonzepte zu verstehen, die be-triebswirtschaftlichen Vorgängen bestimmte Kenngrößen zuordnen. Die auf diese Weise ge-wonnenen Informationen dienen der Entscheidungsgrundlage für unternehmerisches Han-deln. In gewinnorientierten Organisationen ist Controlling als erfolgsrelevanter Schlüsselbe-reich in Unternehmensprozessen integriert. Entsprechend der betriebswirtschaftlichen Inten-tion, Kosten und Erträge eines ökonomischen Wertschöpfungsprozesses mittels dieses In-strumentes transparent und letztlich regulierbar zu gestalten, gewinnt der Begriff auch im Bereich der betrieblichen Weiterbildung an Bedeutung. Zu fragen bleibt, inwieweit sich Di-vergenzen bzw. Analogien zu pädagogisch-psychologisch fundierten Konzepten der Evalua-tion ergeben. Im folgenden sollen aktuelle, sich auf Weiterbildung beziehende Bildungscont-rolling-Ansätze knapp skizziert werden.

Differenzierte moderne Controllingmodelle beziehen sich nicht allein auf die Output-Kontrolle am Ende eines Leistungserstellungsprozesses; ihrem Anspruch gemäß nehmen sie den ge-samten Wertschöpfungsvorgang, von der Planung eines Produktes bis zur Qualitätssiche-rung, vom Marketing bis zum Vertrieb mit in den Blick. Diese prozeßhafte Orientierung ist auch für pädagogisch /andragogisch motivierte Evaluationsansätze befruchtend. Die Seman-tik des Controllingbegriffs schließt auch die Bedeutungen lenken, leiten, regulieren, steuern usw. mit ein, so daß eine einseitige Betonung des Kontrollaspekts zu kurz greifen würde.

Controlling unterstützt Entscheidungen auf unterschiedlichen Ebenen: Operatives Controlling intendiert zu beurteilen, ob und in welchem Maße definierte Unternehmensziele erreicht

wur-den, während strategisches Controlling auf der Reflexionsebene die Frage zu beantworten sucht, ob die angestrebten Ziele überhaupt die richtigen im Sinne des Unternehmenserfolgs waren (vgl. Weiß 1994). Hier werden Analogien zu Theorien organisationaler Lernvorgänge deutlich, die ebenfalls auf unterschiedlichen Ebenen lokalisierte Lernprozesse differenzie-ren. ³⁶

Der aus den betriebswirtschaftlichen Controllingkonzepten abgeleitete Ansatz des Bildungs-controlling wird definiert als Bündel von Aktivitäten, die auf eine Planung, Steuerung und Bewertung betrieblicher Bildungsmaßnahmen abzielen (Heeg/Münch 1993, 405).

Allerdings unterläuft dieser komplexe Anspruch in der Praxis der Gefahr, zum bloßen Be-richtswesen degradiert zu werden und die Illusion zu nähren, den Effektivitätsgrad von Wei-terbildung über ausgeklügelte Kennzahlensysteme belegen zu können (Arnold 1996, 222 f.).

Münch (1995, 133f) verweist in diesem Zusammenhang auf die Notwendigkeit, weiterbil-dungsspezifische Qualitätskriterien als Beurteilungsgrundlage in Controllingprozessen fest-zulegen. Die Schwierigkeit, Qualität von Bildungsarbeit operationalisierbar und meßbar zu machen, setzt dem Aussagewert von Bildungscontrolling Grenzen. Wesentliches Qualitäts-kriterium bei der Bewertung von Weiterbildungsprozessen ist weniger das 'Bildungsprodukt', also der erzielte Lernerfolg, sondern der geleistete Transfer der Bildungsinhalte ins Arbeits-feld (aaO, 136).

Faulstich (1998) skizziert eine mehrstufige Qualitätssystematik betrieblicher Weiterbildung, dem ein Controlling-Konzept Rechnung tragen müsste (aaO, 211f.). Übergeordnete Aspekte sind dabei die Träger-/Einrichtungsqualität (Ausstattung, Erfahrung, Wirtschaftslage etc. der Organisation/ des Unternehmens), die Durchführungsqualität (Professionalität des Bildungs-personals, Didaktik usw.), die Ergebnisqualität (erworbene Kompetenzen usw.), letztlich die Übertragungsqualität (Effekte auf Personal, Organisation und Markt des Unternehmens).

Andere Autoren verwenden in diesem Zusammenhang die Begriffe Input-, Throughput- und Outputqualität³⁷.

Controlling, verstanden als unternehmerische Kostenrechnungsgrößen ermittelnder Prozeß, reicht zur adäquaten Erfassung der sich vielschichtig und differenziert äußernden Wirkungen von Bildung nicht aus. Döring/Ritter-Mamczek (1998) begreifen Bildungscontrolling im Wei-terbildungsbereich vielmehr als strategische und operative Ausrichtung aller betrieblichen Bildungsprozesse auf Erfolg. Dabei dienen qualitative und quantitative Betriebsdaten als Informationsgrundlage dem Ziel, Professionalität, Wirtschaftlichkeit und Qualität von

36 Die Frage, inwieweit eine Organisation lernt, diejenigen Ziele zu erreichen, die mit Blick auf die Anforderungen der ökonomischen Umwelt als notwendig zu bewältigende anzusehen sind, wird überformt: Auf einer darüberlie-genden Ebene muß eine Organisation lernen, hinsichtlich des (auch langfristigen) Erfolgs falsch gesetzte Ziele zu erkennen und 'richtige' (viable, richtungsweisende) zu erschließen.

37 Bronner 1983, Arnold/Krämer-Stürzel 1994

bildung zu verbessern und weiterzuentwickeln (aaO 114 f.). Die Implementierung dieses komplexen Bildungscontrollingmodells muß fünf verschiedene Bereiche bedenken:

Strategisches Controlling intendiert, Weiterbildung/Personalentwicklung in die Unterneh-menskultur einzubetten und deren Beitrag zum Erreichen der Unternehmensziele herauszu-stellen. Hierzu ist der Aufbau eines strategisch orientierten Bildungsplanungssystems sowie eines Bedarfs- und Transfermanagementsystems zu leisten.

Die Evaluation des betrieblichen Bildungssystems überprüft als Systemevaluation die Orga-nisation der Bildungsabteilung(en) hinsichtlich definierter Qualitätsmerkmale, des Grads der Vernetzung mit anderen betrieblichen Subsystemen etc. und trägt zu deren Weiterentwick-lung bei.

Die Evaluation des Bildungsprozesses (Prozessevaluation) zielt auf die Sicherstellung eines operationalen Bildungsbedarfs-Managements, eines professionellen Lern-Managements und schließlich eines Transfer-Managements, das den Fokus auf eine unternehmensrelevante Übertragung der Lerninhalte richtet. Bildungscontrolling verfährt hier stark handlungsorien-tiert; die einzelnen Prozeßschritte bedienen sich etablierter methodischer Verfahren der em-pirischen Sozialforschung (Befragung, Beobachtung). Zusätzlich werden Bildungs- und Qua-lifikationsmaßnahmen für die Mitglieder des betrieblichen Bildungssystems selbst empfohlen, um den Professionalisierungsgrad zu erhöhen.

Das Kosten- und Wirtschaftlichkeitscontrollung gewährleistet einen Überblick des mit betrieb-licher Weiterbildung zusammenhängenden Ressourceneinsatzes und setzt dazu Kennzah-lensysteme ein.

Der Aspekt Reporting schließlich liegt quer zu den vorangegangenen vier Aspekten. Er soll in regelmäßigen Intervallen eine Berichterstattung über die wichtigsten Entwicklungen im Bildungssektor leisten.

Dieser differenzierte und elaborierte Ansatz bezieht sich auf Bildungscontrolling als Überbeg-riff, der Evaluation nur als Teilaspekt – als System- und Prozessevaluation – eines umfas-senderen Prinzips mit einbezieht. Allerdings zielen auch ausdifferenzierte Evaluationsansät-ze auf verschiedene Dimensionen und Wirkungsebenen eines betrieblichen Weiterbildungs-systems (etwa prozeß- und handlungsorientierte formative Konzepte).

In Übereinstimmung mit einer Reihe, sich explizit auf den Evaluationsbegriff beziehenden Modellen, begreifen Vertreter von Controlling-Ansätzen den Erfolg einer Maßnahme als we-sentliches Beurteilungskriterium. Wilkening (1997) erkennt innerhalb der

Weiterbil-dung/Personalentwicklung drei notwendige Kontrollbereiche: Kostenkontrolle (Art und Um-fang entstehender Kosten und Vergleichsgrößen), Rentabilitätskontrolle (Kosten-Nutzen-Abwägungen) und Lernerfolgskontrolle (Übertragung der Lernerfolge, Verhaltensänderungen und Qualifikationszuwachs).

Weiß (1997) nennt drei Ansatzpunkte für die Beurteilung des Weiterbildungserfolgs, die auf hierarchisch übereinander liegenden Ebenen wirken: Auf einer ersten Ebene ist der Semi-narerfolg lokalisiert; Kriterium ist das Erreichen der festgelegten Lernziele. Eine zweite Stufe intendiert, den Transfererfolg zu beurteilen, der sich in der Verbesserung der Arbeitsleistung der Beteiligten ausdrückt. Letztlich schließt sich die Ebene des Unternehmenserfolgs an, der eigentliche Zielpunkt betrieblicher Weiterbildungsaktivitäten. Läßt sich die auf ein spezifi-sches Lernfeld bezogene Wirksamkeit einer Maßnahme zumindest in Teilaspekten überprü-fen, wird es wesentlich schwieriger zu beurteilen, welchen quantifizierbaren Beitrag Weiter-bildung auf der Ebene des Transfer- oder gar Unternehmenserfolgs leistet.

Anspruchsvolle Controlling-Modelle sind als kybernetische Zyklen konzipiert. Über Control-ling-Prozesse wird eine Ist-Analyse vorgenommen und den Soll-Werten gegenübergestellt.

Geeignete Mittel zur Prozeßsteuerung werden eingesetzt um den Zielerreichungsgrad über Rückkoppelungseffekte zu erhöhen (vgl. Wattenhofer 1996).

Von Landsberg (1997) beschreibt den Controlling-Zyklus beginnend mit der Planung der Soll-Werte, anschließendem Messen der Ist-Werte, Ermittlung und Bewertung von Abwei-chungen in einem Soll-Ist-Vergleich und letztlich der Einleitung von Korrekturen, die dann wiederum auf den Ausgangspunkt eines neuen Zyklus – die Planung der Soll-Vorgaben – zurückwirken.

Diese Modelle können retrograd feedback-orientiert, also reagierend ausgerichtet sein; bzw.

feedforward-orientiert intendieren, bereits prospektiv, vor dem Eintreffen eines Ereignisses, vorsorgend eine erwünschte Richtungsgebung vorzunehmen. Dieses Prinzip der Vorsorge in der Erfolgssteuerung von Weiterbildungsprozessen ist nicht originär in Controlling-Ansätzen verankert, sondern findet Anwendung in Konzepten, die sich methodologisch als Evaluation begreifen³⁸.

Von Landsberg (1997, 360 f.) nennt verschiedene Zielrichtungen des Bildungscontrolling, die über den Einsatz unterschiedlicher Meß- und Steuergrößen (controls) realisiert werden kön-nen. So zielen post-action-controls als retrograde Zielerreichungskontrolle auf die nachge-hende Beurteilung einer Bildungsmaßnahme.

Prozeßorientiert sind die vom Ansatz her einfachen, als integrierter Bestandteil im Bil-dungsprozeß verankerten yes-no-controls. Sie sollen ein begleitendes und fortlaufendes Controlling ermöglichen, das frühzeitig das Nichterreichen definierter Etappenziele signali-siert und notwendige Interventionen induziert.

Ein zukunftsorientiertes, auf Vermeidung von Fehlern und Mißerfolg ausgerichtetes Control-lingsystem bedient sich sogenannter steering-controls. Die Berücksichtigung der zuvor ermit-telten Teilnehmer- oder Kundenerwartungen soll eine Steuerung des Erfolgs ermöglichen.

38 hierzu Arnold/Krämer-Stürzel 1995

Vor diesem Hintergrund wird die Implementierung eines phasenorientierten Systems als Be-dingung für ein erfolgreiches Bildungscontrolling empfohlen. Ein derartiger Ansatz schließt über eine Situationsdefinition, die Erfassung der Bestimmungsgrößen des Erfolgs, die Aus-wahl und Beschreibung der Relationen zwischen einzelnen Meß- und Steuergrößen und die Anwendung standardisierter Verfahren letztlich auch die Meta-Perspektive einer Beurteilung und Verbesserung des Controllingsystems selbst mit ein.

Auch Hummel (1999, 7) differenziert zwischen operativem und strategischem Controlling.

Die quantitative Erfassung sowie die ökonomische Analyse und Beurteilung eines Bildungs-prozesses als operative Aufgabe des Bildungscontrolling legitimiert eine weitergehende, qua-litativ orientierte strategische Betrachtung . Diese hat zum Ziel, zu überprüfen ob die ange-strebten Ziele von Weiterbildungsmaßnahmen richtig gesetzt wurden. Bildungscontrolling wird hier als komplexer Ansatz verstanden, der sich nicht nur mit der Kosten-Nutzen-Abwägung und wirtschaftlichen Beurteilung von Weiterbildung befaßt, sondern über eine qualitative Beurteilung von Maßnahmen, einer Lern- und Transfererfolgsbeurteilung auch ein Urteil darüber zu treffen sucht, in welchem Maße Weiterbildung zum Erreichen der Unter-nehmensziele beiträgt.

Weiß (1997, 105) erwähnt die prinzipielle Möglichkeit, operatives Controlling über Kennzah-lensysteme zu gewährleisten. Inputorientierte Kennzahlen informieren über Teilnehmervor-kenntnisse, kostenorientierte beziehen sich auf Maßnahmekosten und Produktionsausfall, ergebnisorientierte nehmen Abbruchquoten, Teilnehmerzufriedenheit usw. in den Blick. Da-bei weisen praxisrelevante, differenzierte Konzepte deutlich über die bloße Kostenrechnung hinaus und analysieren phasenorientiert Bedarfsermittlung, Organisation von Bildungsmaß-nahmen, Erfolgskontrollen und Transferförderung.

Bestimmte Probleme innerhalb einzelner Praxisansätze des Bildungscontrolling sind vom Grundsatz her leichter lösbar (etwa das Fehlen präzise formulierter Erfolgskriterien und ope-rationalisierbarer Bildungsziele)³⁹. Andere Problematiken sind prinzipieller Natur: So läßt sich Bildungserfolg zwar - zumindest in Teilen - quantifizieren; die Ursachen des Erfolgs sind je-doch nicht ohne weiteres auf bestimmte Bildungsmaßnahmen zurückzuführen. Methodolo-gisch streng lassen sich Kausalzusammenhänge nur über aufwendige, in der betrieblichen Praxis kaum zu realisierende experimentelle Evaluationsdesigns nachweisen.

Elaborierte Bildungscontrolling-Ansätze sind bimental orientiert⁴⁰, d.h. sie beziehen die öko-nomische wie die pädagogisch/psychologische Ebene in den Controllingprozeß mit ein; sie sind mehrdimensional, indem sie zwischen Bildungsprozeß und Bildungserfolg unterschei-den; schließlich orientieren sie sich an einem Phasenkonzept von Weiterbildung und integrie-ren Steuerung, Begleitung und Reflexion in den Controllingprozeß.

39 vgl. Wattenhofer 1996

40 vgl. von Landsberg 1995, Hummel 1999

Die Abgrenzung von Controllingansätzen einerseits und Evaluationsansätzen andererseits scheint vor dem Hintergrund entwickelter und differenzierter Konzepte wenig stichhaltig. In beiden Ansätzen finden sich strukturelle Gemeinsamkeiten:

• Eine differenzierende Betrachtungsweise des Erfolgs von Weiterbildung

• Skepsis gegenüber dem Wunsch, Bildungserfolg rein quantitativ zu erfassen

• Ein Verständnis von Weiterbildung als phasenhafter und prozessualer Vorgang

• Die Intention einer vorsorgenden wie reflexiven Erfolgssteuerung.

Die mit einer Fixierung auf ökonomische Aspekte verbundenen Verkürzungen und Be-schränkungen der Wahrnehmung vielschichtiger Bildungsprozesse werden von Vertretern der Controlling-Ansätze selbst kritisch beurteilt. So wird etwa für eine Anerkennung sozial- und geisteswissenschaftlicher Konzepte auch im ökonomisch orientierten Umfeld appelliert und vor einer Reduzierung der Wahrnehmung auf quantifizierbare Erscheinungen gewarnt (von Landsberg 1995).

Das, in Abgrenzung zur Evaluation Spezifische am Ansatz des Bildungscontrollings, stellt für Hummel (1999) dessen Mehrdimensionalität dar: Weiterbildung müsse sowohl unter päda-gogisch-psychologischen, wie unter ökonomischen Aspekten betrachtet werden. Letzterer Punkt sei in der Evaluationsforschung ausgeblendet – ein Vorwurf, der vielfach für die Eva-luationspraxis zutreffen mag, allerdings nicht dem Prinzip Evaluation immanent ist.

Evaluationsansätze rekurrieren auf eine längere sozialwissenschaftliche Tradition und zielen (in Deutschland) vor allem auf die Reflexion pädagogischer und psychologischer Interventio-nen. Controlling ist als betriebswirtschaftliches Konzept zu begreifen, das die Erfassung, Steuerung und Kontrolle ökonomischer Prozesse beabsichtigt. Aus diesem Zusammenhang abgeleitet, stellt der bildungsökonomische Aspekt nach wie vor ein wichtiges Moment dar;

seit sich allerdings die Erwachsenenbildung und Betriebspädagogik dem Thema angenom-men haben, sind wesentlich komplexere Modelle entstanden, die auch aus sozialwissen-schaftlicher und andragogischer Sicht einer adäquaten Annäherung an die Komplexität des Gegenstands Weiterbildung gerecht werden.

Evaluation und Controlling beziehen sich allerdings auf unterschiedliche wissenschaftstheo-retische Konzepte und sind deshalb aus systematischen Erwägungen nicht vereinbar. Beide Ansätze sind m.E. prinzipiell dazu geeignet, eine tiefgründige und wirkungsvolle Analyse von Weiterbildungsprozessen zu leisten. Evaluation stellt dabei in meinem Verständnis die über-geordnete Größe dar, in der explizit im Zusammenhang mit Bildungscontrolling diskutierte Aspekte mit integriert werden können.

2.2. Die Struktur von Evaluationsprozessen: ein systemtheoretischer