Die Konstruktion von Wirklichkeit durch den Prozeß der Evaluation

Beobachtungsoperationen haben Auswirkungen auf das beobachtete System; sie sind re-kursive Operationen. Das Wissen darüber, Objekt einer Evaluation zu sein, beeinflußt und verändert das Verhalten der am Evaluationsprozeß beteiligten Systemelemente (etwa das, involvierter Organisationsmitglieder). Evaluationsoperationen determinieren gewissermaßen

die Operationen des evaluierten Systems. Somit erzeugen – pointiert ausgedrückt – die der Evaluation zugrunde liegenden Kriterien die Wirklichkeit, die sie zu evaluieren vorgeben, selbst⁶⁵.

Diesen Zusammenhang von Evaluationsprozeß und Evaluationsobjekt führt Kieser (2003) am Beispiel des citation index aus, der seit den 1990er Jahren verstärkt als Kriterium der Gütebeurteilung wissenschaftlicher Publikationen herangezogen wird. Eine Verhaltensände-rung der evaluierten Wissenschaftler, so die Argumentation, trete etwa in der Weise auf, daß Aufsätze, die in einer einzigen Veröffentlichung Platz gefunden hätten, über mehrere Artikel gestreckt würden, Koautorenschaften zunähmen (der Autor wird zweimal, unter seinem Na-men und unter dem des Koautors zitiert), oder Veröffentlichungen vor allem in etablierten Fachzeitschriften mit hohem Einflußfaktor angestrebt würden, was zu wissenschaftlichem Konservativismus führe und die Standardisierung, den Mainstream der Wissenschaften be-fördere.

Die Relevanz dieses an obigen Beispielen illustrierten Phänomens auch für andere gewählte Evaluationskriterien und -verfahren scheint evident. Es handelt sich um die prinzipielle, e-pistemische Problematik, in welcher Weise Verfahren der Erkenntnisgewinnung die Wirklich-keit, die sie zu untersuchen vorgeben, selbst erst erzeugen. Evaluationsoperationen wirken rekursiv: In der Reflexion verändern sie den Gegenstand, den sie bedenken. Dem Reflexi-onsbegriff sind somit bivalente Bedeutungsgehalte immanent – er verfügt über eine parado-xe Struktur: Reflexion ist gleichzeitig eine retrograde Operation, die systemische Prozesse rückblickend überdenkt und eine projektiv wirkende Operation, die durch ihre Anwendung Auswirkungen auf den Prozeß ausübt, den sie lediglich zu beschreiben vorgibt.

Dieses konstitutive Prinzip entspricht Phänomenen, die mit der Figur der reflexiven Moderne beschrieben wurden (Beck/Giddens/Lash 1996). Die reflexive Annäherung an ein Objekt des Erkenntnisinteresses ermöglicht es zwar, es besser zu erschließen, gleichzeitig verändert sich der Gegenstand im und durch den Prozeß seiner Aneignung. Diese Transformation wiederum macht einen erneuten Reflexionsbedarf notwendig, der wiederum transformative Effekte ausübt – ein iterativer Zirkel der offen bleibt und die prinzipiellen Möglichkeiten um-fassender Erkenntnis beschränkt⁶⁶.

65 Das naturwissenschaftliche Pendant dieser konstruktivistischen Auffassung der Beziehung von Subjekt und Objekt einer Evaluation bildet das Heisenbergsche Unschärfetheorem: die Eigenschaften eines beobachteten Elementarteilchens hängen davon ab, unter welcher Fragestellung es beobachtet wird; vgl. etwa Fischer 2001

Abb. 24: Prozeß wechselseitiger rekursiver Transformation von Evaluation und Evaluand

Dies hat Konsequenzen für das theoretische Verständnis der systemischen Operation Eva-luation. Es erscheint wenig sinnvoll, im Evaluationsprozeß Beobachtetes und Beobachten-des als zwei getrennte Systeme zu begreifen. Die Operation der reflexiv-beobachtenden Bewertung beeinflußt das Beobachtete; die Weisen der Beobachtung, die gewählten Krite-rien und die zur Beobachtung eingesetzten Instrumente werden wiederum von der spezifi-schen Form des zu Beobachtenden determiniert. Beobachtetes und Beobachtung stellen zwei interdependente Kategorien dar, die sich selbstreferentiell schließen und im Prozessie-ren ein sich autopoietisch operieProzessie-rendes System bilden. Der Prozeß der Autopoiesis erzeugt dabei Emergenz: die evaluative Bewertungsoperation generiert durch ihre zweiseitige Refle-xivität – als Informationsrückkoppelung sowohl an das Beobachtete, als auch vom Beobach-teten an die beobachtende Instanz und den damit verbundenen Effekten – Systemoperatio-nen eines höheren Reflexivitäts- und Bewertungsgrades. Indem es evaluiert operiert ein Sys-tem folglich innerhalb eines gesteigerten Maßes an Komplexität und auf einer höheren quali-tativen Stufe.

Evaluationsprozesse können in diesem Kontext als Genese einer neuen Systemqualität beg-riffen werden, die sich durch das Hereinnehmen des evaluierenden Systems in die autonome Struktur des evaluierten Systems konstituiert. Reflexive Bewertungsoperationen generieren somit eine neue Systemeinheit; ein emergenter Prozeß, der gelingende Koppelungsoperati-onen zwischen Evaluierendem und Evaluiertem voraussetzt. EvaluationsoperatiKoppelungsoperati-onen er-scheinen dabei als Kommunikationen der sich neu konstituierenden Einheit.

66 Die Permanenz dieses strukturellen Wandels in unterschiedlichsten Lebensbereichen charakterisiert den Mo-dus der gegenwärtigen "Transformationsgesellschaft" (vgl. Schäffter 2001)

Evaluation Evaluand

rekursive Transformation rekursive Transformation

Abb. 25: Emergenz einer neuen Systemqualität durch reflexive Bewertungsoperationen

Evaluationsprozesse sind folglich rekursiv wirksame Operationen: sie selbst erzeugen Ver-änderungen des Gegenstandes (Evaluand), auf den sie gerichtet sind. Diese können hin-sichtlich der intendierten Programme oder Ziele produktiv als auch kontraproduktiv ausfal-len⁶⁷. Die Evaluation selbst kann in der Folge eine direkte qualitätssteigernde Wirkung, etwa auf Bildungspraxis ausüben, indem sie die Einstellungen, Motivationen und Verhaltenswei-sen der Lehrenden und Lernenden verändert (Wesseler 1999, 749)⁶⁸.

Evaluativ veränderte Zustände des Evaluationsobjektes erfordern, vice versa, eine an diese Veränderung adaptierte Evaluation – ein dynamischer, iterativer Zirkel wechselseitiger Transformation⁶⁹.

Im Rahmen dieser Arbeit interessieren vorrangig die im Blick auf das Ergebnis von Lernpro-zessen produktiven Effekte von Evaluationsoperationen.

67 Dieses Phänomen beschreibt der 'Hawthorne-Effekt'; das Verhalten von Personen verändert sich durch das Wissen, daß sie Objekte einer wissenschaftlichen Untersuchung sind; vgl. Bortz/Döring (1995, 472)

Patton (1998) wiederum berichtet von unerwünschten Nebeneffekten einer Evaluation von Lehrenden: um bei der Bewertung gut abzuschneiden, informierten die betreffenden Dozenten ihre Prüflinge vorab über die zu bewälti-genden Prüfungsaufgaben.

68 degeneriert Evaluation allerdings zu einem nicht mehr prozessadäquat weiterentwickelten Alibiverfahren, muß wohl von einem 'Abnützungseffekt' dieser selbsterzeugten positiven Wirkung ausgegangen werden

69 In diesem Zusammenhang sind auch die im Kontext empirischer Forschungspraxis potentiell auftretenden Versuchsleiter-Artefakte zu erwähnen, etwa das Phänomen des 'Rosenthal-Effekts': die Erwartungen eines For-schers gegenüber Probanden, etwa in Bezug auf ihre kognitiven Leistungen, führen zu Forschungsergebnissen, die diesen vorgängigen Erwartungen entsprechen (vgl. hierzu etwa Bortz/Döring 1995, 82f.).

reproduktive Systemoperationen Evaluiertes System

evaluative Systemoperationen Evaluierendes System

Evaluiertes System:

Referenz zur spezifischen Systemlogik

Evaluierendes System:

Referenz zu Kriterien wissenschaftlicher Objektivität

evaluative System- operationen reproduktive

System- operationen Strukturelle

Koppelung

Das folgende Kapitel thematisiert zunächst die prinzipiellen – im Evaluationsbegriff bereits unterschwellig antizipierten – Möglichkeiten der Intervention in die Autonomie selbstreferen-tiell operierender Systeme. Im Anschluß daran werden die funktionalen Aspekte von Evalua-tionsoperationen im Kontext organisationaler Lernprozesse ausgeführt.