Methodologische Orientierung unterschiedlicher Evaluationsdesigns

Stiefel/Flöther (1976) systematisieren Evaluationsforschungen methodologisch in subjektive Verfahren (Befragungen liefern die Daten- und Informationsbasis zur Beurteilung des Wei-terbildungserfolgs), die direkt oder indirekt angewendet werden (Maßnahmeteilnehmer äu-ßern sich / bzw. Vorgesetzte und Kollegen werden befragt), sowie objektive Verfahren, die wiederum als direkte (bspw. durch Messen der Anwendungshäufigkeit neu erlernter Verfah-ren) und indirekte Beurteilungen (Messen etwa der Zeitersparnis bestimmter Arbeitsabläufe und/oder des Produktivitätszuwachses) konzipiert werden können.

26 Wilkening 1997; hier im Kontext eines Bildungscontrollingansatzes

Im sozialwissenschaftlichen Kontexgt wird denjenigen Evaluationsstudien die größte Aussa-gekraft zugeschrieben, die sich am positivistischen Paradigma der Erkenntnisgewinnung orientieren und in ihrer methodologischen Ausrichtung intendieren, ein experimentelles Un-tersuchungsdesign im Forschungsfeld nachzubilden (Beispiele hierfür finden sich etwa bei Cook 1979, Goldstein 1986, Weinert 1987).

Solche Heuristiken beabsichtigen Bedingungen in der zu untersuchenden Praxis zu kon-struieren, die es erlauben, meßbare Veränderungen des Untersuchungskriteriums isoliert zu beobachten (etwa zuvor definierte Faktoren des Lern- und Transfererfolgs) und andere, als intervenierende Variablen aufgefaßte (Stör-)Faktoren auszuschließen. Kriteriumsverände-rungen, beobachtete Unterschiede der abhängigen Variablen können dann als intendierte Weiterbildungseffekte interpretiert werden²⁷.

Einige dieser Designs werde ich exemplarisch im Folgenden knapp skizzieren²⁸:

Experimental-Designs

Eine Kriteriumsmessung wird hier vor und nach einem Treatment (Bildungsmaßnahme) an der Untersuchungsgruppe zu den Zeitpunkten t1 und t2 vorgenommen. Um auszuschließen, daß feststellbare Veränderungen zum Meßzeitpunkt t2 lediglich auf unabhängig von der Maßnahme wirkende, organisationsinterne Entwicklungsprozesse und nicht auf das Treat-ment zurückzuführen sind, wird eine der Untersuchungsgruppe hinsichtlich Vorwissen, Auf-gabengebiet usw. äquivalente Kontrollgruppe gebildet. Diese erhält kein Treatment, es wer-den jedoch zu wer-denselben Zeitpunkten Kriteriumsmessungen vorgenommen.

Unterscheiden sich die Messergebnisse beider Gruppen statistisch signifikant, sind die Un-terschiede auf wesentlich härterer Argumentationsbasis als Effekte des Treatments interpre-tierbar.

Dieses Design läßt jedoch relevante Nebenwirkungen wie Hawthorne-Effekte²⁹ und eventuel-le positive Effekte auf die Arbeitsmotivation durch die bloße Teilnahme an einer – auch 'in-haltslosen' – Bildungsmaßnahme außer Acht. Aufwendigere Designs, bei denen eine zweite Kontrollgruppe ein Placebo-Training erfährt, bzw. einer weiteren Gruppe die gemittelten Kri-terienmeßwerte der Untersuchungsgruppe sowie diejenigen der ersten Kontrollgruppe zuge-ordnet werden, lassen wesentlich präzisere und aussagekräftigere Rückschlüsse auf die Ursachen der beobachteten Verhaltensänderungen und mögliche Interaktionseffekte zwi-schen den Gruppen zu³⁰.

27 vgl. Bortz/Döring 1995, 14f.

28 vgl. Wottawa/Thierau 1998, Thierau-Brunner et al. 1999

29 Einfluß der Spezifizität der Untersuchungssituation und der Versuchsleiter; Übersicht zu störenden Effekten vgl.

Rogge u.a. 1995, 146 f.

30 vgl. Weinert 1987

Diese, vom positivistischen wissenschaftstheoretischen Standpunkt optimal(er)en Lösungen, sind aus pragmatischen Erwägungen in der betrieblichen Weiterbildungspraxis jedoch nicht zu realisieren. Neben Zeit- und Kostenargumenten (nur ein Teil der Mitarbeiter erhält tat-sächlich ein Training) kann auch eine fehlende Akzeptanz solcher Kontrollgruppen-Designs bei den meisten Prozeßbeteiligten unterstellt werden, was den Erfolg eines derartigen Ver-fahrens von vornherein in Frage stellt. M.E. sprechen auch ethische Überlegungen – die Verantwortung der Weiterbildner für die Personalentwicklung und die Bereitstellung qualitativ hochwertiger Angebote für alle Organisationszugehörigen – gegen die Anwendung eines Designs, das einen Teil der Zielgruppe aus forschungstheoretischen Überlegungen bewußt von Entwicklungsangeboten ausgrenzt³¹.

Quasi-experimentelle Designs

Diese – aus forschungstheoretischer Sicht – suboptimalen Modelle werden realen Praxisbe-dingungen eher gerecht; allerdings ist selbst die Entwicklung solcher Ansätze mit erhebli-chem, oftmals nicht zu realisierendem Aufwand verbunden.

Im Ansatz der Zeitreihen-Analyse³² werden zu mehreren Zeitpunkten vor Beginn und nach Beendigung einer Weiterbildungsmaßnahme Messungen an der Untersuchungsgruppe vor-genommen. Treten in den nach der Bildungsmaßnahme unternommenen Erhebungen Dis-kontinuitäten bzgl. der Kriterienentwicklung auf (etwa markante Ausschläge auf einer Skala zur Leistungmessung), so können diese als Weiterbildungseffekte interpretiert werden. Aller-dings sind in diesem Ansatz auch andere, etwa aus organisationalen Veränderungen resul-tierende Einflußfaktoren auf die Meßergebnisse nicht vom Grundsatz auszuschließen.

Die institutionelle Zyklus-Analyse bietet sich als Evaluationsdesign an, durchlaufen verschie-dene Gruppen sukzessive und phasenverschoben das selbe Programm. Messungen werden zu Beginn und am Ende einer Einzelmaßnahme an zwei Gruppen vorgenommen, von denen die erste die Maßnahme bereits durchlaufen hat, die zweite dies zu einem folgenden Zeit-punkt tun wird. Die zeitlich nachfolgende Gruppe wird jeweils als Kontrollgruppe für die Treatment-Gruppe herangezogen. Dieses Verfahren kann mit einer beliebigen Anzahl von Gruppen nach demselben Prinzip fortgeführt werden.

Eine Äquivalenz der jeweiligen Gruppen wird unterstellt; andernfalls gewährleistet ein Ver-gleich der gemessenen Ausgangswerte vor den Maßnahmen, daß sich beide Gruppen nicht zu sehr unterscheiden.

Mehrphasen-Designs teilen die Gesamtuntersuchungsgruppe in zwei äquivalente Unter-gruppen auf. Diese durchlaufen dann getrennt und zeitlich phasenverschoben das Pro-gramm. Messungen erfolgen an beiden Gruppen zeitgleich, jedoch nimmt in jeder Phase nur

31 Allerdings wird dies methodologisch in positivistisch-naturwissenschaftlich orientierten Evaluationsfeldern durchaus gefordert (z.B. bei medizinischen Wirksamkeitstests von Medikamenten)

32 s. zu den folgenden Ausführungen Bortz/Döring 1995, 511f.

jeweils eine Gruppe an der Maßnahme teil. Durch diese Anordnung ist es möglich, Verände-rungen, die kausal außerhalb einer Bildungsmaßnahme liegen, mit denen zu vergleichen, die durch die Maßnahme erzielt wurden.

Rossi et al (1988) beschreiben verschiedene weitere etablierte Forschungsverfahren (Re-gressions-Diskontinuitäten-Analysen, retrospektive Vorher-Nachher-Untersuchungen u.a.m.), auf die hier nicht weiter eingegangen wird.