Bezüge aus der Evaluationsforschung

Für die Erkenntnisgewinnung und die effektive Gestaltung einer Intervention spielt die Evaluation eine unmittelbare Rolle. Evaluation ist dann Forschung, wenn sie be-wusst, systematisch, formalisiert und unter Beachtung bestimmter Standards durch-geführt wird (vgl. McKenny & Reeves, 2014, S. 141). Aus diesem Grund werden Be-züge aus der Evaluationsforschung – vorrangig der qualitativ ausgerichteten – herangezogen (vgl. Kuckartz, Dresing, Rädiker, & Stefer, 2007; Prengel et al., 2008;

Beywel, 2006; Flick, 2006b; 2006c; Kardorff, 2015; Mayring, 2016). Die Bezüge der Evaluationsforschung sind dabei integraler Bestandteil des vorliegenden

gestaltungs-orientierten Forschungsprozesses. Die Integration soll eine ziel- und zweckorien-tierte Untersuchung der Verwendbarkeit bzw. Güte des Evaluationsgegenstandes³³ vornehmen (vgl. Prengel et al., 2008). In diesem Sinne hat Evaluation die Aufgabe eine systematische Datenbasis aufzubauen, auf deren Grundlage eine bewertende Stellungnahme abgegeben werden kann, um Gestaltungs- und Entwicklungsarbeit planvoll zu unterstützen (Prengel et al., 2008). Damit wird klar, dass sich die Bezüge der Evaluationsforschung in Abgrenzung zu den anderen einbezogenen Forschungs-ansätzen darauf bezieht, Aussagen über das Funktionieren des untersuchten Gegen-standes zu machen bzw. zu hinterfragen. Es wird danach gefragt, ob die Intervention wirkt und/oder wie sie wirkt. bzw. weiterzuentwickeln ist (vgl. Flick, 2006b).

Zusammengefasst will die in diesem Projekt eingebettete Evaluation (vgl. Kar-dorff, 2015, S. 239):

1. die Wirksamkeit, Effizienz und Zielerreichung einer pädagogischen Profes-sionalisierungsmaßnahme zur Förderung einer nachhaltigkeitsbezogenen Handlungskompetenz bei Lehrkräften überprüfen,

2. empirische Ergebnisse für Entscheidungs- und Planungssituationen bereit-stellen, auf deren Grundlage Argumente für die Umsetzung von Zielsetzun-gen und Interessen begründet werden können,

3. Veränderungen nachhaltigkeitsorientierter Lehr-/Lernprozesse dokumentie-ren, begleiten und anregen sowie

4. neue technologische Erkenntnisse zu einem vertiefenden Verständnis über die Qualifizierung von Lehrkräften zur Umsetzung von BBnE beisteuern.

Evaluationsforschung hat in diesem Sinne nicht den Anspruch, selbst in die Praxis hinein zu intervenieren, sondern ein Mittel zu sein, mit dessen Hilfe eine wirksame Intervention gestaltet wird (vgl. Prengel et al., 2008).

Um der Anforderung eines wissenschaftlichen Unterstützungsinstrumentes ge-recht zu werden, fordert das „Joint Committee on Standards for Educational Evalua-tion“³⁴ fünf Eigenschaften ein, die bei der Evaluation zu erfüllen sind (vgl. Sanders &

Beywl, 2006; Yarbrough, Shulha, Hopson, & Caruthers, 2011):

1. Nützlichkeitsstandards sollen sicherstellen, dass die Evaluation glaubwürdige, zweckdienliche und relevante Informationen bereitstellt, aufmerksam gegen-über allen Beteiligten und Betroffenen ist, die individuellen und kulturellen Werte für die Beurteilung klärt, sinnvolle Prozess- und Produktrückmeldungen zeitnah und adressatengerecht kommuniziert sowie die verantwortungsvolle Nutzung der Informationen befördert.

2. Durchführungsstandards sollen sicherstellen, dass die Evaluation zielführend, praktikabel sowie ressourceneffektiv und -effizient durchgeführt wird. Sie sollen

33 Der Evaluationsgegenstand entspricht im Falle des vorliegenden Projekts dem Forschungsgegenstand „Befähigung von Berufsschullehrkräften zur Umsetzung von BBnE“.

34 Hier wurde sich an die Eigenschaften der JCSEE gehalten, die fünf Eigenschaften ausweist. Die DegeVAL zeichnet nur vier Eigenschaften aus, die sich mit denen der JCSEE überschneiden.

helfen, die kontextuellen Interessen und Bedürfnisse aller an der Evaluation Be-teiligten zu berücksichtigen.

3. Korrektheitsstandards sollen sicherstellen, dass die Evaluation responsiv gegen-über allen Beteiligten und der Umwelt ist, formale Vereinbarungen einhält, Menschenrechte und andere garantierte Rechte bewahrt, verständlich und fair auf die Bedürfnisse und Interessen aller Betroffenen eingeht, Ergebnisse offen-legt und die finanzielle Ausstattung verantwortet.

4. Genauigkeitsstandards sollen sicherstellen, dass die Evaluation valide und relia-ble Informationen bereitstellt, kontext- und kulturgebundene Entscheidungen unterstützt, standardisierte und zweckdienliche Methoden verwendet, Argu-mentationslinien transparent und vollständig ausweist und eine genaue und korrekte Berichterstattung liefert.

5. Verantwortlichkeitsstandards sollen sicherstellen, dass die Evaluation sämtliche Daten und Ergebnisse verantwortlich sowie umfassend dokumentiert, Evalua-tionsstandards berücksichtigt und externe Anregungen aufnimmt.

Die aufgeführten Evaluationsstandards gelten grundsätzlich, geben dem Evalua-tionsdesign einen Rahmen vor, verpflichten aber nicht zu exakten Gestaltungsvor-schriften.

Da es sich bei der vorliegenden Untersuchung um einen Forschungsgegenstand handelt, der durch soziale, handlungs- und entscheidungsfähige Individuen ge-prägt ist, soll die methodische Gestaltung des Evaluationsprozesses die fünf Stan-dards berücksichtigen. Sie stehen nicht im Widerspruch zu den Annahmen einer kooperativen Beziehung zwischen Forschenden und Praktikern, vielmehr unter-stützen die aufgelisteten Standards diesen Anspruch.

In Interventionsstudien muss grundsätzlich damit gerechnet werden, „dass die Be-troffenen in nicht vorhersagbarer Weise auf Interventionsmaßnahmen reagieren und dabei in kreativer Weise jene Handlungsbedingungen verändern, die durch die Intervention sozialtechnologisch geschaffen und beeinflusst werden sollte“ (Kelle, 2006, S. 133).

Um eine nachhaltigkeitsbezogene berufliche Professionalisierung der Lehrkräfte im Untersuchungsfeld der berufsschulischen Weiterbildung zu bestimmen, soll sich deshalb vorrangig auf eine qualitative Evaluation bezogen werden. Nur durch die Integration qualitativer Methoden lassen sich die Subjektperspektive der Be-forschten und ihre Überzeugungen (beliefs), das Professionswissen, die Motiva-tion und die SelbstregulaMotiva-tionsfähigkeit ergründen sowie ein angemessenes De-sign dafür entwickeln. „Evaluation wird jedoch vor allem dann aufschlussreich sein, wenn es ihr gelingt die unterschiedlichen – subjektiven – Bewertungen ver-schiedener Beteiligter zu erfassen und über deren Vergleich und Kontrastierung zu einer Bewertung zu gelangen“ (Flick, 2006b). Diesem Verständnis folgend kommen vorrangig qualitative Methoden zur Anwendung, was aber die

Kombina-tion mit quantitativen Methoden zur Verbesserung der Ergebnisse nicht aus-schließen soll (vgl. Flick, 2006b). Vielmehr werden qualitative und quantitative Methoden dort eingesetzt, wo sie sinnvoll sind.

Kardorff (2015) stellt besondere Merkmale für die qualitative Evaluationsforschung auf, um ihr eine spezielle Akzentuierung zu geben und sich von der allgemeinen Evaluationsforschung abzugrenzen (vgl. Kardorff, 2015, S. 243 ff.):

• Qualitative Evaluationsforschung ist wertgebunden, d. h. wissenschaftlich erho-bene Ergebnisse werden bewertet, um die Interventionsmaßnahme zu verbes-sern.

• Sie beachtet soziale Wirklichkeit, deutet die subjektiven Theorien der Beteilig-ten und Betroffenen, um verändernd einzugreifen. Damit einhergehend ver-steht sie die Wirklichkeit konstruktivistisch.

• Sie ist responsiv angelegt, d. h. alle Akteure treten in einen kommunikativen Aushandlungsprozess.

• Sie generiert Theorien, indem sie kontrastierende Fälle systematisch vergleicht und gleichzeitig Begründungszusammenhänge und Handlungsstrategien er-gründet.

• Sie orientiert sich am Prozess, wodurch die formative Evaluation im Vorder-grund steht.

• Sie ist kontextsensitiv, wodurch die Generalisierbarkeit begrenzt bleibt. Die Ge-nerierung von Theorie ist projektbezogen, meist lokal begrenzt, aber gleichwohl wissenschaftlich fundiert.

• Der Forscher muss zwischen dem neutralen und objektiven Beobachter, dem Begleiter und dem Veränderungsagenten wechseln können.

• Das Forschungsdesign ist zyklisch und iterativ ausgerichtet.

• Sie benutzt sämtliche verfügbare Methoden.

Wenn man die Merkmale der qualitativen Evaluationsforschung mit den Annahmen der gestaltungsorientierten Forschungsansätze vergleicht, so kommt man zu dem Ergebnis, dass sie sich vielfältig überschneiden. Durch ihre vielen Gemeinsamkeiten lassen sich die Ansätze also sehr gut miteinander kombinieren. Das Forschungs-und Erkenntnisinteresse, die Rolle der Akteure, die KontextgebForschungs-undenheit, die Pro-zessorientierung, das zyklische und iterative Forschungsdesign sind nur wenige Be-spiele, bei denen deutlich wird, dass ihnen in vielen Punkten übereinstimmende methodologische Grundannahmen unterliegen.

Die vorliegende Evaluation wird sich an den Merkmalen der qualitativen Evalua-tionsforschung (vgl. Kardorff, 2015, S. 243 ff.) orientieren.