4.1 Hinweise zur Datenerhebung
Ausgehend von dem Diskurs um Schlüsselqualifikationen, Handlungskompetenzen und den Wider Benefits of Learning offenbart sich eine „Kluft zwischen postulierten Kompetenzkonstrukten und empirischen Verfahren“ (Klieme & Hartig 2007, S. 23).
Ein detaillierter Einblick in die Entwicklung eines einschlägigen Evaluationsinstru-ments kann dem Beitrag von Klinkhammer und Schemmann (vgl. 2018) entnom-men werden, der unter anderem die zugrunde liegende Reliabilität entlang der Kom-petenzdimensionen hervorhebt.
Um den vielfältigen Aspekten der Vermittlung arbeitsorientierter Kompetenzen im Rahmen arbeitsorientierter Grundbildungsangebote gerecht zu werden, emp-fiehlt sich zunächst ein Vorgehen im Längsschnittdesign. Die Kompetenzdimensio-nen Fach-, Methoden-, Sozial- und Selbstkompetenz sollen dabei mit Blick auf die Heterogenität der Zielgruppe mittels einer 5er-Skala auf Basis einschlägiger, leicht verständlicher und zielgruppenspezifischer Fragestellungen erhoben werden. Hier-für empfiehlt sich insbesondere der Einsatz einer symbolischen Ratingskala, um den Teilnehmer*innen eine gezielte Selbsteinschätzung ihrer Kompetenzen in Bezug auf konkrete Sachverhalte und Situationen im Berufsalltag zu ermöglichen. Sowohl Einschlägigkeit, Verständlichkeit als auch Zielgruppenspezifität der zugrunde lie-genden Fragestellungen stützen sich insbesondere auf den engen Austausch des
zu-ständigen Evaluationsteams der Universität zu Köln mit der Lernenden Region – Netz-werk Köln, den Trainer*innen arbeitsorientierter Grundbildungsangebote sowie den dedizierten Erfahrungen mit der Zielgruppe und der detaillierten Kenntnis derer Ar-beitsstrukturen, wie sie im Vorgängerprojekt ABAG1 gemacht wurden. An geeigne-ter Stelle werden die Einzelfragen der entsprechenden Kompetenzdimension im Rahmen der Auswertung ausgewiesen.
Die von der Lernenden Region – Netzwerk Köln realisierten arbeitsorientierten Grundbildungsangebote werden vom Evaluationsteam der Universität zu Köln als ziel-gruppenspezifische Intervention aufgefasst. Dieser subjekt- und nicht objektspezifi-sche Fokus entspricht dabei den zugrunde gelegten Definitionen arbeitsorientierter Grundbildungsangebote und der darin vermittelten arbeitsorientierten Kompeten-zen. Ziel der Evaluation soll es sein, die Wirkmechanismen arbeitsorientierter Grund-bildungsangebote entlang der einzelnen Kompetenzdimensionen aufzuschlüsseln.
Diese am Kompetenzmodell orientierte Herangehensweise deutet dabei eine Parallele zu dem Programme for International Student Assessment (PISA) und dem Programme for the International Assessment of Adult Competencies (PIAAC) an. Aller-dings handelt es sich bei dem im Projekt ABAG2 eingesetzten Evaluationsinstru-ment nicht um einen Leistungstest oder ein ScoringinstruEvaluationsinstru-ment, wie diese etwa bei PISA oder PIAAC zur Anwendung kommen, sondern um ein Verfahren auf Basis von angebots- und branchenspezifischen Referenzwerten, deren Vorteile nachfol-gend hervorgehoben werden.
Evaluationen auf Basis eines Leistungstests oder Scoringinstruments folgen in der Regel einem klassischen Pre-Post-Design und setzen in der Auswertung auf die Überprüfung von signifikanten Unterschieden beim arithmetischen Mittel. Voraus-setzungen hierfür sind vergleichbare Teilnehmer*innenzahlen und -strukturen, wie sie in der Praxis arbeitsorientierter Grundbildungsangebote schwer umzusetzen sind. Zusätzlich wäre hierfür im Projekt ABAG2 zu allen drei Erhebungszeitpunkten (T0, T1 und T2) der Einsatz eines entsprechenden Leistungstests oder Scoringinstru-ments erforderlich gewesen. Allerdings erfolgt die Erhebung der Kompetenzdimen-sionen im Projekt ABAG2 gezielt am Ende der Angebote (T1) sowie drei Monate nach den Angeboten (T2), um das zielgruppenspezifische Kompetenzmuster nach erfolgter Angebotsteilnahme überhaupt erst ermitteln und als Referenzwert bestim-men zu können. Dieser Referenzwert kann für einzelne arbeitsorientierte Grundbil-dungsangebote, aber auch branchenspezifisch ermittelt und auch ohne die zuvor ge-nannten Voraussetzungen zielführend hinsichtlich des Erwerbs an Fach- Methoden-, Sozial- und Selbstkompetenz interpretiert werden.
4.2 Hinweise zur Datenauswertung
Ein weiterer Grund für den zuvor genannten Einsatz eines Referenzwertes ist, dass das arithmetische Mittel, welches häufig bei klassischen Pre-Post-Designs zur An-wendung kommt, nicht nur anfällig für statistische Ausreißer ist, sondern auch be-sonders deutlich auf die oftmals zu verzeichnende Skewness und Kurtosis reagieren kann. Dies ist dann der Fall, wenn das Antwortverhalten der Teilnehmer*innen
erheblich von einer Normalverteilung abweicht (vgl. Keselman et al. 2002; vgl. Ko-walchuk 2006), wodurch ein Vergleich der arithmetischen Mittel zu einem falsch-positiven oder falsch-negativen Signifikanzergebnis führen kann. Dies vermag die Interpretation des Antwortverhaltens der Teilnehmer*innen in unvorhersehbarer Weise zu beeinflussen.
Betrachtet man bspw. die einzelnen Dichtefunktionen des Antwortverhaltens der Teilnehmer*innen im Projekt ABAG2, so fällt eine deutliche linksschiefe und so-mit ein überdurchschnittlich positives Antwortverhalten sowohl bei allen Einzelfra-gen als auch innerhalb der einzelnen Kompetenzdimensionen auf. Entsprechend hoch fallen auch die auf dieser Datenbasis ermittelten Referenzwerte aus, wodurch sich für die weitere Analyse allerdings ein entscheidender Vorteil ergibt:
Keselman und Kolleg*innen (vgl. 2002) und Kowalchuk und Kolleg*innen (vgl.
2006) diskutieren nämlich nicht nur die Nachteile statistischer Testverfahren auf Grundlage arithmetischer Mittel, sondern knüpfen in ihren Arbeiten zu den soge-nannten Robust Statistical Methods auch an Yuen (vgl. 1974) an und plädieren für den Einsatz einer getrimmten Datenbasis, bei der die statistischen Ausreißer um ihre entsprechende Anzahl k eliminiert werden. Abbildung 1 verdeutlicht, dass dies im Projekt ABAG2 bei dem linksschiefen und überdurchschnittlich positiven Ant-wortverhalten automatisch zu einem niedrigeren getrimmten Mittelwert (M2) als dem arithmetischen Mittel (M1) führt.
Getrimmte Mittelwerte in der Evaluation Abbildung 1:
Die Trimmung verändert Skewness und Kurtosis für einen zuverlässigeren Einsatz statistischer Testverfahren, dies verdeutlicht der veränderte Verlauf der dunkel-grauen Dichtefunktion im direkten Vergleich mit der helldunkel-grauen Dichtefunktion, wodurch gleichermaßen ausgeschlossen werden kann, dass der zuvor ermittelte Re-ferenzwert auf Basis des arithmetischen Mittels zufällig überschritten wird. Folglich kann ein falsch-positiver Kompetenzeffekt, der über den Referenzwert hinausgeht, ausgeschlossen werden. Auf dieser Basis kann der getrimmte Mittelwert einer jeden Kompetenzdimension mit dem Referenzwert angebots- und branchenspezifisch ab-geglichen werden. Übersteigt der getrimmte Mittelwert den Referenzwert, so kann von einem positiven Einfluss des arbeitsorientierten Grundbildungsangebotes auf die Teilnehmer*innen ausgegangen werden. Die getrimmten Mittelwerte eignen sich gleichermaßen für einen angebots- und branchenübergreifenden Längsschnitt-vergleich zwischen den Erhebungszeitpunkten T1 und T2, wie im nachfolgenden Abschnitt dargestellt. Eine angebots- sowie branchenspezifische Auswertung zur weiteren Aufschlüsselung des Kompetenzerwerbs erfolgt darauf aufbauend.