Stärken und Schwächen

Als Stärke der vorliegenden Arbeit kann die sehr intensive Phase der Messinstrumentent-wicklung aus einer Kombination qualitativer und quantitativer Verfahren und deren Beitrag zur Gewährleistung von Inhaltsvalidität angesehen werden. Dies gilt erstens für die Multiple-Choice Aufgaben zur Erfassung des situationalen und konzeptuellen Wissens angehender Lehr-kräfte, deren Funktionalität in zwei Studien Lauten Denkens sowie einer quantitativen Erhe-bung pilotiert wurde, und zweitens für die Entwicklung von Lösungsstrategien zur Erfassung des prozeduralen Wissens, die über eine Delphi-Studie und eine Studie mit Lehramtsstudieren-den abgesichert wurde.

Ergänzend zu den Ausführungen in Kapitel 6.1.1 zu einer soliden Messinstrumententwick-lung, die die Inhaltsvalidität absichern, erfolgten weitere Validitätsprüfungen. Zum Beispiel zeigten sich hohe Korrelationen zwischen dem selbsteingeschätzten Wissen der Expert*innen und der Sicherheit der Expert*innen, die bei der Einschätzung jeder Lösungsstrategie erfasst

wurde (Richter-Beuschel et al., 2018b). Die Sicherheitseinschätzungen der Expert*innen flos-sen in die Entwicklung des Maßstabes ein, um die Einschätzungen der Expert*innen um deren Expertisegrad zu korrigieren. Der Sachverhalt unterstützt die Annahme, dass ein verlässlicher Expertenmaßstab generiert werden konnte.

6.2.2. Messung von situationalem und konzeptuellem Wissen

Situationales und konzeptuelles Wissen wurden in der vorliegenden Arbeit in Form von Multiple-Choice Aufgaben erhoben. Auch Large scale assessments wie TIMSS (Trends in In-ternational Mathematics and Science Study), PIRLS (Progress in InIn-ternational Reading Liter-acy Study) oder PISA (Programme for International Student Assessment) nutzen Aufgaben im Multiple-Choice Format (Baird, 2014). Kognitiv anspruchsvolle Multiple-Choice Aufgaben ha-ben sowohl das Potential, aussagekräftige Informationen über die Fähigkeiten der Testpersonen zu erhalten als auch den Testpersonen die Möglichkeit zu geben, durch die Befragung ihre Fä-higkeit zu verbessern (Scully, 2017).

Die Entwicklung der Distraktoren für die Multiple-Choice Aufgaben zum situationalen und konzeptuellen Wissen war eine große Herausforderung. Sie ist gut gelungen, wenn Fehlvorstel-lungen zur Konstruktion von Distraktoren herangezogen werden konnten. Bei 20 der 27 Items zur Dimension des situational/konzeptuellen Wissens wurde mindestens ein Distraktor von we-niger als 5 % der Testpersonen gewählt. Die Ergebnisse des eindimensionalen Modells zum situational/konzeptuellen Wissen zeigten, dass die Aufgaben eher leicht zu beantworten waren (mean item difficulty aus IRT -0,893) (Richter-Beuschel & Bögeholz, 2020b). Dass Distrakto-ren, die sich im Rahmen der qualitativen und quantitativen Vorstudien als besonders attraktiv dargestellt haben, teilweise abgeschwächt wurden, kann zur vergleichsweise geringen Schwie-rigkeit der Aufgaben in der Hauptstudie beigetragen haben. Zudem wichen die Stichprobenzu-sammensetzungen zwischen quantitativer Vorstudie und Hauptstudie ab: in der Vorstudie machten Lehramtsstudierende mit dem Ziel Gymnasium/Integrierte Gesamtschule 42 % aus, in der Hauptstudie jedoch 80 %. Wie sich im Vergleich der Personenfähigkeit zwischen Studie-renden unterschiedlicher Schultypen gezeigt hat, wiesen Studierende mit der Richtung Gymna-sium/Integrierte Gesamtschule höheres situational/konzeptuelles Wissen auf als Studierende anderer Schulformen. Daher hätten die Items von Vorstudie zu Hauptstudie womöglich gerin-gerer Überarbeitung bedurft, um auch Aufgaben höherer Schwierigkeit zu erhalten. Jedoch be-stätigen die Kennwerte aus dem IRT-Modell, wie beispielsweise die EAP/PV Reliabilität, die noch in einem akzeptablen Bereich liegt (0,627) (Richter-Beuschel & Bögeholz, 2020b), die Anwendbarkeit des Instrumentes.

Da insbesondere bei Tests im Multiple-Choice Format die Gefahr groß ist, dass keine ein-dimensionale Messung vorliegt und damit das Güterkriterium der Skalierung verletzt wäre, ist die IRT-Modellierung an dieser Stelle von großer Bedeutung (vgl. Kubinger, 2014). Ein Vorteil der Leichtigkeit der Items kann sein, dass eine größere Zielgruppe für einen Einsatz der Skala zum situational/konzeptuellen Wissen in Frage kommt, wie beispielsweise auch Schüler*innen der Sekundarstufe II.

Der große Vorteil bei der Verwendung von Multiple-Choice Aufgaben liegt in der effizien-ten, zeitökonomischen Messung (Solaz‑Portolés & López, 2008). Für die weitere Verwendung des Instrumentes ist das Aufgabenformat aus den zuvor genannten Gründen ebenfalls vorteil-haft. Die Erfahrung bei der Akquise von Lehramtsstudierenden für eine Teilnahme an einer Befragung hat gezeigt, dass eine längere Fragebogenstudie während der Kurszeiten schwer durchführbar ist. Bei einer Befragung außerhalb von Kursen hat sich gezeigt, dass für ein In-strument mit entsprechenden Umfang Versuchspersonengelder notwendig sind, um eine sorg-fältige Bearbeitung gewährleisten zu können. Ein schnell zu bearbeitendes Instrument kann da-her auch auf der Durchführungsebene Vorteile mit sich bringen.

6.2.3. Messung von prozeduralem Wissen

Im Rahmen der vorliegenden Arbeit wurden zwei verschiedene Ansätze zur Auswertung des prozeduralen Wissens präsentiert. Zunächst wurde das prozedurale Wissen der Studieren-den durch Bildung der Differenz zwischen der Effektivitätseinschätzung der Expert*innen und der Einschätzung der Studierenden berechnet (Kap. 4, Richter-Beuschel & Bögeholz, 2020a).

Dies wird im Folgenden als klassische Analyse bezeichnet. In der zweiten Variante wurde durch Runden des Wertes aus dem Expertenmaßstab auf die nächste Ganzzahl der „korrekte“ Wert auf der Likert-Skala generiert. Mit Hilfe dieses Expertenmaßstabs werden die Antworten der Studierenden mittels Rasch-Modellieung dichotomisiert ausgewertet (Kap. 5, Richter-Beuschel

& Bögeholz, 2020b). Trotz der Unterschiedlichkeit der Auswertung zeigten beide Studien ähn-liche Trends in den Ergebnissen, wie beispielsweise, dass die Bachelor-Note als Prädiktor für das prozedurale Wissen fungiert (klassische Analyse: R² = 0,048, adjusted R² = 0,039, F(1,101)

= 5,09, p = 0,026; Rasch-Modell: R² = 0,041, adjusted R² = 0,032, F(1,106) = 4,53, p = 0,036).

Durch die Rasch-Modellierung konnte die Skala zur Erfassung des prozeduralen Wissens ge-kürzt und damit zeitökonomischer gestaltet werden.

6.2.4. Stichprobenumfang und Items

Im Vergleich zu anderen Studien zur Erfassung nachhaltigkeitsrelevanten Wissens ist der vorliegende Stichprobenumfang als eher gering einzustufen (z.B. Koch et al., 2013: N = 882,

Zwickle et al., 2014: N = 1389). Zudem wäre eine bezüglich der Studiengänge und Studienfä-cher besser ausgewogene Stichprobe erstrebenswert gewesen.

Im Rahmen der ersten Phase der „Qualitätsoffensive Lehrerbildung“ wurden zwischen 2016 und 2019 deutschlandweit 49 Projekte in der Lehrkräftebildung gefördert, woraus auch die vor-liegende Arbeit entstanden ist. Allerdings hat die „Qualitätsoffensive Lehrerbildung“ zahlrei-che Erhebungen an vielen Standorten der Lehramtsausbildung mit sich gebracht hat, wodurch es schwierig war, für eine Fragebogenstudie mit einer Bearbeitungszeit von 60 Minuten eine große Anzahl an Testpersonen zu gewinnen. Nichtdestotrotz ist es uns gelungen in der Vorstu-die im Jahr 2017 an sieben Hochschulen in vier Bundesländern zu erheben (N = 112) sowie in der Hauptstudie 2018/19 314 Lehramtsstudierende der Fächer Biologie, Geographie und Politik von zehn Hochschulen aus sieben Bundesländern einzubeziehen. Insgesamt kann davon ausge-gangen werden, dass die vorliegende Stichprobe der Hauptstudie – insbesondere in Kombina-tion mit der großen Anzahl an Items pro Dimension – verlässliche Ergebnisse im Rahmen der IRT-Modellierung liefert (Akour & AL-Omari, 2013).

6.2.5. Inhaltliche Breite der Messung von nachhaltigkeitsrelevantem Wissen

Nicht nur die profunde Messinstrumententwicklung, sondern auch die inhaltliche Breite des zu erfassenden Wissens gehört zu den Vorzügen dieser Forschungsarbeit. So wird die überge-ordnete Thematik der nachhaltigen Landnutzung durch die zwei Themenfelder Biodiversität und Klimawandel repräsentiert, die für die SDGs “Life on Land”, “Life Below Water” und

“Climate Action” und damit auch für eine Bildung für Nachhaltige Entwicklung zentral sind.

Die wiederum für Biodiversität und Klimawandel exemplarisch herangezogenen Kontexte In-sekten und Bestäubung und Moornutzung sind komplexe Umweltprobleme, deren Lösung eine interdisziplinäre Betrachtung erfordert. Weiterhin werden bei der Erfassung des situatio-nal/konzeptuellen Wissens wichtige Facetten der Nachhaltigen Entwicklung berücksichtigt (Ökologie, Ökonomie/Soziales, Institutionelles).

Für die Erfassung des nachhaltigkeitsrelevanten prozeduralen Wissens wurden mit nachhal-tiger Landnutzung, Ökosystemdienstleistungen und Biodiversitäts-/Klimaschutz drei hoch re-levante Handlungsfelder herangezogen. Die Lösungsstrategien zur Erfassung des prozeduralen Wissens decken außerdem noch acht im Bereich nachhaltige Landnutzung relevante Themen-gebiete ab: Forschung zu nachhaltiger Entwicklung, Umweltpolitik, Agrarpolitik, Bildung für Nachhaltige Entwicklung, nachhaltiger Konsum, nachhaltige Produktion, nachhaltige Bewirt-schaftung und Artenvielfalt (Richter-Beuschel et al., 2018b).

6.2.6. Konstruktvalidierung von situational/konzeptuellem Wissen und prozeduralem Wissen Nicht nur das Wissen, sondern auch dessen Beziehungen zu verwandten Konstrukten, wur-den mittels IRT-Modellierungen geprüft (Richter-Beuschel & Bögeholz, 2020b). Im Zuge der quantitativen Hauptstudie wurden Validierungsinstrumente eingesetzt, die von allen Testperso-nen bearbeitet wurden und eine Verortung von situational/konzeptuellem Wissen und proze-duralem Wissen im nomologischen Netzwerk erlauben. Der Fokus lag dabei auf der Erfassung weiterer Komponenten der professionellen Handlungskompetenz, insbesondere im motivatio-nalen Bereich. Erhoben wurden Einstellungen gegenüber Nachhaltiger Entwicklung (Biasutti

& Frate, 2017), Verantwortungsbereitschaft gegenüber Klimawandel und Biodiversitätsverlust (BMU, 2008), Selbstwirksamkeitserwartungen zum Unterrichten von Bildung für Nachhaltige Entwicklung (Rosenbaum et al., 2017) sowie Wissen zum Thema Nachhaltigkeit (Zwickle et al., 2014). Zusätzlich wurde von einer Teilstichprobe ein Instrument zur Erfassung des Interes-ses an Biodiversität (Irfan et al., 2012) bearbeitet.

Bereits bei der klassischen Analyse deutete das Ausbleiben signifikanter manifester Korre-lationen zwischen dem prozeduralen Wissen und den motivationalen Orientierungen der Stu-dierenden auf eine Unabhängigkeit der Konstrukte hin (Richter-Beuschel & Bögeholz, 2020a).

Die latenten Korrelationen zwischen den Wissensdimensionen und den Validierungsinstrumen-ten (außer Interesse) der mehrdimensionalen IRT-Modellierungen haben bestätigt, dass das er-fasste disziplinäre und interdisziplinäre Wissen zu nachhaltiger Landnutzung weitestgehend unabhängig von motivationalen Orientierungen der Testpersonen ist. Auch das selbsteinge-schätzte Wissen zu Biodiversität und Klimawandel lässt nahezu keinen Zusammenhang mit den motivationalen Orientierungen zu, sondern lediglich zum situational/konzeptuellen Wissen (Richter-Beuschel & Bögeholz, 2020b).

Durch die Kompetenzmodellierung sowohl kognitiver (situational/konzeptuelles Wissen, prozedurales Wissen, Wissen zu Nachhaltigkeit) als auch motivationaler Facetten (Selbstwirk-samkeitserwartungen, Verantwortungsbereitschaft, Einstellungen) wurde ein vertiefter Ein-blick zu Relationen mehrerer Aspekte professioneller Handlungskompetenz von angehenden Lehrkräften gewonnen.