Messinstrumententwicklung

Für die übergeordnete Thematik der nachhaltigen Landnutzung wurde exemplarisch für das Thema Biodiversität der Kontext Insekten und Bestäubung gewählt. Als Kontext für den Kli-mawandel wurde der Fokus auf die Moornutzung gelegt. Um situationales, konzeptuelles und prozedurales Wissen solide zu erfassen, wurden bei der Messinstrumententwicklung qualitative

und quantitative Verfahren angewendet. Dazu wurden zwei Szenarien zu den Kontexten Insek-ten und Bestäubung und Moornutzung als Bearbeitungsgrundlage für den Fragebogen entwi-ckelt. Es wurden unterschiedliche Aufgabenformate eingesetzt: Multiple-Choice Items für si-tuationales und konzeptuelles Wissen und Likert-Skalen für prozedurales Wissen. Bei der Auf-gabenentwicklung wurden unterschiedliche Ansätze verfolgt.

Im Rahmen der Aufgabenentwicklung lieferten zwei Studien Lauten Denkens, gesplittet nach den Kontexten Insekten und Bestäubung (Richter-Beuschel et al., 2018a) und Moornut-zung, Einblicke in die kognitive Verarbeitung der Aufgaben des situationalen und konzeptuel-len Wissens durch die Testpersonen. Die Erkenntnisse der beiden Studien Lauten Denkens er-möglichten – in Kombination mit den zusätzlichen Daten zu Lösungswahrscheinlichkeit und Häufigkeit der gewählten Antwortkategorien aus der quantitativen Vorstudie – eine Überarbei-tung der Multiple-Choice Aufgaben und Szenarien. Daraus resultierten 18 Items zur Erfassung des situationalen und 15 Items zur Erfassung des konzeptuellen Wissens, die jeweils zu glei-chen Teilen ökologisches, sozio-ökonomisches und institutionelles Wissen erfassen.

Zur Messung des prozeduralen Wissens von Lehramtsstudierenden wurde das Vorgehen von Koch et al. (2013) aufgegriffen und weiterentwickelt (Richter-Beuschel et al., 2018b). Im Gegensatz zu Problemsituationen mit einer einzigen korrekten Lösung, wie diese beispiels-weise in der Physik meist auftreten (Friege & Lind, 2006), sind Probleme Nachhaltiger Ent-wicklung meist komplex und eine eindeutige Lösung gibt es nicht. Wie das Szenario zur Moornutzung (Richter-Beuschel et al., 2018b) beispielhaft zeigt, bestehen Zielkonflikte in Be-zug auf eine nachhaltige Landnutzung häufig zwischen Naturschutz und Landwirtschaft. Im Zuge der Problemlösung müssen unterschiedliche Perspektiven eingenommen und gegeneinan-der abgewogen werden. Um prozedurales Wissen zu erfassen, erfolgte eine literaturbasierte Zusammenstellung von Lösungsstrategien zur Eindämmung von Insektensterben und Klima-wandel (Herausforderungen der Bearbeitungskontexte Insekten und Bestäubung und Moornut-zung). Das Verfahren der Aufgabenentwicklung setzte sich wie folgt zusammen (Richter-Beu-schel et al., 2018b): Zunächst ließen wir Expert*innen die Effektivität der Lösungsstrategien einschätzen sowie Vorschläge für weitere Strategien unterbreiten. Dies erfolgte in einer ersten Delphi-Runde. Die Ergebnisse aus der ersten Delphi-Runde berücksichtigten wir bei der Über-arbeitung der Lösungsstrategien zur Erfassung von prozeduralem Wissen zusammen mit Er-gebnissen aus der Studie Lauten Denkens mit Lehramtsstudierenden. Daraus resultierte ein In-strument mit 20 Lösungsstrategien, deren Effektivität jeweils in Hinblick auf drei Handlungs-felder erfragt wurde: Umsetzung nachhaltiger Landnutzung, Bereitstellung von Ökosys-temdienstleistungen und Schutz der Biodiversität beziehungsweise Beitrag zum Klimaschutz.

In einer finalen zweiten Runde der Delphi-Studie wurde über die erneute Befragung von Ex-pert*innen eine „korrekte Lösung“ – bei faktisch vorliegendem unsicherem Wissen – über den Durchschnitt der Einschätzungen der Expert*innen für jedes der Likert-Skalen-Items generiert.

Um eine höhere Genauigkeit der Einschätzungen zu erzielen, wurden dabei die Sicherheitsein-schätzungen der Expert*innen zur Gewichtung der EffektivitätseinSicherheitsein-schätzungen herangezogen (Richter-Beuschel et al., 2018b). Die „korrekte Lösung“ der Expert*innen dient in der Folge als Maßstab für die Beurteilung des prozeduralen Wissens angehender Lehrkräfte.

Als Ergebnis aus der Delphi-Studie entstand ein Itemset aus insgesamt 18 Lösungsstrategien – zwei Lösungsstrategien wurden nachträglich zur zweiten Delphi-Runde ausgeschlossen (Richter-Beuschel et al., 2018b). Anhand der beiden Kontexte Insekten und Bestäubung und Moornutzung kann interdisziplinäres, prozedurales Wissen in den drei Handlungsfeldern nach-haltige Landnutzung, Ökosystemdienstleistungen und Biodiversitäts-/Klimaschutz erfasst wer-den. Die Vorteile der Delphi-Studie begründen sich in der großen Anzahl an Teilnehmer*innen, dem hohen Grad der Expertise und der Möglichkeit, dass die Expert*innen weitere relevante Lösungsstrategien vorschlagen konnten. Das mehrstufige Verfahren der Aufgabenentwicklung, in dem wiederholt das Wissen von Expert*innen abgeglichen und auch Verständnis und Zu-gänglichkeit für Lehramtsstudierende geprüft wurde (Richter-Beuschel et al., 2018b), erwies sich als erfolgreich. Das Verfahren stellt eine geeignete Methode zur Entwicklung eines Instru-ments für die Erhebung von (unsicherem) prozeduralem Wissen zu Lösungsvorschlägen für nachhaltige Landnutzung sowie zur Definition eines Maßstabes zur Erfassung vergleichbaren (unsicheren) nachhaltigkeits-relevanten Wissens von Lehramtsstudierenden dar.

Das finale Messinstrument, das situationales, konzeptuelles und prozedurales Wissen er-fasst, wurde deutschlandweit bei insgesamt 314 Lehramtsstudierenden eingesetzt, die mindes-tens eines der Fächer Biologie, Geographie oder Politik belegten.

6.1.2. Dimensionalität von situationalem, konzeptuellem und prozeduralem Wissen

Als letzter Schritt der Messinstrumententwicklung erfolgte eine Modellierung von situatio-nalem, konzeptuellem und prozeduralem Wissen, und damit die Überprüfung der Dimensiona-lität (Richter-Beuschel & Bögeholz, 2020b). Die Modellierung soll zeigen, ob sich das bei der Operationalisierung zugrunde gelegte theoretische Modell von de Jong und Ferguson-Hessler (1996) empirisch fundieren lässt.

Sowohl eine zwei-dimensionale Modellierung, in der situationales und konzeptuelles Wis-sen gemeinsam eine vom prozeduralen WisWis-sen zu unterscheidende Dimension bilden, als auch eine drei-dimensionale Modellierung sind aufgrund der Modellfits gegenüber einer eindimen-sionalen Variante zu bevorzugen. Aufgrund der höheren EAP/PV und WLE person separation

Reliabilität des zwei- gegenüber des dreidimensionalen Modells wird das zwei-dimensionale Modell derzeit als das Beste angesehen, um die empirischen Daten abzubilden (Richter-Beu-schel & Bögeholz, 2020b). Das Zusammenfallen von situationalem und konzeptuellem Wissen in einer Dimension kann möglicherweise auf die Lesegewohnheiten zurückgeführt werden, die sich durch Digitalisierung verändert haben (Mangen & van der Weel, 2016). Dabei hat sich die Lesefähigkeit verschlechtert und intensive Lesepraktiken wurden durch eher oberflächliche er-setzt (Mangen & van der Weel, 2016). Die Operationalisierung von situationalem Wissen im Fragebogen erfordert komplexe Szenarien zu lesen und auf dieser Basis die Aufgaben zu bear-beiten. Wenn die Information aus den Texten jedoch nicht hinreichend verarbeitet wird, können die Testpersonen die Inhalte der Szenarien bei der Aufgabenbearbeitung nicht ausreichend ab-rufen. Daher ist es möglich, dass die Aufgaben zum situationalen Wissen (teilweise) unabhän-gig von den Szenarien beantwortet wurden. Sie könnten stattdessen – unbeabsichtigt – ebenfalls konzeptuelles Wissen erfassen. Eine weitere Ursache für die nicht klare empirische Trennbar-keit von situationalem und konzeptuellem Wissen könnte in der Verwendung des gleichen Auf-gabenformats für beide Wissenstypen liegen (vgl. Binder et al., 2019).

Die Prüfung der Dimensionalität hat gezeigt, dass mit Hilfe des entwickelten Messinstru-mentes situational/konzeptuelles Wissen und prozedurales Wissen solide als zwei voneinander unabhängige Dimensionen betrachtet werden können (Richter-Beuschel & Bögeholz, 2020b).

Überlegungen für weitere Prüfungen bezüglich der Dimensionalität im Rahmen von Folgefor-schung werden in Kapitel 7 vorgestellt.

6.2. Stärken und Schwächen