4 Forschungsdesign und Untersuchungsmethoden
4.2 Erfassung der Variablen und Untersuchungsdesign
4.2.1 Messbarkeit von Überzeugungen
Bei der Messung von Persönlichkeitsmerkmalen kann entweder eine qualitative oder eine quantitative Vorgehensweise gewählt werden. Die qualitative Messung von Überzeugungen hat insbesondere das Ziel, deren Strukturen bei einzelnen Personen aufzudecken: In Form von Interviews oder schriftlichen Befragungen mit offenen Items wird dabei erhoben, welche Aspekte des Merkmals vorkommen und welche Zusammenhang bzw. Vernetzungsweise und -grad sie aufweisen. Dies ist insbesondere das Ziel des Forschungsprogramms „Subjektive Theorien“ nach Groeben et al. (1988).
Das Forschungsinteresse der vorliegenden Arbeit zielt jedoch weniger auf die Analyse der inneren Strukturen von Überzeugungen ab, sondern stärker auf die Höhe der Ausprägung für Freilandarbeit positiver Überzeugungen und deren Veränderbarkeit durch eine gegebene In-tervention, die Lehrveranstaltung. Hierfür ist es sinnvoll, weit mehr Personen einzubeziehen, als es im Rahmen einer qualitativen Erhebung möglich wäre. Sowohl das Forschungsinteresse als auch die Umsetzbarkeit im Rahmen dieser Arbeit legt daher die quantitative Vorgehens-weise nahe.
4.2.2 Definition und Messung der Variablen
Erhebung von Überzeugungen bei Studierenden – abhängige Variablen
Für die Entscheidung, ob Freilandarbeit im Unterricht durchgeführt wird oder nicht, sind ne-ben diversen situations- und personenbezogenen Faktoren die Überzeugungen der Lehrperso-nen bezüglich Natur und Freilandarbeit von Bedeutung. Diese Parameter stellen im Untersu-chungsdesign die abhängigen Variablen dar, die von den Merkmalen der Lehrveranstaltung
Kapitel 4 – Forschungsdesign und Untersuchungsmethoden
61
(unabhängige Variablen) sowie wahrscheinlich von diversen weiteren Faktoren (Störvariab-len) beeinflusst werden. Erfasst wurden im Einzelnen
a) der Naturbezug der Studierenden,
b) die Selbstwirksamkeit im Bereich Umweltbildung im Freiland, c) die Wirksamkeitserwartung von Freilandunterricht sowie die d) Kontrollüberzeugungen diesbezüglich.
Erhoben wurden diese Parameter sowie einige personenbezogenen Daten wie Alter, Ge-schlecht und Studienfach (Sachunterricht oder Biologie) bei einer größeren Anzahl von Stu-dierenden im Rahmen einer Querschnittsstudie. Dies legte die Anwendung eines Paper-and-pencil-Tests mit geschlossenem Antwortformat mit Likertskala nahe, der sich quantitativ auswerten lassen würde. Um die Änderungen oben genannter Überzeugungen im Zusammen-hang mit einer Lehrveranstaltung zu erfassen, wurde der Fragebogen im Prätest-Posttest-Design eingesetzt. Die isolierte Auswertung des Prätests dient dazu, generell die Überzeugun-gen und SelbstwirksamkeitseinschätzunÜberzeugun-gen der Befragten zu erheben und in Beziehung zu einander und zu den oben erwähnten Persönlichkeitsmerkmalen zu setzen. Um eine gewisse Langzeitwirkung der evaluierten Lehrveranstaltungen zu erfassen, wäre ein Follow-Up-Test notwendig, der wie der Posttest aufgebaut ist, aber nach einer Zeitspanne von mehreren Wo-chen oder gar Monaten durchgeführt wird. Er hätte Erkenntnisse über die Stabilität von erziel-ten Veränderungen geliefert. Darauf ist aus zwei Gründen verzichtet worden: Erserziel-tens ist die praktische Umsetzbarkeit eines solchen Folgetests bei Studierenden nicht gegeben, da diese nach Abschluss der Lehrveranstaltung kaum noch für eine Befragung verfügbar sind. Zwei-tens lag der Schwerpunkt der Untersuchung darauf, ein möglichst breites Spektrum an ver-schiedenen Lehrveranstaltungen evaluieren zu können, um unterschiedliche Merkmalsausprä-gungen zu erfassen und eventuell auf die Veränderung von berufsbezogenen ÜberzeuMerkmalsausprä-gungen beziehen zu können. Eine tiefergehende Längsschnittuntersuchung einzelner Lehrveranstal-tungen könnte in weiteren Arbeiten mit anderer Schwerpunktsetzung durchaus sinnvoll sein.
Überzeugungsbeeinflussende Veranstaltungsmerkmale - unabhängige Variablen
Die festgelegten und untersuchten Merkmale, die für eventuelle Änderung von Überzeuggen bezüglich Freilandarbeit als verantwortlich eingeschätzt werden könnten, stellen die un-abhängigen Variablen dar. Sie lassen sich folgenden Gruppen zuordnen:
Struktur (z. B. Veranstaltungsrhythmus, Schülereinbindung)
Lernorte (z. B. Freiland/Labor/Seminarraum, Entfernung von der Hochschule)
Methoden (z. B. Eigenaktivität, Selbstorganisation)
Die Erhebung dieser Merkmale erfolgte mit einem Fragebogen für die Dozentin, der jeweils nach Abschluss der Lehrveranstaltung auszufüllen war. Neben den oben aufgeführten Merk-malsgruppen wurde nach angewendeten Arbeitsmethoden auf didaktischer und biologischer Ebene gefragt, ebenso nach Störungen, die im Verlauf der Lehrveranstaltung auftraten und behoben werden mussten.
Evaluationsergebnisse – intervenierende Variablen
Ein Evaluationsbogen für die Studierenden umfasst bestimmte Bewertungsitems zu den Vari-ablen „Dozentin“, „Inhalte“ und „Strukturiertheit“. Die Ergebnisse des Bogens nehmen daher
Kapitel 4 – Forschungsdesign und Untersuchungsmethoden
62
eine Doppelfunktion von abhängigen und unabhängigen Variablen ein: Als Bewertungsergeb-nisse sind sie zunächst von den tatsächlichen Gegebenheiten in der Lehrveranstaltung abhän-gig und immer subjektiv gefärbt. Darüber hinaus geben sie jedoch Aufschluss über bestimmte unabhängige, anders nicht beobachtete oder beobachtbare Variablen und können sich auch als ursächlich für eine Veränderung in den berufsbezogenen Überzeugungen erweisen. Bei-spielsweise wird eine Lehrveranstaltung möglicherweise von den Studierenden als sehr un-strukturiert empfunden, was objektiv schlecht oder nur mit großem Aufwand zu erheben wä-re. Gleichzeitig könnte dieses Empfinden mit dafür verantwortlich sein, dass Freilandarbeit im Unterricht von diesen Studierenden im Prä-Postvergleich als weniger effektiv eingeschätzt wird. Die eingeschätzte Strukturiertheit der Lehrveranstaltung stellt somit eine intervenieren-de, also vermittelnde Variable zwischen objektiven Veranstaltungsmerkmalen und der Ände-rung berufsbezogener Überzeugungen dar.
Störvariablen und personenbezogene Variablen
Als Störvariablen werden solche Einflussfaktoren bezeichnet, die die Größe des Fehlervari-anzanteils bei der Zusammenhangsuche ausmachen (Bortz 1999). Sie bewirken Streuungen der Messwerte, die nicht auf den Untersuchungsaufbau zurückzuführen sind. Dazu zählen im Wesentlichen personenbezogene Größen wie Alter, Geschlecht, Sozialisation etc. der Proban-dinnen sowie untersuchungsbezogene Größen, die durch Fehler bei der Datenerhebung ent-stehen. Um ihren Einfluss abschätzen zu können, sind einige leicht abfragbare personenbezo-gene Variablen erhoben worden: das Alter, das Geschlecht, das Studienfach, der Pflicht- bzw.
Wahlpflichtstatus, in dem die Veranstaltung besucht wird, und die Vorerfahrungen mit uni-versitärer Freilandarbeit.
Einen Überblick über die erhobenen Variablen gibt Abb. 7.
Abbildung 7: Untersuchungsvariablen und deren möglichen Zusammenhänge
unabhängige Variablen intervenierende Variablen
Merkmale der Lehrveranstaltung:
Struktur (Zeitrahmen, Block ...)
Lernorte
Methodik
Inhalte
Bewertung ...
des Dozentenverhaltens
der Inhalte
der Strukturiertheit
der Methodik personenbezogene Variablen abhängige Variablen
Alter
Geschlecht
Studienfach
Pflicht/Wahlpflichtteilnahme
Vorerfahrung
Naturbezug
Kompetenzeinschätzung
Einschätzung von Wirkung und
Machbarkeit von FL-Arbeit ... und deren Änderungen
Kapitel 4 – Forschungsdesign und Untersuchungsmethoden
63 4.2.3 Untersuchungsdesign
Die Heterogenität dieser Variablengruppen macht für deren Erhebung den Einsatz verschie-dener Instrumente notwendig. Zur Anwendung kamen daher insgesamt vier Erhebungsin-strumente, die durch ihre Verschiedenheit in Zielgruppe und Methodik die Erfassung der be-rufsbezogenen Überzeugungen und der Lehrveranstaltungsmerkmale gewährleisten sollten:
a) Ein Überzeugungsfragebogen für Studierende im Prä-Posttest,
b) ein Evaluationsbogen für Studierende nach Abschluss der Veranstaltung, c) ein Fragebogen für Dozentinnen und
d) eine leitfadengestützte Beobachtung in den Kursen.
Eine schematische Darstellung der Vorgehensweise bei der Evaluation liefert Abb. 8.
Die Evaluation einer genügend großen Anzahl von Lehrveranstaltungen, in denen die Ände-rungen der Überzeugungen der Studierenden mit den Veranstaltungsmerkmalen in Beziehung gesetzt wurden, ließ auf eine bestimmte Regelhaftigkeit hoffen. Einzelne Merkmale könnten sich schließlich als günstig oder aber weniger günstig für die positive Veränderung der Über-zeugungen in Bezug auf die Bereitschaft, im späteren Berufsalltag Freilandarbeit durchzufüh-ren, erweisen.
Im Folgenden sind die drei Erhebungsinstrumente zur Erfassung der Lehrveranstaltungs-merkmale im Einzelnen beschrieben. Alle Fragebögen sowie der Beobachtungsleitfaden sind im Anhang einsehbar.
Lehrveranstaltung
?
Erfassung von Überzeugungsveränderungen
Erfassung von Merkmalen der Lehrveranstaltung
Prätest Posttest
Beobach-tung Befragung Befragung
Studierende Studierende
Dozentin
Abbildung 8: Schematische Darstellung des Untersuchungsdesigns.
Auf die gleiche Weise wurden Lehrveranstaltungen mit hohem Freilandanteil und Kontrol-len ohne Freilandarbeit bzw. nichtdidaktische Freilandveranstaltungen evaluiert.
Kapitel 4 – Forschungsdesign und Untersuchungsmethoden
64 Evaluationsbogen Studierende
Dieser einseitige Fragebogen, der gemeinsam mit dem Posttest bearbeitet wurde, erfragt eine eigene Beurteilung der Lehrveranstaltungen durch die Studierenden. Interessante Parameter waren dabei die Wirkung der Dozentin, die Bewertung von inhaltlichen und methodischen und strukturellen Aspekten der Veranstaltung sowie ein generelles Urteil, ob für den späteren Berufsalltag Relevantes gelernt wurde. Diese subjektiv durch die Studierenden gefärbten Merkmale von Lehrveranstaltungen üben möglicherweise einen ähnlich großen, wenn nicht sogar größeren Einfluss auf die Änderung der berufsbezogenen Überzeugungen bei den Stu-dierenden aus, als die im Dozentenbogen abgefragten Merkmale und objektiven Rahmenbe-dingungen, wie Inhalt, Struktur und Methodik im Kurs. Ihre Erfassung ist letztlich nur durch das anonyme Urteil der „Betroffenen“, der Studierenden, möglich. Die Entstehung und Test-güte des Evaluationsbogens ist unter Kapitel 3.5 dargestellt.
Dozentenbogen
In einem Fragebogen an die Dozentin gibt diese Auskunft über strukturelle Merkmale wie den Veranstaltungsrhythmus und die Veranstaltungsform, über die aufgesuchten Lernorte, die eventuelle Beteiligung von Schülerinnen oder externen Referentinnen, und die geforderte Prü-fungsleistung. Darüber hinaus werden methodische Merkmale wie die Eigenständigkeit der Studierenden in Bezug auf die Themenwahl und die Beschaffung von Material abgefragt, so-wie die thematische Schwerpunktsetzung und besondere Vorkommnisse und Zwischenfälle im Verlauf der Lehrveranstaltung. Die Struktur des Fragebogens ist in Kapitel 3.6 erläutert.
Beobachtung
An mindestens einem Veranstaltungstermin wurde eine Beobachtung vorgenommen, die Auf-schluss über atmosphärische, didaktisch strukturelle, örtliche und inhaltliche Merkmale der Veranstaltung geben sollte. Dafür ist ein Leitfaden mit 26 einzelnen Beobachtungsmerkmalen angefertigt worden, die – falls an dem ausgesuchten Termin möglich – anhand einer vierstufi-gen Rating-Skala bewertet wurden. Der zeitliche Ablauf, die aufgesuchten Lernorte und die Sozialform der Lerngruppe wurden tabellarisch erfasst. Außerdem wurden Bemerkungen no-tiert, die das fachliche Niveau, die didaktische Ausführung, die verwendeten Materialien, die Art der Wissensvermittlung, die didaktische Strukturierung und sonstige Aspekte betreffen, um den Leitfaden zu ergänzen. Die Besuche dienen als Interpretationshilfe für die Auswer-tung von Evaluationsbogen und Dozentenbogen. Entstehung und Inhalt des Leitfadens sind in Kap. 4.8 dargestellt.