8. Auswertungsmethoden
8.1 Pädagogisches Experiment
8.1.3 Entwicklung der Beurteilungsbogen
Für die Entwicklung der Beurteilungsbogen als Befragungsinstrumente in Form von Selbst- und Fremdeinschätzungsbogen zur Erfassung beruflicher Handlungskompetenz von Auszu-bildenden im Rahmen des pädagogischen Experiments im berufsbezogenen Unterricht der Berufsschule wurden in Kapitel 7.1.2 Kriterien beruflicher Handlungskompetenz von Land-schaftsgärtnern formuliert und in Kapitel 7.1.3 als Merkmale (Items) beschrieben, mit deren Hilfe
… während der Bearbeitung der offenen Testaufgaben Verhalten beobachtet,
… während der Präsentation das Gespräch als mündliches Produkt beurteilt und
… nach Ende der Bearbeitung die schriftlichen Produkte bewertet werden können.
Die Endfassung der Beurteilungsbogen enthält 70 Items aus den acht Kategorien beruflicher Handlungskompetenz bei Landschaftsgärtnern zu den unterschiedlichen Dimensionen beruf-licher Handlungskompetenz Fach-, Selbst- und Sozialkompetenz (vgl. Tab. 24 bis 26).
Die einzelnen Merkmale (Items) selbst sowie ihre Ausprägungsgrade sind auf einem Begleit-bogen „Kriterien beruflicher Handlungskompetenz in der Berufsausbildung zum Gärtner/zur Gärtnerin, Fachrichtung Garten- und Landschaftsbau, am Lernort Berufsschule
(Merkmals-ausprägung)“ als Langtext detailliert ausformuliert. Diese Übersicht gehört unmittelbar zum Beurteilungsbogen und ging Ratern, Fachlehrkräften und Versuchspersonen vor Beginn des pädagogischen Experiments zur Schulung zu. Auf dem Beurteilungsbogen selbst sind mit dem Ziel der Übersichtlichkeit die in Kurzform dargestellten Merkmale verwendet. Die jeweiligen dreistelligen Zahlencodes verweisen auf die Item-Nummer, die auch später bei der Auswer-tung verwendet wurde.
Bei der Formulierung der Items wird bewusst auf die Verwendung des Modalverbs „können“
verzichtet, welches auf Beobachtungs-, Beurteilungs- und Bewertungsbogen sowohl für den schulischen als auch für den außerschulischen Bereich der Berufsbildung regelmäßig verwen-det wird. Diese Entscheidung beruht auf Vorerfahrungen beim Einsatz von Evaluationsbogen, bei denen Lehrende und Lernende nicht gezeigte Leistungen positiv mit der Begründung ein-schätzen, „wenn er/ich gewollt hätte, hätte er/ich es gekonnt.“ Die möglichst ausschließliche Benutzung von Vollverben soll zu einer ehrlichen Einschätzung beitragen.
Der hier entwickelte Beurteilungsbogen wird im pädagogischen Experiment als Beobach-tungsbogen bei den unabhängigen Ratern zur Fremdeinschätzung und mit dem Ziel der Vali-dierung bei den Versuchspersonen als Selbsteinschätzungsbogen eingesetzt, um gezeigte Lernhandlungen und erzielte Lernergebnisse im Rahmen der Testaufgaben mehrfach unab-hängig zu messen. Selbst- und Fremdeinschätzungsbogen enthalten dieselben Items. Der Un-terschied besteht lediglich in der grammatischen Person (1. Person: „Ich-Formulierung“ bzw.
3. Person: „Der Schüler-Formulierung“). Um Verwechslungen auszuschließen, werden die zweiseitigen Beurteilungsbogen für die Erprobung im pädagogischen Experiment auf unter-schiedlich farbigem Papier gedruckt.
Jedes Merkmal (Item) wird auf Grundlage der einheitlichen Beschreibung durch verschiedene Ausprägungsgrade charakterisiert. Die Anzahl gerader Skalenwerte soll sowohl bei der Beobachtung (Fremdeinschätzung) als auch bei der Befragung (Selbsteinschätzung) eine Ten-denz zur Mitte vermeiden. Die Vierer-Skalierung vermeidet ihrerseits eine irreführende Zuordnung zum Notensystem. Die Skalen enthalten mit „immer“, „fast immer“, „meistens“
und „in der Regel“ bewusst positive Ausprägungen, da bei der Vorerprobung die negative Ausprägung „nicht“ selten angekreuzt wurde. Die Skalierung orientiert sich gleichzeitig am Beispiel des Bundeslandes Nordrhein-Westfalen, wo seit der Einführung von verpflichtenden Aussagen über das Arbeits- und Sozialverhalten in Form von Zeugnisnoten die Beurteilungen
allein nach „sehr gut“, „gut“, „befriedigend“ und „ausreichend“ zu treffen sind31 und sie beachtet die Zuordnung dreijähriger Berufsausbildungen in das DQR-Niveau 432.
Prozessbeurteilung
Während die Versuchspersonen die Testaufgabe bearbeiten, beobachten zwei bis drei Rater die Handlungen der Auszubildenden. Sie notieren sich gemäß dem Fremdeinschätzungsbogen ihre Beobachtungen und treffen nach Abschluss des Prozesses eine endgültige Wertung (s. Tab. 24).
Tab. 24: Fremdeinschätzungsbogen für den Prozess (vgl. HASS 2011, S. 11 f.)
2 Zielorientierung imme
r fast immer meistens in der Regel
4 Interesse, Initiative, Identifikation imme
r fast immer meistens in der Regel
20 1
Der Schüler beginnt mit der Bearbeitung der Aufgabe … sofort.
40 5
Der Schüler nutzt die Informationsquel-len zur Bearbeitung der Aufgabe … in vollem Umfang.
20 4
Der Schüler geht bei der Bearbeitung der Aufgabe … systematisch vor.
40 8
Der Schüler zeigt bei der Bearbeitung der Aufgabe … Selbstvertrauen.
20 6
Der Schüler erledigt die Arbeitsaufträge
… zügig.
40 9
Der Schüler lässt sich bei der Bearbeitung der Aufgabe … nicht durch Störungen ablenken.
20 7
Der Schüler geht im Team … ar-beitsteilig vor, um eine vollständige Lösung termingerecht zu entwickeln.
41 0
Der Schüler arbeitet … ohne Unterbre-chung an der gestellten Aufgabe.
20 8
Der Schüler entnimmt Informationen … zielgerichtet.
41 1
Der Schüler löst die Aufgabe … aus eigenem Antrieb (= ohne Anschub durch andere Personen).
6 Kooperationsbereitschaft 5 Verantwortungsbewusstsein
60 1
Der Schüler bringt sich … mit eigenen Erfahrungen und Wissen in ein Team zum Lösen einer Aufgabe ein.
50 1
Der Schüler ist … pünktlich im Unter-richt.
60 2
Der Schüler übernimmt nach Abstim-mung im Team … die Bearbeitung von (Teil-) Aufgaben.
50 2
Der Schüler bringt … die benötigten Arbeitsmaterialien zu seinem Berufs-schulunterricht mit.
60 7
Der Schüler ist seinen Mitschülern ge-genüber … hilfsbereit.
50 4
Der Schüler geht mit eigenen Materia-lien … so sorgfältig um, dass sie weiter zu verwenden sind.
61 0
Der Schüler tauscht … seine Ergebnisse mit anderen aus.
50 5
Der Schüler geht mit fremden Materia-lien … so sorgfältig um, dass sie weiter zu verwenden sind.
60 8
Der Schüler legt … seine Ergebnisse anderen offen dar.
50 6
Der Schüler gestaltet seinen Arbeitsplatz
… so, dass er die Aufgabe optimal lösen kann.
31 Die versetzungsrelevanten Noten „mangelhaft“ und „ungenügend“ entfallen auf Empfehlung des Landesaus-schusses für Berufsbildung des Landes NRW bei Aussagen zum Arbeits- und Sozialverhalten (vgl. § 49 Abs. 2 SchulG NRW).
32 DQR-Niveau 4: „Über Kompetenzen zur selbständigen Planung und Bearbeitung fachlicher Aufgabenstel-lungen in einem umfassenden, sich verändernden Lernbereich oder beruflichen Tätigkeitsfeld verfügen.“
(BMBF 2011, S. 6).
61 1
Der Schüler gibt … seine Kenntnisse an andere weiter.
50 8
Der Schüler hält sich … an vereinbarte Regeln (= Schul- und Hausordnung, Klassenregeln).
61
8 Der Schüler fördert … den Teamgeist. 5
09
Der Schüler organisiert … die Arbeit im Team.
61 4
Der Schüler gibt (bei Präsentationen) Feedback … sachlich fair.
51 0
Der Schüler übernimmt … Verantwor-tung für vereinbarte (Teil-) Aufgaben.
3 Selbstständigkeit 7 Umgang- und Verhalten
30 2
Der Schüler nutzt Informationsquellen zur Informationsbeschaffung … selbst-ständig.
70 2
Der Schüler nimmt mit einer Autoritäts-person … unbefangen und aufgeschlossen Kontakt auf.
30 6
Der Schüler fertigt maßstäbliche Skizzen
… selbstständig an.
70 3
Der Schüler ist im Umgang mit seinen Mitschülern … offen.
30 7
Der Schüler beschreibt Arbeitsschritte für landschaftsgärtnerische Arbeiten … selbstständig.
70 4
Der Schüler ist seinen Mitschülern ge-genüber … rücksichtsvoll.
30 8
Der Schüler berechnet den Materialbe-darf mit den zur Verfügung stehenden Mitteln … selbstständig.
70 8
Der Schüler ist gegenüber anderen Perso-nen … respektvoll.
30 9
Der Schüler trifft eine Pflanzenauswahl mit den zur Verfügung stehenden Mitteln
… selbstständig.
31 1
Der Schüler führt während und nach der Bearbeitung der Aufgabe Selbstkontrol-len zur Überprüfung der Ergebnisse … selbstständig durch.
Die 36 Items der Prozessbeurteilung sind übersichtlich nach Kriterien geordnet auf der Vorderseite des Beurteilungsbogens aufgeführt. Die Bewertung mündlicher und schriftlicher Produkte erfolgt auf der Rückseite des Bogens.
Produktbewertung
Gleiches Beobachtungsverfahren gilt für das mündliche Produkt der Präsentation in Form eines Kundengesprächs und eines Gesprächs zwischen Auszubildenden und Vorgesetzten.
Da sich diese Form der Präsentation nicht wiederholen lässt, muss der Beurteilungsbogen die situative Bewertung aus Sicht der Rater erfassen. Deshalb wird zwecks leichterer Anwend-barkeit auf die Bezeichnung der Kriterien in Form von Zwischenüberschriften verzichtet.
Die Items sind sequentiell angeordnet und nicht nach Kriterien zusammengefasst (s. Tab. 25).
Dies gilt auch für die Reihenfolge der Items zur Bewertung der schriftlichen Produkte (s. Tab. 26) sowie für die Selbstevaluation der Versuchspersonen, da diesen so die Fertigstel-lung der Arbeitsergebnisse Schritt für Schritt vor Augen geführt wird.
Tab. 25: Fremdeinschätzungsbogen für ein Gespräch (mündliches Produkt) (vgl. HASS 2011, S. 12)
immer fast immer meistens in der Regel immer fast immer meistens in der Regel
41 5
Der Schüler präsentiert seine Arbeitser-gebnisse … freiwillig.
70 6
Der Schüler hört seinem Gesprächs-partner … aktiv zu (= hört aufmerksam zu, geht auf ihn ein und stellt bei Bedarf Fragen).
80
1 Der Schüler spricht … frei. 7
07
Der Schüler lässt seine Gesprächspartner
… ausreden und unterbricht sie nicht.
80 2
Der Schüler redet … so laut und deutlich (= ohne zu nuscheln), dass ihn alle Ge-sprächspartner verstehen können.
71 3
Der Schüler ist … höflich und freund-lich.
80 3
Der Schüler spricht … verständlich in ganzen Sätzen, die sprachlich korrekt formuliert sind.
10 3
Der Schüler wendet Fachsprache … richtig an.
80 5
Der Schüler präsentiert seine Arbeitser-gebnisse … Medien unterstützt.
12 6
Der Schüler entwickelt für die gestellte Aufgabe … eine funktionsgerechte Lösung.
80 6
Der Schüler drückt sich seinem Ge-sprächspartner gegenüber … angemessen aus.
12 9
Der Schüler präsentiert seine Arbeitser-gebnisse … fachlich richtig.
80 8
Der Schüler präsentiert seine Arbeitser-gebnisse … aufrecht sitzend/gerade stehend.
21 3
Der Schüler fasst die wesentlichen Er-gebnisse der gestellten Aufgabe … voll-ständig zusammen.
80 9
Der Schüler hält während der Präsentation seine Hände … sichtbar.
31 2
Der Schüler beurteilt … eigene Lösun-gen kritisch auf Funktionalität.
70 5
Der Schüler hält im Gespräch … Blick-kontakt zu dem jeweiligen Gesprächs-partner.
31 3
Der Schüler bewertet sein Arbeitser-gebnis … im Verhältnis zum Aufwand.
Tab. 26: Fremdeinschätzungsbogen für die schriftlichen Produkte (vgl. HASS 2011, S. 12 f.)
immer fast immer meistens in der Regel immer fast immer meistens in der Regel
10 7
Der Schüler ermittelt Originalgrößen aus Plandarstellungen unterschiedlichen Maßstabs … fehlerfrei.
11 6
Der Schüler ermittelt den Materialbedarf unter Anwendung von Formeln … fehler-frei.
11 0
Der Schüler berechnet die Flächen unter Anwendung der entsprechenden Formeln
… fehlerfrei.
12 5
Der Schüler ermittelt den Materialpreis unter Anwendung von Formeln … fehler-frei.
11 1
Der Schüler fertigt Skizzen … maßstäb-lich korrekt an.
21 2
Der Schüler dokumentiert … nach der Bearbeitung der Aufgabe die Endergeb-nisse nachvollziehbar.
11 3
Der Schüler legt die erforderlichen Ar-beitsschritte für landschaftsgärtnerische Arbeiten in chronologischer Reihenfolge
… richtig fest.
21 4
Der Schüler wird mit der Bearbeitung der Aufgabe … fristgerecht fertig.
11 4
Der Schüler wählt Maschinen, Geräte und Werkzeuge für landschaftsgärtneri-sche Arbeiten … fachlich richtig aus.
41 2
Der Schüler zeigt Leistungsbereitschaft, indem er über die Aufgabenstellung hinaus … auch die Zusatzaufgabe löst.
11 5
Der Schüler beachtet … die Vorschriften für Sicherheit und Gesundheit bei landschaftsgärtnerischen Arbeiten.
41 4
Der Schüler bearbeitet die Aufgabe … auf einem hohen Niveau.
12 3
Der Schüler schreibt die botanischen Namen unter Berücksichtigung der binären Nomenklatur … richtig.