Auswertung des Prätests „AZUBI-TH“

Die Auswertung der „AZUBI-TH“ ist manuell erfolgt. Dabei stellte das „MANUAL“ der

„AZUBI-TH“ (GÖRLICH & SCHULER 2007a) aufgrund der sehr ausführlichen und konkre-ten Beschreibung ein hohes Maß an Auswertungsobjektivität sicher. Mithilfe der Lösungs-schablonen wurden zunächst die Rohwerte ermittelt.

Während die Einzelergebnisse der Aufgabengruppen „Grundrisse berechnen“ und „technische Probleme lösen“ für die Fähigkeitsbereiche „Rechenfähigkeit“ und „technisches Verständnis“

addiert wurden, wurden die Aufgabengruppen „Bleche fertigen“ und „Holzteile sortieren“

unter „räumliches Vorstellungsvermögen“ summiert verrechnet. Für die Aufgabe „Bericht

korrigieren“ („Rechtschreibkenntnisse“) wurde der halbierte Rohwert benutzt, da die Progno-sekraft hinsichtlich des Ausbildungs- und Berufserfolgs erhöht wird, wenn diese Aufgabe mit halbem Gewicht in den Gesamtwert der „AZUBI-TH“ eingeht (vgl.GÖRLICH & SCHULER 2007a, S. 28).

Die Addition ergibt den Gesamtleistungswert. Es folgte die Umwandlung in Standardwert (SW) und Prozentrang (PR)⁴⁵. Die Umrechnung in Standardwerte ermöglicht es, Ergebnisse aus den verschiedenen Aufgabengruppen direkt miteinander oder mit dem Ergebnis im Gesamttest zu vergleichen. Anschließend kann über den Mittelwert ein Profildiagramm einer jeden Versuchsperson erstellt werden. Dazu können die Rohwerte in das auf dem Antwort-bogen aufgedruckte Auswertungsdiagramm übertragen werden.

Mittelwert und Standardabweichung

Mithilfe der „AZUBI-TH“ sollen die Fähigkeiten der einzelnen Versuchspersonen und die Leistungen der Versuchsgruppe insgesamt mit vergleichbaren Berufsschulgruppen quantitativ verglichen werden. Dazu werden Standardwerte berechnet, wobei der Gesamtleistungswert eines jeden Probanden in der Eichpopulation ins Verhältnis zur mittleren Leistung gesetzt wird. Die Standardwerte der Eichpopulation der „AZUBI-TH“ haben bei durchschnittlicher Leistung einen Mittelwert (MW) von 100 und eine Standardabweichung (SD) von 10 (vgl. GÖRLICH & SCHULER 2007a, S. 33 und S. 114).

Tab. 45: Mittelwert der „AZUBI-TH“ für Berufsschüler nach Standardisierung an der Gesamtnormgruppe

Gruppen N technisches

Verständnis räumliche

Vorstellung⁴⁶

Rechen-fähigkeit

Rechtschreib-kenntnisse AZUBI-TH (gesamt)

Versuchsgruppe Hass 319 96,53 93,79 98,14 98,52 95,41

Normgruppe 1 333 98,46 98,00 98,84 96,05 97,42

Normgruppe 2 834 101,89 101,70 102,00 99,96 101,87

Normgruppe 3 54 103,97 107,57 99,63 109,24 106,33

Normgruppe 4 446 107,64 107,52 107,02 105,22 108,83

Gesamtnormgruppe 1.667 102,81 102,71 102,64 100,89 103,00

45 Die Arbeit mit Prozenträngen wurde zu Gunsten geeigneter Auswertungsverfahren nicht weiter verfolgt.

46 Der Fähigkeitsbereich „räumliches Vorstellungsvermögen“ wird aus Platzgründen in den tabellarischen Dar-stellungen als „räumliche Vorstellung“ ausgewiesen.

Die Tabelle 45 spiegelt die Leistungen der Versuchsgruppe „Hass“⁴⁷ (N = 319) im Vergleich zur Gesamtnormgruppe Berufsschüler (N = 1.667) im Allgemeinen und zur Normgruppe 1 (N = 333) im Speziellen wider. Der Vergleich mit der Normgruppe 1 ist hier am ehesten maß-geblich; denn er bezieht sich auf handwerkliche Berufe (Maurer, Beton- und Stahlbauer, Holzbearbeitungsmechaniker), die dem Tätigkeitsprofil eines Landschaftsgärtners weit eher entsprechen als Technische Zeichner und Mediengestalter in Normgruppe 3 oder Industrie-elektroniker und Fachinformatiker in Normgruppe 4.

Grundsätzlich zeigt sich varianzanalytisch ein allgemein signifikanter Unterschied zwischen den erbrachten Leistungen der Berufsschüler der unterschiedlichen Ausbildungsrichtungen in der „AZUBI-TH“. Mit aufsteigender Berufsschulnormgruppe steigt auch das durchschnittli-che Testergebnis. Die Leistungen der an der „AZUBI-TH“ teilnehmenden Versuchspersonen der Versuchsgruppe „Hass“ sind eindeutig unterdurchschnittlich (MW = 95,41; SD = 10). Sie liegen zwar innerhalb der Standardabweichung der Gesamtpopulation (SD = 10), aber der Stichprobenfehler ist für diese Gruppe⁴⁸ im Vergleich zur Berufsschulnorm (Gesamtgruppen-norm) grundsätzlich schlechter (MW = 103,00). Im Vergleich der Leistungen zur Normgruppe 1 (Maurer, Metallbauer) erbrachten die Versuchspersonen vergleichbare Leistungen (MW = 97,42).

Effektstärke

Statistische Signifikanztests sind oft nicht der adäquate Maßstab, um die Relevanz von Unter-suchungsergebnissen zu beurteilen. Hierfür eignen sich eher Maße für die so genannte

„Effektstärke“. Die bekannteste Methode zur Berechnung der Effektstärke ist C^OHEN’s d.

Der Koeffizient d wird über Mittelwerte und Standardabweichung gebildet:⁴⁹

𝑑𝑑 = 𝑀𝑀𝑀𝑀1− 𝑀𝑀𝑀𝑀2

𝑆𝑆𝑆𝑆

47 Die in Kapitel 9.2.1 als Stichprobe definierten Versuchspersonen werden im Folgenden als Gruppe „Hass“

zusammengefasst. Aufgrund von Krankheit, Praktika, überbetrieblicher Ausbildung, u. Ä. konnten jedoch nicht immer alle Versuchspersonen an allen sechs Messzeitpunkten teilnehmen, weshalb die Anzahl variiert.

48 Um einen Anhalt für den Standardstichprobenfehler (ses = standard error of sampling) zu geben, wird hier kontrafaktisch von einer einfachen Zufallsstichprobe ausgegangen und der Fehler nach ses=sd/√n berechnet:

ses=10/√319 = 10/17,9 = 0,56. Die Versuchsgruppe „Hass“ ist insgesamt etwa 4 ses von der Normgruppe 1 zu ihren Ungunsten entfernt, was höchst signifikant ist. Ein signifikanter Unterschied liegt i. d. R. erst dann vor, wenn der Unterschied größer als der doppelte ses ist.

49 Die Definitionen variieren: z. T. wird empfohlen, die größere der beiden Standardabweichungen als Refe-renzwert zu wählen, zumeist aber, die gesamte/gemeinsame Standardabweichung der beiden Gruppen.

Der Koeffizient d gibt somit die Größe des Effekts bezogen auf die Standardabweichung an.

Nach C^OHEN (1988) gilt:

- │d │ < 0,20 als vernachlässigender, - 0,20 < │d │< 0,50 als kleiner, - 0,50 < │d │ < 0,80 als mittlerer und - │d │> 0,80 als großer Effekt.

Tab. 46: Effektstärke der „AZUBI-TH“ für Berufsschüler (berechnet nach COHEN 1988)

Gruppen N technisches

Verständnis räumliche

Vorstellung

Rechen-fähigkeit

Rechtschreib-kenntnisse AZUBI-TH (gesamt) Versuchsgruppe Hass 319 - 0,35 - 0,62 - 0,19 - 0,15 - 0,46

Normgruppe 1 333 - 0,15 - 0,20 - 0,12 - 0,40 - 0,26

Normgruppe 2 834 + 0,19 + 0,17 + 0,20 - 0,00 + 0,19

Normgruppe 3 54 + 0,40 + 0,76 - 0,04 + 0,92 + 0,63

Normgruppe 4 446 + 0,76 + 0,75 + 0,70 + 0,52 + 0,88

Gesamtnormgruppe 1.667 + 0,28 + 0,27 + 0,26 + 0,09 + 0,30

Dass die Leistungen der Versuchsgruppe „Hass“ im Vergleich zur Normgruppe 1 und zur Berufsschulnorm (Gesamtgruppennorm) insgesamt schlechter sind, wird durch die Berech-nung der Effektstärke relativiert: sowohl in den drei Fähigkeitsbereichen „technisches Verständnis“, Rechenfähigkeit“ und „Rechtschreibkenntnisse“ als auch in der „AZUBI-TH (gesamt)“ erzielte die Versuchsgruppe „Hass“ nahezu vergleichbare Leistungen, da die berechneten Effekte eher klein sind.

Die Ausnahme stellt der Fähigkeitsbereich „räumliches Vorstellungsvermögen“ (d = -0,62) mit einem mittleren Effekt dar. Die Effektstärke d = -0,62 bedeutet hier, dass die Differenz der Versuchsgruppe „Hass“ zu den Normgruppen fast zwei Drittel der Standardabweichung beträgt. Damit wird der Versuchsgruppe „Hass“ in diesem Prätest „AZUBI-TH“ doch vergleichsweise deutlich ein mangelndes räumliches Vorstellungsvermögen attestiert.

Ergebnis der Auswertung des Prätests „AZUBI-TH“

Die Eignung der am pädagogischen Experiment teilnehmenden Versuchspersonen kann im Vergleich mit der Normgruppe 1 als gegeben angesehen werden. Zwischen den Teilnehmern am Prätest „AZUBI-TH“ (N = 319) und der Gesamtheit der Versuchspersonen im pädagogi-schen Experiment (N = 353) dürfte angesichts der Rücklaufquote von 90,3 % kein großer Unterschied bestehen. Also kann davon ausgegangen werden, dass es sich bei den Teil-nehmern am pädagogischen Experiment um eine durchschnittlich Auswahl von Auszubilden-den zum Gärtner, Fachrichtung Garten- und Landschaftsbau, handelte.