D ATENAUSWERTUNG UND STATISTISCHE T ESTMETHODEN

Mit Hilfe dieses Beurteilungsschemas konnte für jede vorliegende Lösung ein valider Gesamtwert der Lösungsgüte ermittelt werden.

liegen-Bei der Untersuchung monotoner Zusammenhänge zwischen zwei Variablen wird der nichtparametrische Rangkorrelationskoeffizient Kendall τ bestimmt, der geringere Anfor-derungen an das Datenmaterial als Spearman ρ stellt, da letzterer nur dann valide Er-gebnisse liefert, wenn die Merkmalsabstände äquidistant sind. Dieses muss bei ordina-len Daten zusätzlich inhaltlich gerechtfertigt werden. Kendall τ verarbeitet hingegen rein ordinale Informationen.

Um z.B. Unterschiede in der Bandbreite von Häufigkeitsverteilungen zwischen zwei oder mehr Gruppen zu untersuchen, wird auf ordinalem und metrischem Datenniveau (als einziges verteilungsbasiertes Verfahren) zusätzlich der Levené-Test auf Homogenität der Varianzen benutzt.

Tabelle 4-7 gibt einen Überblick über die eingesetzten Testverfahren.

Tabelle 4-7: Übersicht über eingesetzte statistische Testverfahren Art der

Daten

Auswerteziel Fall Methode

Vergleich zweier unabhängiger Stichproben mit 2-fach gestuften Merkmalen

alle exakter Fisher-Test

nominal

Vergleich zweier unabhängiger Stichproben bei k-fach gestuften Merkmalen

alle exakter Fisher-Test

Fallzahl beider Stichproben ≥ 8 U-Test nach Mann-Whitney

Vergleich zweier unabhängiger Stichproben

Fallzahl einer Stichprobe < 8 oder

größere Stichprobe mehr als doppelt so groß wie kleinere Stichprobe

Mediantest und

H-Test nach Kruskal

& Wallis

Vergleich mehrerer unabhängiger Stichproben

alle Mediantest/

H-Test nach Kruskal

& Wallis monotone Korrelation zweier ordinaler

oder metrischer Variablen

alle Kendall τ

ordinal/

metrisch

Vergleich zweier oder mehrerer Stichproben auf Homogenität der Varianzen

alle medianbasierter Levené-Test

Von einem formal-methodischen Blickwinkel aus kann gefordert werden, dass bei der Untersuchung von Unterschieden in Merkmalsausprägungen zwischen mehr als zwei Untersuchungsgruppen zunächst Haupteffekte durch globalen Vergleich über alle Grup-pen untersucht werden und nur bei so nachgewiesenen signifikanten Haupteffekten eine detaillierte Untersuchung von paarweisen Kontrasten zwischen den Untersuchungs-gruppen gerechtfertigt werden kann. In der vorliegenden Studie sprechen dagegen

den Werte, was zu einer systematischen Verfälschung der Ergebnisse führt. Die korrekte Vorgehensweise ist hier, solche Werte bei der Auswertung nicht zu berücksichtigen (vgl. BORTZ &LIENERT 1998, S. 123). Dieses Vorgehen wurde in der vorliegenden Arbeit gewählt.

doch starke inhaltliche Argumente: Bei der verlaufsorientierten Untersuchung von Aus-bildungsfortschritten gibt es z.T. entgegengesetzt gerichtete Hypothesen, die zwischen einzelnen Untersuchungsgruppen unterschiedliche Merkmalsausprägungen erwarten lassen, zwischen anderen dagegen keine. So wird z.B. typischerweise erwartet, dass eine „frische“, rein theoretisch vermittelte konstruktionsmethodische Ausbildung keine handlungswirksamen Effekte zeigt, eine in praktischer Übung vertiefte Ausbildung dage-gen sehr wohl. Bei einem globalen, über alle Gruppen durchgeführten Test auf Grup-penunterschiede müssen bei einem der Hypothese entsprechenden Untersuchungser-gebnis Haupteffekte über alle Gruppen deshalb fast zwangsläufig verschwinden. Nur wenn der Ausbildungseffekt in der vertieft ausgebildeten Untersuchungsgruppe gegen-über einem nicht festgestellten Ausbildungseffekt in der nur theoretisch ausgebildeten Gruppe stark dominierte, könnte hier ein Haupteffekt über alle drei Gruppen nachgewie-sen werden. Die Hypothese wäre jedoch auch dann bestätigt, wenn die Einzeleffekt sig-nifikant nachgewiesen werden können. Die Auswertung beschränkt sich in dieser Arbeit deshalb überwiegend auf die Untersuchung dieser Einzeleffekte.

4.5.1 Gefordertes Signifikanzniveau und Effektstärken

Angesichts der besonderen Problematik empirischer Konstruktionsforschung (vgl.

BENDER ET AL.2002A) ist es in der Regel schwierig, Einflussfaktoren und Effekte sicher zu isolieren. In der vorliegenden Studie wurden zwar höchstmögliche Anstrengungen unternommen, um im Untersuchungsdesign die maßgeblichen Gütekriterien empirischer Forschung zu erfüllen, trotzdem bleiben aufgrund der zentralen Rolle qualitativer Schätzurteile bei der Datenerhebung und -auswertung eine Reihe von Unsicherheiten bestehen. Durch die Gewinnung solcher Schätzurteile in Beurteilergruppen ist ein sys-tematischer Störeinfluss jedoch mit ausreichender Sicherheit ausgeschlossen. Eher ist zu erwarten, dass sich Beurteilungsunsicherheiten im statistischen Mittel ausgleichen.

Auch eine systematische Beeinflussung der Beurteilung in Richtung auf die Hypothesen kann ausgeschlossen werden, da die Beurteiler zum einen die Hypothesen im einzelnen gar nicht kannten, zum anderen die Zuordnung der zu beurteilenden Merkmale zu Ver-suchspersonen und Untersuchungsgruppen durch Anonymisierung unmöglich war. Es kann deshalb davon ausgegangen werden, dass im Rahmen dieses sehr vorsichtigen Untersuchungsdesigns nachgewiesene Effekte mit hoher Sicherheit auch valide sind. Es wird deshalb bei allen Signifikanztests ein Signifikanzniveau von α=0,05 als ausreichend für den Nachweis eines Effektes angesehen. Bis α=0,10 werden Merkmalsunterschiede im Sinne einer Tendenzaussage verwendet. In Fällen, in denen zwei verschiedenen Signifikanztests zum Einsatz kommen, wird es zudem als angemessen betrachtet, die Hypothese anzunehmen, wenn einer von beiden Tests eine signifikante Aussage er-laubt. Im Gegenzug werden dafür durchgängig zweiseitige Signifikanztests durchgeführt, um die Aussagesicherheit weiter zu erhöhen, auch wenn in einzelnen Fällen gerichtete Hypothesen eine einseitige Testung zuließen.

Da neben der Signifikanz von Merkmalsunterschieden in der Konstruktionsforschung die empirische Relevanz von Unterschieden oder Zusammenhängen von besonderem

Inte-resse ist (vgl. Kapitel 1.1), werden – bei vorliegender Signifikanz – auch die Effektstär-ken der Unterschiede bzw. Zusammenhänge untersucht. Bei nominalen Daten bemisst sich die Effektstärke des Zusammenhangs zweier Datenverteilungen z.B. am Kontin-genzkoeffizienten (BORTZ & LIENERT 1998, S. 232f.). Dabei werden Effektstärken w ≥ 0,10 als klein, w ≥ 0,30 als mittel und w ≥ 0,50 als groß betrachtet (BORTZ &DÖRING

2002, S. 604). Die gleiche Stufung gilt auch für das Zusammenhangsmaß Kendall-τ bei monotonen Korrelationen.

Bei ordinalen und metrischen Daten werden zur paarweisen Untersuchung der Effekt-stärke Kennwerte für Vierfeldertafeln benutzt. Diese stammen aus der klinischen For-schung und kennzeichnen den relativen Erfolg zweier Behandlungsmethoden (vgl.

BORTZ & LIENERT 1998, S. 225.). Dabei bezeichnet „rR“ die Misserfolgswahrscheinlich-keit (d.h. das relative Risiko einer schwächeren Merkmalsausprägung) in einer Untersu-chungsgruppe gegenüber einer anderen, während „f“ die Wahrscheinlichkeit kennzeich-net, mit der der Misserfolg in einer Gruppe gegenüber einer anderen reduziert ist. „OR“

(„Odd Ratio“) schließlich setzt die Erfolgs- und Misserfolgsquoten zweier Gruppen ins Verhältnis zueinander und macht deutlich, um welchen Faktor eine Untersuchungsgrup-pe einer anderen überlegen ist. Diese Kennziffern, die in der vorliegenden Studie be-sondere Aussagekraft besitzen, werden nur bei signifikant nachgewiesenen Merkmals-unterschieden ausgewertet.