Da zur Schätzung der TIRT-Modelle eine Mindeststichprobengröße von mehreren Hundert Versuchspersonen notwendig ist, damit die Schätzungen konvergieren, können in dieser Arbeit nicht alle Stichproben unabhängig voneinander untersucht werden und hängen in gewissem Maße zusammen. Insgesamt fließen in diese Arbeit drei große Stichproben ein, aus denen teilweise Teilstichproben für einzelne Studien und Analysen verwendet wurden. An die Daten jeder dieser großen Stichproben wurden jeweils TIRT-Modelle angepasst.
Die Stichproben wurden entweder im Hochschulbereich, vor allem der Universität und Ostbayerischen Technischen Hochschule (OTH) Regensburg erhoben oder im Kontext von Beratungs- oder Forschungsprojekten mit größtenteils privatwirtschaftlichen Unternehmen von zertifizierten Nutzern des Fragebogens generiert. Die Ausgabe der Fragebögen erfolgte dabei bei allen Stichproben online und damit unter nicht kontrollierten Bedingungen. Die Verteilung der Zugangsdaten ermöglichte den Teilnehmern stets, den Zeitpunkt der Bear-beitung des Fragebogens selbst zu wählen. Dieses Vorgehen ist damit zu rechtfertigen, dass so einerseits durch die einfachere Durchführung die Anzahl der Probanden leichter erhöht werden konnte. Andererseits kann argumentiert werden, dass die den Teilnehmern dadurch zugewiesene Selbstbestimmung nicht nur negativ (im Sinne von fehlender Kontrolle über
die Durchführungsbedingungen), sondern auch förderlich auf die Motivation hinsichtlich der Testbearbeitung wirken kann. Aufgrund des für alle Testpersonen einheitlichen Web-Interfaces kann außerdem von weitestgehende gleichen und dadurch objektiven Durchführungsbedingun-gen ausgeganDurchführungsbedingun-gen werden. Darüber hinaus erhielten alle Personen die Möglichkeit, Feedback zu ihren Profilen zu erhalten. Zudem haben alle hier enthaltenen Teilnehmer zugestimmt, dass ihre Daten für wissenschaftliche Zwecke verwendet werden dürfen.
Tabelle 2 gibt einen Überblick der Stichproben inklusive des jeweiligen Umfangs, welche Version des Fragebogens von dieser Stichprobe bearbeitet wurde und welche Teilstichproben zu welchen eigenständigen Stichproben gehören. Im Fließtext folgen dann die Beschreibungen der Stichproben und der Verweis darauf, für welche Untersuchung die jeweilige Stichprobe verwendet wurde.
Tabelle 2.Überblick der Stichproben und Teilstichproben.
Stichprobe I II III
N (gesamt) 729 618 698
Alter M (SD) 28.3 (10) 34.4 (10.3) 30.4 (10.4)
nWeiblich (%) 433 (59.4) 255 (41.3) 357 (51.1) nstudierend (%) 412 (56.5) 130 (21) 319 (45.7)
Teilstichprobe Ia IIa IIIa IIIb IIIc
n 39 31 104 166 62
Alter M (SD) 28.3 (10) 34.4 (10.3) 23.2 (2.6) 23.1 (2.7) 23.3 (2.7) nWeiblich (%) 16 (41) 9 (29) 75 (72.1) 105 (63.3) 41 (66.1)
Personengruppe B B S S S
Version 1 2 2 2 2
Anmerkung.Alter in Jahren; Personengruppe: B = Berufstätige, S = Studierende; Version bezieht sich auf die Version des Fragebogens.
Stichprobe I (N = 729) setzt sich aus n = 316Berufstätigen undn = 412 Studierenden zusammen. Die Daten der Berufstätigen wurden im Rahmen von Beratungs- und Coaching-Projekten verschiedener Berater im Zeitraum zwischen Dezember 2011 und März 2013 erhoben.
Der Studierendendatensatz (n = 412) wurde im selben Zeitraum entweder im Rahmen von Vorlesungen der Betriebswirtschaft (OTH Regensburg) oder als freiwilliger Test mit Feedback als Gegenleistung an OTH oder Universität Regensburg durch den Verfasser der Arbeit erhoben.
Von der gesamten Stichprobe warenn = 433 Personen weiblich (59.4%) undn = 296 Personen männlich (40.6%). Das Durchschnittsalter betrug 28.3 Jahre (SD = 10) bei einer Alterspanne von 17 bis 67. Der größte Teil gab als Nationalität (96%) und Muttersprache (95.1%) Deutsch an.
Die Studiengänge der Studierenden verteilten sich auf mehr als 26 verschiedene Studiengän-ge, wobei die einzigen Studiengänge mit nennenswerten Größen Betriebswirtschaft (n= 299) und Psychologie (n= 42) waren.
Zu den Zeitpunkten der Erhebung betrug die Berufserfahrung in der gesamten Stichprobe im Durchschnitt 5.7 Jahre (SD = 8.3), wobei die Berufstätigen durchschnittlich deutlich mehr Erfahrung aufwiesen (M = 10.8, SD = 10.1) als die Studierenden (M = 1.8, SD = 3). In Stufen verteilte sich die Berufserfahrung von beiden Gruppen zusammen wie folgt: 23.2% haben zwischen drei Monaten4und einem Jahr in einem Vollzeitjob gearbeitet, 34.3% zwei bis fünf Jahre, 12.9% sechs bis 15 Jahre und 12.9% mehr als 15 Jahre. 16.7% gaben an, über keine Berufserfahrung zu verfügen.
Die Aufgabenbereiche der Berufstätigen verteilen sich auf verschiedene Abteilungen und Funktionen. Nennenswert sind hier die drei am häufigsten gemachten Angaben: Unterneh-mensführung (n = 27), Vertrieb (n = 21) sowie Forschung & Entwicklung (n = 16). Ferner ist bekannt, welchen Managementebenen die Berufstätigen angehörten: 17 Angestellte (5.4%) gaben an, zur Geschäftsführung zu gehören, 45 (14.2%) befanden sich in der Organisationshier-archie eine Ebene unter der Geschäftsführung, 53 (16.8%) zwei Ebenen und 117 (37%) drei und mehr Ebenen unter der Geschäftsführung. 67 Personen (21.2%) gaben an, Selbstständig zu sein und 16 (5.1%) machten keine Angabe.
Daten dieser Stichprobe wurden zunächst in Kapitel 5 verwendet, um eine Itemanaly-se durchzuführen und darauf basierend Empfehlungen zur Überarbeitung des Fragebogens abzugeben. Ferner wurden Antwortdaten dieser Stichprobe in Kapitel 8 im Rahmen des Versi-onsvergleichs zwei TIRT-Modelle angepasst sowie die entsprechenden empirische Reliabilitäten geschätzt.
Stichprobe Ia ist eine Stichprobe vonn= 39Auszubildenden und dual Studierenden, deren Daten zur Analyse der divergenten Validität herangezogen wurden.16Personen waren davon weiblich (41%). Das Alter lag im Durchschnitt bei21.8Jahren (SD = 2.1), die Altersspanne betrug 18bis 29 Jahre und die durchschnittliche Berufserfahrung belief sich auf2.2 Jahre (SD = 0.9). Alle Teilnehmer erhielten die Möglichkeit, Feedback zu den Ergebnissen der Bearbeiteten Fragebögen zu erhalten.
4Drei Monate ist der kleinste auswählbare Wert, der größer als Null ist.
Stichprobe II (N =618) besteht ausn = 488Berufstätigen undn= 130Studierenden, die auch im Rahmen von Kundenprojekten verschiedener Anwender des Fragebogens sowie an Universität und OTH Regensburg erhoben wurden.
Insgesamt waren bei dieser Stichproben = 255Personen weiblich (41.3%) undn = 363 Personen männlich (58.7%). Im Vergleich zu Stichprobe I hat diese Stichprobe insgesamt ein etwas ausgeglicheneres Geschlechterverhältnis, wobei nun der männliche Anteil proportional höher ist. Im Durchschnitt waren die Probanden 34.4 Jahre alt (SD = 10.3) und die Alterspanne ging von 16 bis 63. Erneut gab eine sehr große Mehrheit Deutsch sowohl als Nationalität (93.7%) als auch als Muttersprache (92.2%) an.
Die Verteilung der Studiengänge war mit mehr als 20 verschiedenen Studiengängen etwas weniger breit gefächert als in Stichprobe I, wobei auch diesmal Betriebswirtschaft mitn= 95der zahlenmäßig größte Studiengang war. Kein weiterer Studiengang wie mehr als 20 Studierende auf.
Die Berufserfahrung der gesamten Stichprobe belief sich im Durchschnitt auf 10.6 Jahre (SD
= 9.6), wobei die Gruppe der Berufstätigen erneut deutlich mehr Erfahrung aufwies (M = 13, SD
= 9.4) als die Gruppe der Studierenden (M = 1.8, SD = 2). Auch hier wieder die Abstufungen der Berufserfahrung von beiden Gruppen zusammen: 14.3% zwischen drei Monate und einem Jahr, 19.9% zwei bis fünf Jahre, 32.9% sechs bis 15 Jahre und 27.8% mehr als 15 Jahre. 5.1% verfügten über keine Berufserfahrung.
Da die Anzahl der Berufstätigen in dieser Stichprobe deutlich höher ist als zuvor, gibt es auch mehrere nennenswerte Aufgabenbereiche. In abnehmender Reihenfolge waren die Aufgabenbereiche der Berufstätigen mitn >20: Vertrieb (n = 74), Forschung und Entwicklung (n = 61), IT (n = 49), Produktion (n= 34), Personal (n = 33) und Marketing (n= 22).
Die Zugehörigkeiten zu den Hierarchieebenen verteilten sich wie folgt: 15 Angestellte (3.1%) gehörten zur Geschäftsführung, 57 (11.7%) eine Ebene unter der Geschäftsführung, 110 (22.5%) zwei Ebenen und 247 (50.6%) drei und mehr Ebenen unter der Geschäftsführung. 40 Personen (8.2%) waren Selbstständig und 19 (3.9%) machten keine Angabe.
Diese Stichprobe wurde für mehrere Analysen herangezogen. Zunächst wurden damit die Tuning-Parameter bestimmt und die ersten TIRT-Modelle geschätzt (Kapitel 6), die dann mit den TIRT-Modellen der ersten Fragebogenversion verglichen wurden (Kapitel 8). Als wichtigste Untersuchung mit dieser Stichprobe kann die Berechnung der empirischen Reliabilitäten und die Bestimmung dessen Schätzgenauigkeit gesehen werden (Kapitel 7). Außerdem wurde auch die faktorielle Validität anhand der Daten dieser Stichprobe untersucht (Kapitel 9.1). Eine Teilstichprobe vonn = 31Vertriebsmitarbeitern wurde außerdem dazu verwendet, um die inkrementelle Validität der MVSQ-Scores zu untersuchen (Kapitel 10.3).
Teilstichprobe IIa beinhaltet die Daten einer Stichprobe von N = 31 Vertriebsmitarbeitern, wovon 9 (29%) weiblich waren. Männer waren mit 71% in der Geschlechterverteilung demnach
deutlich überrepräsentiert. Das Durchschnittsalter betrug 33.1 Jahre (SD = 6.9) und die mittlere Berufserfahrung lag bei7.7Jahre (SD = 6). Diese Stichprobe wurde zur Untersuchung der prädiktiven und inkrementellen Validität verwendet.
Stichprobe III (N = 698) setzt sich ausn= 379Berufstätigen undn= 319Studierenden zu-sammen. Die Berufstätigen wurden wieder im Rahmen mehrerer Kundenprojekte verschiedener Anwender des Fragebogens und die Studierenden an Universität und OTH Regensburg erhoben.
Diese Stichprobe wurde nun hauptsächlich für Untersuchungen der Validität herangezogen.
Insgesamt verteilten sich die Geschlechter wie folgt:n = 357Personen waren weiblich (51.1%) undn= 341Personen waren männlich (48.9%). Das Verhältnis der Geschlechter war somit ausgeglichen. Das Durchschnittsalter betrug 30.4 Jahre (SD = 10.4) bei einer Spanne von 18 bis 67. Erneut gab eine sehr große Mehrheit Deutsch sowohl als Nationalität (94.7%) als auch als Muttersprache (93.3%) an.
Die Verteilung der Studiengänge war mit mehr als 31 verschiedenen Studiengängen breiter als in den vorherigen Stichproben. Wieder war Betriebswirtschaft mitn = 162der am häufigs-ten vertrehäufigs-tene Studiengang. Daneben war Informatik (n = 23) der einzige Studiengang mit mehr als 20 Studierenden.
Die Berufserfahrung lag im Mittel bei 7.5 Jahren (SD = 9.3) und wenig überraschend hatten die Berufstätigen wieder deutlich mehr Erfahrung (M = 12.3, SD = 10.3) als die Studierenden (M = 1.8, SD = 2). Die Stufen der Berufserfahrung von beiden Gruppen zusammen verteilten sich wie folgt: 24.1% hatten zwischen drei Monate und einem Jahr, 25.1% zwei bis fünf Jahre, 18.9% sechs bis 15 Jahre und 19.1% mehr als 15 Jahre Erfahrung. 12.7% verfügten über keine Berufserfahrung.
Die Aufgabenbereiche der Berufstätigen in dieser Stichprobe mitn >20verteilten sich wie folgt: Vertrieb (n= 66), Forschung und Entwicklung (n = 61), Personal (n= 37) und Logistik (n = 23). Die Zugehörigkeiten zu den Hierarchieebenen gestaltete sich so, dass 18 Angestellte (4.7%) gehörten zur Geschäftsführung, 44 (11.6%) eine Ebene unter der Geschäftsführung, 58 (15.3%) zwei Ebenen und 237 (62.5%) drei und mehr Ebenen unter der Geschäftsführung arbeiteten. 18 Personen (4.7%) waren Selbstständig und bei 4 Personen (1.1%) lag keine Angabe vor.
Diese Stichprobe wurde gemeinsam mit Stichprobe II dazu verwendet, in Kapitel 10.1 die kon-kurrente Validität zu untersuchen. Mehrere Teilstichproben daraus wurden zur Untersuchung der konvergenten (Kapitel 9.2), divergenten (Kapitel 9.3) und prädiktiven Validität (Kapitel 10.2) herangezogen. Die entsprechenden Teilstichproben werden im folgenden präsentiert:
Teilstichprobe IIIa wurde im Rahmen einer Studie erhoben, an der ursprünglich 117 Studie-rende von Universität und OTH Regensburg teilnahmen. Aufgrund unvollständiger Bearbeitung wurden 13 Personen von der Analyse ausgeschlossen. Die verbleibende Stichprobe setzte sich
somit aus104Studierenden (75Frauen,72.1%) zusammen, deren Durchschnittsalter23.2Jahre (SD =2.6, Spanne von18bis33) betrug. Der einzige Studiengang mit mehr als 20 Studierenden war Betriebswirtschaft (n = 45,43.3%). Die durchschnittliche Berufserfahrung belief sich auf 1.6 Jahre (SD = 1.9). Als Gegenleistung für die Teilnahme an der Untersuchung erhielten die Teilnehmer Feedback den Ergebnissen der involvierten Fragebögen.
Teilstichprobe IIIb ist ebenso eine rein studentische Stichprobe (n= 166), die an Univer-sität und OTH Regensburg akquiriert wurde. Sie wurde verwendet, um die divergente und kriteriumsbezogene Validität zu analysieren. Es waren105Personen weiblich (60%) und das Durchschnittsalter betrug23.1Jahre (SD =2.7bei einer Altersspanne von18bis33Jahren.
98.8% gaben Deutsch als ihre Nationalität und97.6% als Muttersprache an. Auch in dieser Teilstichprobe war der am häufigsten vertretene Studiengang Betriebswirtschaft mitn= 74 Studierenden (44.6%). Die mittlere Berufserfahrung betrug 1.6 Jahre (SD = 2). Auch hier er-hielten die Teilnehmer als Gegenleistung für die Teilnahme an der Untersuchung Feedback zu ihren Ergebnissen des MVSQ.
Teilstichprobe IIIc wurde aus der Teilstichprobe IIIb rekrutiert und dazu herangezogen wurde, die Test-Retest-Reliabilität zu bestimmen. Im Nachgang an die experimentelle Unter-suchung, der Teilstichprobe IIIb zugrunde lag, wurden die Teilnehmer dieser Untersuchung nach zehn Wochen gebeten, den MVSQ erneut zu bearbeiten. Von den 166 eingeladenen haben n = 62 Personen den MVSQ noch ein mal bearbeitet. Zwei Drittel dieser Personen waren weiblich (n = 41,66.1%) und entsprechend ein Drittel männlich (n = 21,33.9). Das Durch-schnittsalter betrug 23.3 (SD = 2.7) bei einer Spanne von 19 bis 33 Jahre. Alle gaben Deutsch als Nationalität und Muttersprache an und die Berufserfahrung lag zwischen 0 und 9 Jahren, (M = 1.5,SD = 2.1). Häufigster Studiengang war Betriebswirtschaft mit 25 Studierenden (40.3%).
3.8 Zusammenfassung
In diesem Kapitel wurde der MVSQ vorgestellt und insbesondere auf sein Format hin analysiert.
Dabei wurden die Vorteile und Nachteile des ipsativen Formats dargestellt und die daraus resultierende Notwendigkeit, ein TIRT-Modell zu schätzen, wenn Reliabilität und Validität auf wissenschaftlich korrekte Art untersucht werden wollen. Darüber hinaus wurden die Hauptgütekriterien der psychometrischen Güte vorgestellt, die in dieser Arbeit untersucht werden. Zum Schluss erfolgt der Überblick sowie die gesammelte detaillierte Beschreibung aller in dieser Arbeit verwendeten Stichproben.
Kapitel 4
Objektivität
Als erste Analyse des MVSQ wird die Objektivität des Instruments anhand der drei Formen der Durchführungs-, Auswertungs- und Interpretationsobjektivität untersucht. Damit dies auf sinnvolle Art und Weise vollzogen werden kann, werden zuerst die Anforderungen an die drei Objektivitätsarten dargelegt, um danach zu prüfen, inwiefern diese vom MVSQ erfüllt werden.
4.1 Methode
Die Durchführungsobjektivität ist dann hoch, wenn die Durchführungsbedingungen für alle Testpersonen gleich und frei von subjektiven Einflüssen einer Testleitung sind. Konkret können in der einschlägigen Literatur (Amelang & Schmidt-Atzert, 2006; Bortz & Döring, 2006; Bühner, 2011; Lienert & Raatz, 1998; Schermelleh-Engel & Werner, 2012) zwei wesentliche Kriterien ausgemacht werden:
• Erstens sollte die Durchführung möglichst unabhängig von der Testleitung sein, d.h. die Testleitung sollte keinen Einfluss auf die Bearbeitung der Testperson haben. Dies kann dadurch erreicht werden, indem die sozialen Interaktionen zwischen der Testleitung und Testperson so gering wie möglich gehalten werden und indem ein hohes Maß an Standardisierung eingerichtet wird (z.B. durch schriftliche Anleitungen und Regeln für die Bearbeitung des Tests).
• Ein weiterer wesentlicher Aspekt betrifft die Testsituation. Maximale Durchführungsob-jektivität ist dann gewährleistet, wenn die Testsituation für alle Testpersonen gleich ist.
Dazu muss diese unter kontrollierten Bedingungen, d.h. mit denselben Materialien und ohne erhebliche Einflüsse durch Außenkriterien wie z.B. Lärm durchgeführt werden.
Die quantitative Bestimmung der Objektivität ist schwierig. Man könnte z.B. versuchen, den selben Test von derselben Person bei unterschiedlichen Testleitern durchführen zu lassen und die Ergebnisse zu interkorrelieren. Allerdings wären hier Erinnerungseffekte nur schwer
zu kontrollieren und auch würde die Reliabilität die Ergebnisse beeinflussen, da diese nicht davon getrennt werden kann.
Die Auswertungsobjektivität ist gegeben, wenn die Auswertung unabhängig vom Test-auswerter erfolgt. An dieser Stelle sind vor allem zwei Fälle zu erwähnen, die negative Aus-wirkungen auf die Auswertungsobjektivität haben können. Auch diese beruhen auf den oben genannten Literaturquellen.
• Wenn die Auswertung per Hand erfolgt, d.h. der Testleitung Fehler unterlaufen können.
• Wenn die Auswertung eine subjektive Einschätzung des Testleiters erfordert. Dies ist bei projektiven Tests der Fall und kann dann wiederum durch Auswertungsregeln kontrolliert werden.
Quantitativ kann die Auswertungsobjektivität dadurch bestimmt werden, wenn die Ant-worten derselben Testperson mehreren Auswertern vorgelegt werden. Der Grad der Über-einstimmung der Auswertungsergebnisse stellt dann ein Maß der Auswertungsobjektivität dar. Dies könnte allerdings auch unter den Aspekt der Messgenauigkeit fallen (Amelang &
Schmidt-Atzert, 2006).
Die Interpretationsobjektivität wird erreicht, wenn dieselben Auswertungsergebnisse unab-hängig vom Testinterpreten zu den gleichen Schlussfolgerungen führen. Die Testinterpretation muss also unabhängig von der interpretierenden Person gleich lauten. Dazu können nach den oben genannten Quellen folgende Maßnahmen ergriffen werden:
• Standardisierung der Interpretation durch Interpretationsleitfäden und Normierung.
• Ausbildung der Testinterpreten, sodass diese zu denselben Ergebnisinterpretation gelan-gen.
Anhand dieser Kriterien kann die Interpretationsobjektivität argumentativ abgeschätzt werden. Eine quantitative Bemessung könnte so überprüft werden, dass man unterschiedlichen Testinterpreten dieselben Ergebnisse inklusive Interpretationsrichtlinien bzw. nach Ausbildung vorlegt und dann prüft, ob diese zu denselben Ergebnissen kommen. Diese Methode weist jedoch zwei Probleme auf. Erstens kann es schwer sein, eine ausreichend große Zahl an ausgebildeten Testinterpreten zu akquirieren und zweitens würde das Ergebnis wesentlich vom Komplexi-tätsgrad der Interpretationsergebnisse abhängen. Einfache Richtlinien würden zu höheren Übereinstimmungen führen als komplexe, was wiederum bedeutet, dass es angebracht wäre die Qualität der Interpretationsrichtlinien zu überprüfen. Eine anfängliche logisch-argumentative Überprüfung der Interpretationsobjektivität wird demnach in der Regel bevorzugt. So auch hier.