Roth & Clarke (1998)

162

Die beobachtete Korrelation ist für Undergraduatestudenten mit 0,16 beachtenswert größer als die 0,07 für PhD-Studenten. Zweitens wird erwähnt, dass der Zeitpunkt der Erhebung eine Rolle spielt. So betragen die Resultate nach einem Jahr 0,23 und nach zwei bis fünf Jahren 0,15 und nach sechs Jahren 0,05. Die Verfasser erwähnen unter Bezugnahme auf Barett, Alexander &

Doverspike (1992) und Barrett, Caldwell & Alexander (1985), dass nicht klar sei, ob diese Re-sultate aufgrund der zunehmenden Varianz oder aufgrund einer dynamischen Beziehung beider Elemente zustande kommen. So führen Roth et al. (1996) die meines Erachtens wichtige Tatsa-che bezüglich der Operationalisierung ins Feld, dass: „The variable adult accomplishment is a grab bag of many different phenomena that may be considered somewhat ill-defined and is not necessarily relevant to the grade-performance link.“

4.4.10 Roth & Clarke (1998)

Roth & Clarke (1998) erwähnen, dass vergangene Studien vor allem daran litten, dass Einkom-men (aufgrund der Arbeitsleistung und des KapitaleinkomEinkom-mens) und Gehalt (aufgrund der Ar-beitsleistung) als Synonym verwendet wurden. Dies bedeutet, dass sowohl Gehalt auf Basis des Produktionsfaktors Arbeit als auch Kapital unter der gleichen Operationalisierung subsumiert wurden. Die von Roth & Clarke (1998) durchgeführte Metaanalyse verwendete nur Studien mit dem Gehalt (salary) und es wurde eine unkorrigierte Korrelation von 0.13 zwischen Noten und Einstiegsgehalt, eine unkorrigierte Korrelation von 0.18 zwischen Noten und Startgehalt und 0.05 zwischen Noten und Gehaltswachstum gefunden. Die Korrelationen für Noten und Start-gehalt erhöhten sich auf ungefähr 0.2, falls für Artefakte korrigiert wurde.

Roth & Clark erwähnen unter Bezugnahme auf Reilly & Chao (1982), Reilly & Warech (1993), Weinstein & Srinivasan (1974) und Zikmund, Hitt & Pickens (1978), dass insbesondere auf den Arbeitsmärkten die Noten als wichtiger Prädiktor für den Berufserfolg wahrgenommen werden, da Noten als sinnvolle Indikatoren der allgemein kognitiven Fähigkeit, der Motivation und anderer für den Berufserfolg relevanter Fähigkeiten gelten.

Für das Erstellen der Metaanalyse beziehen sich die Verfasser nur auf die neuste Literatur. Sie erwähnen, dass vergangene Studien oft an zahlreichen statistischen Mängeln litten. Es wird insbesondere auf die Metaanalyse von Reily & Chao (1982) verwiesen, welche sich auf 1583 Absolventen bezieht und eine Korrelation von r = 0.27 errechnete.

163

Des Weiteren wird auf die Studie von Cohen (1984) eingetreten, wobei die Noten-Einkom-mens-Korrelation von 0.12 (K = 34, kein übergreifendes N angegeben) dezidiert analysiert wir-d. Roth & Clarke (1998) erwähnen jedoch, dass bei beiden Studien die Definition und Operati-onalisierung des Einkommensbegriffes unklar sei, insbesondere wird auf Unklarheiten bezüg-lich der zeitbezüg-lichen Dimension (Startgehalt versus jetziges Gehalt) aufmerksam gemacht.

Manchmal wurde auch das Gehalt mit dem Einkommen gleichgesetzt. Des Weiteren wird da-rauf aufmerksam gemacht, dass diese Metaanalyse nicht korrigierte Werte bezüglich Faktoren wie Range Restriction, Kriteriumsreliabilität oder Prädiktorreliabilität enthalte. Roth & Clarke nennen ebenfalls die bereits in dieser Arbeit erwähnte Studie von Samson et al. (1984), welche eine GPA-Gehalts-Korrelation von 0.22 (K = 31, kein übergreifendes N angegeben) und eine GPA-Gehaltswachstumskorrelation von 0.01 (K = 3, kein übergreifendes N angegeben) ent-halte. Roth & Clarke verdeutlichen, dass auch diese Studien an mehreren Mängeln leiden, ins-besondere wird das Schema zur Gewichtung der Gesamtresultate als problematisch bezeichnet.

Des Weiteren beurteilen Roth & Clarke (1998) die Art der Gewichtung der Einzelkorrelationen als ungewöhnlich.⁷⁴ Und es wird darauf aufmerksam gemacht, dass keine Korrektur bezüglich der GPA/Gehaltsbeziehung und der Veränderung über die Zeit (beispielsweise inflationäre Ef-fekte) gemacht wurde. Roth & Clarke (1998) erwähnen die dritte Metaanalyse von Bretz (1989). Die dritte Metaanalyse von Bretz (1989) fand eine Korrelation von 0.39 zwischen GPA und Berufserfolg, wobei Bretz (1989) dieses Konstrukt, wie schon erwähnt, als Kombination der Variablen Berufsleistung, Gehalt und weiteren Erfolgsvariablen definierten.

Zusammenfassend erwähnen Roth & Clarke (1989) bezüglich des Forschungsstandes, dass es sehr schwierig sei, die Noten-Gehalts-Beziehung einzustufen aufgrund der zahlreichen metho-dologischen Unterschiede oder gar Mängel gewisser Studien. Die erste Problematik bezieht sich auf die unterschiedliche Definition des Begriffes Gehalt. Insbesondere die Gleichsetzung von Gehalt und Einkommen wird als außerordentlich problematisch taxiert und es wird er-wähnt, dass das Gehalt differenziert behandelt werden muss und eine Unterscheidung zwischen Einstiegsgehalt und aktuellem Gehalt notwendig ist. Ein weiterer Punkt sind die verwendeten Gewichtungsschemen der Einzelstudien (beispielsweise Samson et al. 1984), welche ebenfalls als statistisch nicht optimal eingestuft werden.

74 So schreiben Roth & Clarke: „… the analysis used a highly unorthodox weighting scheme.Correlations were not weighted by N, but each correlation (not sample) was given a weight inversely proportional to the total number of correlations in that study“ (Samson et al., 1984, S. 313). Roth & Clarke schließen deshalb: „The effect on results from such a weighting scheme is unknow.“

164

Für ihre eigene Metaanalyse verfolgten die Verfasser vor allem zwei Wege der Literaturbe-schaffung. Einerseits wurden Datenbanken durchforscht wie ABI-FORM, Medline, PsychLit, ERIC und Dissertationsabstracts. Zweitens überprüften die Autoren Literaturverzeichnisse und Metaanalysen (Calhoon & Reddy, 1968; Cohen, 1984; Dye & Reck, 1988; Pascarella & Ter-renzini, 1991; Samson et al., 1984; Wingard & Williamson, 1973). Roth & Clark verwendeten konsequent vier Einschlusskriterien. Erstens mussten die Noten als GPA oder auf einer Ra-tingskala ersichtlich sein. Zweitens musste die RaRa-tingskala die Noten quantifizieren. Drittens wurden mehrfach publizierte Daten nur einmal für die Metaanalyse miteingeschlossen. Viertens wurden Studien, welche das Gehalt mit dem Einkommen gleichsetzten, ausgeschlossen. Als metaanalytisches Prozedere wurde der Ansatz nach Hunter & Schmidt (1990) verwendet. Kor-rekturen sowohl für die Reliabilität der Messung als auch für die Range Restriction wurden durchgeführt. Zur Reliabilitätskorrektur wurden die Masse von Reilly & Warech (1993) ver-wendet. Diese identifizierten eine interne Konsistenz von 0.84, was als Grundlage zur Korrektur diente. Um für das Vertrauensintervall zu korrigieren, wurde ein Wert von 0.7 verwendet.⁷⁵ Roth & Clarke (1998) bezogen sich auf verschiedene Quellen (McDaniel, Whetzel, Schmidt &

Maurer (1994) oder Alexander, Carson, Alliger & Cronshaw (1989)), welche Reliabilitätsmaße für verschiedene Größen wie beispielsweise allgemeine kognitive Kapazität beurteilten und et-was tiefere Werte erhielten (im Bereich zwischen 0,6 und 0,7), da diese aber nicht genau dem GPA entsprachen, wurde schlussendlich der Wert von 0,7 festgelegt.

Zusammenfassend kann festgehalten werden, dass, obwohl die Studie von Roth & Clark (1998) nur auf den Zusammenhang zwischen Noten und dem objektiven Kriterium des Berufserfolges in Form des Gehalts eingeht, sie doch von einigem Interesse ist. Die Arbeit von Roth & Clark ist studientechnisch sehr sorgfältig und präzise durchgeführt. Der Wert der Arbeit liegt insbe-sondere auch darin, dass nicht alle (auf Reily & Chao (1982)⁷⁶ wurde beispielsweise verzichtet), sondern nur diejenigen Arbeiten mitinkludiert, welche als gütekonform im Sinne der Studie zu bezeichnen sind. Interessant ist zu erwähnen, dass sich die Werte je nach untersuchtem Feld

75 Roth & Clarke (1998) erwähnen bezüglich der Range Restriction: „The amount of range restriction was as-sessed by examining data from other types of studies to find plausible values of u (restricted standard devia-tion/unrestricted standard deviation).“ S. 391.

76 Die Arbeit von Reily & Chao (1982) geht hauptsächlich auf die Noten-Gehaltsbeziehung ein, andere Aspekte des Berufserfolges werden nicht abgehandelt. Dieser Aspekt ist jedoch insbesondere durch die Arbeit von Roth &

Clarke umfassend und vor allem aufgrund des jüngeren Publikationsdatum von mehr als 15 Jahren aktueller ab-gehandelt.

165

durchaus unterschieden haben. So zeigte sich beispielsweise im Engineering ein beachtenswer-ter Wert von rrr,pr von 0,51 mit einen 80 % Konfidenzintervall zwischen 0,3 und 0,72, was für den oberen Wert auf einer Varianzaufklärung von über 50 % (0,5184) hinweist und somit den Noten doch auch das statistisch adäquate Maß bezüglich der praktischen Bedeutung zuweit.