In diesem Kapitel soll zunächst auf die Motivation dieser Diplomarbeit eingegangen werden. Bei dem zu überarbeitenden Test handelt es sich um einen Subtest zur
die kognitiven Fähigkeiten erfasst. Dieser Test ist in eine Testbatterie eingebunden, welche als Begabungsscreening eingesetzt wird.
1.4.1 Motivation der Untersuchung
Um genauer auf die Wichtigkeit der Überarbeitung dieses Tests einzugehen muss etwas weiter ausgeholt werden. Bei dem zu überarbeitenden Test handelt es sich um einen Testteil des Top Talente Checks, einem Begabungsscreening für 13- bis 15-jährige Jugendliche. Das Testinstrument des Top Talente Checks (= TTC) wurde von Aljoscha C. Neubauer und Mitgliedern des Arbeitsbereiches Differentielle Psychologie der Karl-Franzens-Universität Graz im Auftrag der NÖ Landesakademien konzipiert (Neubauer et. al, 2005/06).
Der Grund warum der Top Talente Check entwickelt wurde resultierte aus verschiedenen Befunden empirischer Jugend- und Arbeitsmarktstudien, welche belegten, dass Schüler und Schülerinnen Schwierigkeiten bei der Berufsentscheidung haben. Um Schülern und Schülerinnen diese Entscheidung zu erleichtern, wurde dieses Testinstrument zur Vorbereitung auf die Schul- und Berufswahl entwickelt.
Wie bereits im Theorieteil näher beschrieben spielt die Förderung von Begabungen eine große Rolle. Aus diesem Grund wird der TTC auch als Begabungsscreening eingesetzt, um die Talenteförderung zu forcieren.
Der TTC wird seit 2005 an diversen niederösterreichischen Schulen jeglichen Schultyps durchgeführt. Es soll für jeden Schüler und jede Schülerin die Möglichkeit bestehen, daran teilzunehmen.
Nach den ersten Testdurchläufen erfolgten Rückmeldungen der TestleiterInnen, welche über Verständnis- und Bearbeitungsprobleme der 13- bis 15-jährigen SchülerInnen berichteten. Des Weiteren zeigten sich in der Dissertation von Staudt (2008) Qualitätsprobleme einzelner Testteile des TTCs, welche dazu führten, dass diese Teile des Top Talente Checks überarbeitet werden sollten, um die Qualität des Tests zu verbessern und somit gezieltere Aussagen über Fähigkeiten und Talente sowie in weiterer Folge über Berufsvorschläge zu treffen.
1.4.2 Ziel der Untersuchung
Ziel der Untersuchung ist die Überarbeitung und Verbesserung eines Tests zur Erfassung der verbalen Intelligenz anhand von Aufgaben, in denen es darum geht, die Gemeinsamkeit von mehreren Begriffen zu erkennen. Dieser Testteil entstammt der Intelligenz-Struktur-Analyse ISA von ITB & Gittler (1998, 2001) und soll im TTC die kognitiven Fähigkeiten der Schüler und Schülerinnen erfassen.
Wie bereits angesprochen entstanden bei der Normierung und Qualitätssicherung des TTC einige Anregungen zur Weiterentwicklung und Verbesserung verschiedener Testteile. Einer dieser Testteile ist die Aufgabengruppe ISA_GE zur Erfassung der verbalen Intelligenz.
Diese Diplomarbeit besteht aus drei Studien welche im Folgenden näher erklärt werden.
In der ersten Studie geht es darum anhand von vorhandenen Daten der Vorgängerarbeit (Dissertation von Beate Staudt, 2008 „Erkennen von Begabungen bei 14-jährigen Jugendlichen“) Analysen durchzuführen um die Probleme des bestehenden Tests zu identifizieren. Staudt führte in ihrer Arbeit die Normierung und Qualitätssicherung des TTC durch. Anhand der Ergebnisse und Erkenntnisse der Analysen und Berechnungen werden Aufgaben verändert und Items eliminiert.
Parallel dazu werden neue Items entwickelt bzw. aus anderen Tests zur Erfassung der verbalen Intelligenz entnommen.
In der zweiten Studie wird die neu entstandene Testversion mit der Aufgabengruppe „Gemeinsamkeiten finden“ anhand von Vortestungen erprobt. Die Vortestungen werden mittels einer Cognitive Survey durchgeführt, welche im Methodenteil der zweiten Studie näher beschrieben und erklärt wird. Bei den Vortestungen geht es vorwiegend um das Verständnis der einzelnen Begriffe und Wörter. Aufgrund der Ergebnisse und Erkenntnisse dieser Vortestungen werden die Aufgaben abermals verändert und umformuliert.
In der dritten Studie, der Hauptuntersuchung, wird der neu entstandene Subtest zur Erfassung der verbalen Intelligenz anhand einer großen Stichprobe untersucht und anschließend einer Qualitätssicherung unterzogen. Die Ergebnisse der Analysen und Berechnungen werden mit den Gütekriterien des Subtests ISA_GE des TTC verglichen, um festzustellen, ob es gelungen ist mit der überarbeiteten
Es gibt verschiedene Kriterien, welche die Güte (Qualität) eines Tests beschreiben. Diese werden in Haupt- und Nebengütekriterien unterteilt. Die überarbeitete Testversion sollte in dieser Diplomarbeit auf ihre Hauptgütekriterien (Objektivität, Reliabilität und Validität) hin untersucht werden. Um das neue Testverfahren als objektiv zu bezeichnen wird untersucht, ob die Ergebnisse des Tests zur Erfassung der verbalen Intelligenz unabhängig vom Untersucher bzw. der Untersucherin sind. Der Test wird als reliabel betrachtet, wenn die Messgenauigkeit erfüllt ist. Das heißt der Test sollte unabhängig davon, was er zu messen beansprucht, eine bestimmte Eigenschaft oder Fähigkeit erfassen. Indem die Validität berechnet wird, wird überprüft, ob der Test auch das Merkmal, dass er zu messen beansprucht misst. In dieser Diplomarbeit ist das Merkmal die verbale Intelligenz.
Aufgrund dieser Qualitätsmerkmale und der Gütekriterien ergeben sich für diese Diplomarbeit folgende Fragestellungen:
Erste Fragestellung (F1): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Objektivität?
Zweite Fragestellung (F2): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Reliabilität?
Dritte Fragestellung (F3): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Validität?
Vierte Fragestellung (F4): Gibt es Geschlechtsunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
Fünfte Fragestellung (F5): Gibt es Schultypenunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
Sechste Fragestellung (F6): Gibt es Schulstufenunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
2 Studie 1 – Analyse der Vorgängerarbeit
In der ersten Studie sollte sowohl die Vorgängerarbeit von Staudt (2008) als auch das verwendete Testverfahren, der Top Talente Check, vorgestellt werden. Im Methodenteil werden der zur Analyse herangezogene Datensatz und die Stichprobe beschrieben. Die Ergebnisse der Distraktorenanalyse und der Itemanalyse werden im Ergebnisteil vorgestellt. Die Diskussion erfolgt am Ende der Diplomarbeit.
Die Qualität eines Tests ist von der Art und Zusammensetzung der Items abhängig, aus denen er besteht. Deshalb ist die Itemanalyse ein zentrales Instrument der Testkonstruktion, in deren Verlauf die psychometrischen Itemeigenschaften als Kennwerte bestimmt und anhand vorgegebener Qualitätsstandards beurteilt werden. In der Literatur ist der Begriff „Itemanalyse“ nicht eindeutig festgelegt (Bortz & Döring, 1995).