In der Hauptuntersuchung wurden 476 SchülerInnen mit der Testversion GE_36 und den beiden Subtests der ISA getestet. Um die Testergebnisse dieser Untersuchung mit den Ergebnissen des TTC zu vergleichen wurden lediglich die Daten der Personen mit Deutsch als Muttersprache analysiert. Die Testversion GE_36 wurde bereits im Ergebnisteil der Studie 3 dargestellt und wird hier nicht näher betrachtet.
Ebenfalls wird die Itemeliminierung hier nicht diskutiert, weil diese ausführlich beschrieben wurde. In diesem Kapitel sollen anhand der Fragestellungen der Diplomarbeit die Gütekriterien, die Gruppenunterschiede und die Eindimensionalität der überarbeiteten Testversion GE_20 nochmal zusammengefasst und diskutiert werden.
Erste Fragestellung (F1): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Objektivität?
Durch die standardisierte Instruktion am Anfang der Subtests und die Einhaltung der Zeitbeschränkungen bei der Bearbeitung kann die Objektivität der Durchführung gewährleistet werden. Lediglich der Subtest GE_36 wurde ohne Zeitbeschränkung durchgeführt, um nicht bearbeitete Aufgaben weitgehend zu vermeiden. Durch die Codierung der Lösung in „gelöst“ vs. „nicht gelöst“ kann die Objektivität der Auswertung als gegeben betrachtet werden. Da die Durchführung und die Auswertung nach den Richtlinien des TTC erfolgten kann die gegebene Objektivität mit der des TTC verglichen werden.
Zweite Fragestellung (F2): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Reliabilität?
Die Reliabilität wurde sowohl in dieser Untersuchung als auch beim TTC mittels Betrachtung der internen Konsistenz sowie der Itemschwierigkeiten und Trennschärfen berechnet.
Die Ergebnisse deuten darauf hin, dass die Testversion GE_20 (M = .59, SD = .22) im Durchschnitt leichtere Aufgaben beinhaltet als der Subtest ISA_GE (M = .45, SD=.19) im TTC. Dies könnte durch die Vereinfachung der Begriffe zustande gekommen sein. Die Items wurden somit nicht nur verständlicher, sondern auch leichter gemacht Dies ist eigentlich für ein Begabungsscreenig weniger sinnvoll, weil der Test nicht mehr so breit differenziert.
Beim TTC sind die Itemschwierigkeiten für Mädchen und Jungen annähernd gleich. In dieser Untersuchung haben die Jungen ( = .62, SD = .23) gegenüber den Mädchen ( = .56, SD = .21) einen Lösungsvorsprung. Dies zeigt sich vor allem bei technisch, handwerklichen Items wie Anlegestelle, Feile, Säge, Pumpe und
Ball. Auch bei Items, die Wissen voraussetzen, wie Tanne und Spanien zeigt sich dieser Unterschied. Bei der Bildung von Oberbegriffen (Blume, Gewitter) gelingt es eher den Mädchen, die richtige Lösung zu identifizieren.
Betrachtet man die Trennschärfen dieser Untersuchung (ṙit = .25, SD = .06) so weisen diese lediglich minimal höhere Werte auf als beim TTC (ṙit = .24, SD = .09).
Beim TTC liegen die Trennschärfen bei den Jungen (ṙit = .27, SD = .13) höher als bei den Mädchen (ṙit = .22, SD = .14). In dieser Untersuchung zeigt sich ein gegenteiliges Ergebnis: Mädchen (ṙit = .26, SD = .07), Jungen (ṙit = .22, SD = .06).
Die interne Konsistenz des Subtests zur Erfassung der verbalen Intelligenz konnte in dieser Untersuchung (Cronbach`s α = .66) im Verleich zum TTC (Cronbach`s α =.65) nicht deutlich erhöht werden.
Betrachtet man die interne Konsistenz des Tests GE_20 im Gruppenvergleich (Hauptschule vs. Gymnasium bzw. 7. vs. 8. Schulstufe) ist ersichtlich, dass der Test unterschiedlich genau misst. In der Hauptschule (Cronbach`s α = .65) lässt sich das Merkmal der verbalen Intelligenz mit dem Test GE_20 genauer erfassen als im Gymnasium (Cronbach`s α = .55). Da der Test bei der Konstruktion eher auf HauptschülerInnen ausgerichtet wurde ist dies ein gelungenes Ergebnis. Die Annahme bestand darin, dass wenn HauptschülerInnen die Begriffe verstehen und die Aufgaben dementsprechend lösen können, dann sollte es auch im Gymnasium zu keinen Verständnisproblemen kommen. Ähnliche Ergebnisse zeigen sich auch im Schulstufenvergleich. In der 8. Schulstufe (Cronbachs`α = .65) weist der Test eine geringfügig höhere Reliabilität auf als in der 7. Schulstufe (Cronbach`s α = .60).
Bisher wurde der TTC ausschließlich bei SchülerInnen zu Beginn der 8.
Schulstufe durchgeführt. Nun soll ein Versuch starten, das Testinstrument bereits Ende der 7. Schulstufe einzusetzen. Dieser Versuch kommt zustande, weil in den vergangenen Jahren viele SchülerInnen, die mit dem TTC getestet wurden, ihr Talenteprofil erst nach der Wahl des weiteren Ausbildungsweges erhielten. Diese Untersuchung ist somit der erste Versuch der Erprobung der Testversion in der 7.
Schulstufe. Die Reliabilitäten sind annähernd vergleichbar, was den Einsatz dieses Subtests in der 7. Schulstufe durchaus möglich macht.
Exkurs
An dieser Stelle möchte ich gerne einen kleinen Exkurs machen. Während den Arbeiten an meiner Diplomarbeit wurde im Arbeitsbereich der Differentiellen
Psychologie in Graz von Prof. Dr. Neubauer und Mag. Opriessnig bereits anhand meiner Daten eine neue Testversion „Gemeinsamkeiten finden“ für den TTC erstellt.
Diese Version weist geringe Abweichungen zu der Version auf, welche in dieser Arbeit erstellt wurde. Der Grund dafür liegt bei den Lizenzrechten der Testversion und wird hier nicht näher erklärt. Die neue Testversion wurde bereits an ca. 546 Testpersonen der 7. Schulstufe in Niederösterreich (der eigentlichen Zielstichprobe) erprobt. Weil sich in den beiden neuen Testversionen 14 Items überlappen, werden die Ergebnisse der aktuellen Stichprobe von Mag. Opriessnig zur Verdeutlichung der Qualität des überarbeiteten Subtests zur Erfassung der verbalen Intelligenz veranschaulicht. Die 14 überlappenden Items weisen in der Stichprobe von Mag.
Opriessnig ein Cronbach`s α = .54 auf. Dies bezieht sich auf die SchülerInnen der 7.
Schulstufe mit Deutsch als Muttersprache (N = 418). Die interne Konstistenz weist zwar einen geringen Wert auf, jedoch kann diese Minderung auf die Reduktion von sechs weiteren Items zurückgeführt werden. Die Testversion mit 20 Aufgaben von Mag. Opriessnig weist in ihrer Gesamtstichprobe ein Cronbach`s α = .69 auf.
Zusammenfassend kann festgestellt werden, dass sich die Reliabilität der Testversion „Gemeinsamkeiten finden“ zur Erfassung der verbalen Intelligenz im Vergleich zum TTC verbessert hat.
Dritte Fragestellung (F3): Erfüllt der überarbeitete Test zur Erfassung der verbalen Intelligenz das Gütekriterium der Validität?
Die Interkorrelationen der Subtests wurden wie bei Staudt (2008) nach Spearman berechnet. Die Ergebnisse dieser Untersuchung (r = .36 bis 40) sind mit den Ergebnissen vom TTC (r = .32 bis .40) vergleichbar. Die Korrelationswerte deuten auf einen engen Zusammenhang zwischen den Substests hin. Zusammenfassend kann festgehalten werden, dass die positive Korrelation der Intelligenztestleistungen für den g-Faktor oder die „general mental abitity“ spricht. Die restlichen Anteile gehen auf die spezifischen Faktoren verbale, numerische und figurale Intelligenz zurück.
Für die Analyse der Kriteriumsvalidität wurden die Subtests mit den Schulnoten aus den Fächern Deutsch, Mathematik, Englisch und der Betragensnote korreliert. Dies erfolgte wie bei Staudt (2008) mittels Korrelationen nach Spearman.
In dieser Untersuchung zeigten sich für die Gesamtstichprobe der Testpersonen,
Korrelationen, welche aber deutlich geringer ausfielen als beim TTC. Ein signifikanter negativer Zusammenhang bedeutet, dass mit höherer Begabung bessere Noten einhergehen. Bei allen drei Subtests weisen die Korrelationswerte niedrigere Zusammenhänge mit den Schulnoten auf als beim TTC. Der Subtest ISA_FZ korreliert lediglich gering mit der Mathematiknote.
Der Subtest GE_20 korreliert in dieser Untersuchung (r = -.16 bis -.21) viel geringer mit den Schulnoten als beim TTC (r = -.30 bis -.35). Bei weiteren Analysen und Gruppenvergleichen konnten höhere signifikante Korrelationen gefunden werden: 8. Schulstufe der Hauptschule (r = -.33 bis -.40), 7. Schulstufe des Gymnasiums (r = -.25 bis -.37). Erklärungen für diese geringen Korrelationen können teilweise anhand der Schulnoten begründet werden. Diese Untersuchung wurde relativ frühzeitig, nämlich bereits im Jänner bzw. Februar des Schuljahres durchgeführt. Im Allgemeinen werden die Testungen mit dem TTC erst gegen Ende des Schuljahres durchgeführt. Da die Testungen im ersten Schulhalbjahr durchgeführt wurden, gaben die Testpersonen ihre Noten vom vorletzten Schuljahr an. Möglicherweise sind diese Schulnoten weniger aussagekräftig, weil diese schon mehr als ein halbes Jahr zurücklagen. In dieser Untersuchung fehlten manchmal die Angaben der Schulnoten, weil sich die Testpersonen nicht mehr daran erinnern konnten, bzw. Noten angaben, von denen sie glaubten diese im Vorjahr bekommen zu haben.
Laut einer persönlichen Mitteilung von Mag. Opriessnig können die geringen Korrelationen aufgrund des frühen Testeinsatzes in der 7. Schulstufe zustande kommen und da die Schulnoten der 6. Schulstufe herangezogen wurden. Die Schulnoten sind zu diesem Zeitpunkt möglicherweise noch nicht aussagekräftig genug. In der 6. Schulstufe wird lediglich Schulstoff des Vorjahres wiederholt und gefestigt, hingegen wird in der 7. Schulstufe wieder neuer Stoff gelernt. Da die Korrelationen bei SchülerInnen der 8. Schulstufe der Hauptschule höhere Werte aufweisen, könnte diese Erklärung als durchaus sinnvoll erscheinen. Dies soll anhand eines Beispiels besser erläutert werden.
Betrachtet man eine Testperson, die weniger begabt ist, so kann diese in der 6. Schulstufe durch die Wiederholung des Schulstoffes eine bessere Note erzielen.
Eine Testperson welche bereits in der 5. Schulstufe eine gute Note hat, wird diese in der nächsten Schulstufe bei Stoffwiederholung kaum verbessern. Somit ist anzunehmen, dass bei der Testung in der 8. Schulstufe (aufgrund der Notenangabe
der 7. Schulstufe) wieder Intelligenz- und Notenunterschiede von guten und weniger guten SchülerInnen zustande kommen.
Die geringe Korrelation des Subtests GE_20 mit der Deutschnote kann auch auf die geringere Streuung der Deutschnote im Vergleich zu den anderen Noten zurückgeführt werden (Tabelle siehe Anhang Seite 12).
Um wieder auf die aktuelle Stichprobe von Mag. Opriessnig zurückzukommen, kann bestätigt werden, dass sich signifikant höhere Korrelationen zeigen. Die Testungen wurden in der 7. Schulstufe zu Beginn des zweiten Schulhalbjahres durchgeführt. Die Noten zeigten somit einen aktuelleren Leistungsstand der SchülerInnen und sollten als aussagekräftig gelten. Anhand der Stichprobe von Mag. Opriessnig wurden lediglich Korrelationen der 14 überlappenden Items unserer beiden Testversionen mit den Schulnoten berechnet.
In die Berechnungen wurden nur Testpersonen mit Deutsch als Muttersprache miteinbezogen. Die 14 überlappenden Items korrelieren mit den Schulnoten wie folgt:
Deutschnote (r = -.43), Mathematiknote (r = -.40) und Englischnote (r = -.40).
Somit kann zusammenfassend festgehalten werden, dass die Validität der überarbeitete Testversion „Gemeinsamkeiten finden“ zur Erfassung der verbalen Intelligenz gegeben ist und sich im Vergleich zum Subtest ISA_GE beim TTC verbessert hat.
Die Ergebnisse der konfirmatorischen Faktorenanalyse sprechen für die Beibehaltung des Modells. Alle Aufgaben beim Subtest GE_20 laden auf einem Faktor, das heißt sie erfassen alle ein Merkmal, nämlich das Fähigkeitskonstrukt der verbalen Intelligenz. Die Eindimensionalität kann somit angenommen werden.
Bei der konfirmatorischen Faktorenanalyse werden außerdem Korrelationen der Messfehler berechnet, um auf eventuelle weitere Faktoren zu schließen, welche neben dem Fähigkeitskonstrukt der verbalen Intelligenz noch mit dem Subtest_GE erfasst werden. Eine Möglichkeit hierfür wäre das Konstruktionsprinzip. Die Annahme dabei ist, dass Items, welche dasselbe Konstruktionsprinzip haben, zusätzlich zur Ladung am Faktor verbale Intelligenz gemeinsam noch auf einem weiteren Faktor, dem Konstruktionsprinzip laden. Wenn bei den Ergebnissen der konfirmatorischen Faktorenanalyse die Messfehler der Aufgaben miteinander korrelieren, könnte dies ein Anhaltspunkt für die Bestätigung dieser Annahme sein. In dieser Untersuchung
bei wenigen Aufgaben desselben Konstruktionsprinzips gefunden werden (Tabelle siehe Anhang Seite 14).
Die Messfehler der Items 33-Blume und Item 34-Gewitter korrelieren zu r = .28 miteinander. Bei Betrachtung dieser Items kann das Konstruktionsprinzip „Bildung eines Oberbegriffs“ identifiziert werden.
Item 33: Stängel Blüte Blatt Blume Knospe Item 34: Gewitter Donner Regen Hagel Blitz
Die Messfehler der Items 16-Feile und Item 19-Säge korrelieren zu r = .24 miteinander. Bei Betrachtung dieser Items kann festgestellt werden, dass bei beiden handwerkliches Wissen benötigt wird um diese Aufgabe zu lösen.
Item 16: Schere Axt Feile Messer Hackebeil
Item 19: Feile Hobel Raspel Reibe Säge
Bei den restlichen korrelierten Messfehlern konnte kein plausibles gemeinsames Konstruktionsprinzip entdeckt werden.
Vierte Fragestellung (F4): Gibt es Geschlechtsunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
Staudt (2008) konnte in ihrer Arbeit signifikante Geschlechtsunterschiede im Subtest ISA_GE im TTC feststellen. Entgegengesetzt der weit verbreiteten Meinung, dass Mädchen bei den verbalen Fähigkeiten höhere Punkte erzielen, erreichten die Jungen bessere Ergebnisse. Die Meinung, dass Mädchen den Jungen verbal überlegen sind, gilt mittlerweile nur mehr als Mythos. In der Literatur zeigen sich minimale bis keine Unterschiede (Asendorf, 2007; Macaulay, 1978).
In dieser Untersuchung konnten beim Subtest GE_20 keine signifikanten Geschlechtsunterschiede gefunden werden (F1, 386 = 3.689; df = 1; ns.).
Anhand dieses Ergebnisses kann nur gezeigt werden, dass es bei der Bearbeitung der Items keinen Geschlechtsunterschied gibt. Dies trifft jedoch keine Aussagen darüber, ob der Test „genderfair“ ist, also bei beiden Geschlechtern dasselbe misst.
Denkbar wäre, dass z.B. Items, welche eher auf die praktische Welt der Buben bezogen sind, für Mädchen was anderes messen als für Buben. Beispielsweise könnte anhand von Items, welche auf die praktische Welt der Buben bezogen sind,
bei Buben Logik gemessen werden, weil diese mit den Wörtern vertraut sind. Bei Mädchen könnten diese Items beispielsweise eher Wortverständnis messen, da ihnen diese Worte weniger vertraut sind.
Ob ein Test also auch genderfair ist, also bei beiden Geschlechtern dasselbe misst, kann man nur mittels probabilistischer Testtheorie geprüft werden. Dies ist jedoch nicht Bestandteil dieser Arbeit (Bühner, 2011).
Fünfte Fragestellung (F5): Gibt es Schultypenunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
Bereits in der Vorgängerarbeit von Staudt (2008) zeigten sich beim Subtests ISA_GE im TTC Schultypenunterschiede. GymnasiastInnen schneiden erwartungsgemäß bei den kognitiven Fähigkeiten besser ab als HauptschülerInnen. Dieses Ergebnis
konnte auch in dieser Untersuchung bestätigt werden (F1, 386 = 25.972; df = 1;
p < .01). Die GymnasiastInnen (M = 12.67, SD = 2.94) erzielen beim Subtest GE_20 höhere Werte als HauptschülerInnen (M = 10.96, SD = 3.31). Anhand dieser Daten kann nichts darüber ausgesagt werden, ob dieser Intelligenzunterschied bereits zum Zeitpunkt der Schulwahl vorhanden war. Es ist schwierig zu beantworten, ob die Wahl des Schultyps unterschiedliche Auswirkungen auf die Entwicklung der kognitiven Fähigkeiten hat. Auch in der Literatur wurden unterschiedliche Belege dazu gefunden. Weinert (1998) konnte in seiner Längsschnittstudie keine Belege dafür finden, dass sich der IQ in unterschiedlichen Schulformen anders entwickelt. Er verglich jeweils 2 SchülerInnen mit anfangs gleichem IQ welche verschiedene Schulformen besuchten. Es konnten keine Unterschiede festgestellt werden (Weinert, 1998).
In einer weiteren Längsschnittstudie konnte gezeigt werden, dass sich GymnasiastInnen im Vergleich zu HauptschülerInnen bzgl. ihrer intellektuellen Fähigkeiten steigern konnten. Dies traf jedoch nur auf die nicht-sprachlichen Kompetenzen zu (Köller & Baumert, 2002; zitiert nach Stern & Hardy, 2004).
Sechste Fragestellung (F6): Gibt es Schulstufenunterschiede bei den Ergebnissen des Tests zur Erfassung der verbalen Intelligenz?
Staudt (2008) konnte in ihrer Arbeit Altersunterschiede beim Subtest ISA_GE im TTC feststellen. Sie teilte die Testpersonen aufgrund des Alters (angegeben in Jahren
Punktescores. In dieser Untersuchung war ein solcher Vergleich nicht möglich, weil aufgrund der Anonymität nur das Alter in Jahren erhoben wurde. Deshalb wurden in dieser Untersuchung Unterschiede zwischen der 7. und 8. Schulstufe untersucht.
Beim Subtest GE_20 konnten signifikante Schulstufenunterschiede gefunden werden
(F1, 386 = 8.474; df = 1; p < .01). In der 8. Schulstufe (M = 12.04, SD = 3.3) erreichten
die SchülerInnen höhere Punktescores als jene in der 7. Schulstufe (M = 11.48, SD=3.12). Der gefundene Unterschied der Schulstufen sollte jedoch nicht gegen den Einsatz des TTC in der 7. Schulstufe sprechen, weil der Subtest GE_20 durchaus zufriedenstellende Gütekriterien in der 7. Schulstufe aufweist.