LS 15 Sitzungen
6. Diskussion
6.3 Einschränkungen der Untersuchung
In den Grenzen der vorliegenden Evaluationsuntersuchung musste ein Kompromiss zwischen dem Ziel der Wissenschaftlichkeit, das sich in den Standards und Empfehlungen für die Evaluationsforschung ausdrückt und der praktischen Durchführbarkeit gefunden werden (Patry & Hager, 2000). Während auf der einen Seite die Wahrung der internen Validität durch die Kontrolle von Störfaktoren als Basis für die Interpretierbarkeit der Ergebnisse im Vordergrund steht, ist auf der anderen Seite der Kontakt und Umgang mit dem Patienten und die Verfügbarkeit personeller und materieller Ressourcen maßgeblich. Mit einer Evaluationsuntersuchung, die außerhalb des Labors mit einer weniger kontrollierbaren und manipulierbaren Umwelt sowie verschiedenen einschränkenden Rahmenbedingungen umzugehen hat, sind daher zwangsläufig Validitätseinbußen verbunden (vgl. Bortz & Döring, 1995; Rossi, Freeman & Hofmann, 1988).
Da die Trainingsgruppen nacheinander durchgeführt wurden, konnte keine Randomisierung vorgenommen werden, was besonders problematisch ist, da nicht auszuschließen ist, dass dadurch Selektionseffekte zustande gekommen sind. Die Fremdbeurteilungsbögen CBCL 4-18, TRF und FBB-HKS wurden durch Eltern und insbesondere durch Lehrer nur lückenhaft ausgefüllt und zurückgegeben. Die Unvollständigkeit der Datenerhebung birgt das Risiko, dass die Ergebnisse durch eine nicht zufällige Verteilung der Fehlwerte verzerrt wurden.
Ein weiteres methodisches Problem hängt mit der Heterogenität des Störungsbildes zusammen. HKS-Kinder zeigen große Unterschiede hinsichtlich der beeinträchtigten Funktionen und Bereiche, was sich in der vorliegenden Studie in einer Diagnosenvielfalt in den Vergleichsgruppen widerspiegelte. Die Unterschiedlichkeit in den Gruppen ist vor allem deshalb kritisch zu betrachten, da die Stichprobengröße in der Untersuchung relativ gering war. Bei kleiner Stichprobengröße und großer Variation innerhalb der Stichprobe resultieren große Stichprobenschwankungen, so dass die vermuteten Effekte relativ groß ausfallen müssen, um nicht mehr als zufällige Abweichungen zu gelten. Damit wird es für die
Forschungshypothesen bzw. den daraus abgeleiteten empirischen Vorhersagen im vorliegenden Fall jedoch relativ erschwert, sich zu bewähren.
Die Untersuchung weist einige gravierende Schwachstellen auf, die die Aussagefähigkeit der gefundenen Ergebnisse einschränken. Aufgrund geringer personeller Ressourcen konnte für die Studien 1 - 3 für die isolierte Evaluation nur eine Wartekontrollgruppe realisiert werden. Mit einer nicht-trainierten Kontrollgruppe sind zwar interventionsunabhängige Wirkungen wie Retesteffekte (z.B. Erinnerung oder Übung) und Effekte des zwischenzeitlichen Geschehens (z.B. Entwicklungseffekte), jedoch nicht interventionsgebundene Effekte kontrolliert worden. Diese haben möglicherweise den Interventionseffekt beeinflusst. Zu den interventionsgebundenen Effekten werden insbesondere Aspekte der sozialen Interaktion wie Aufmerksamkeit und Zuwendung gezählt, die den Kindern und Eltern während der mehrmonatigen Behandlung, aber nicht den Eltern der Wartegruppe zuteil wurden. Hager, Hübner und Hasselhorn (2000) konnten für den Bereich kognitiver Förderprogramme zeigen, dass der sozialen Interaktion eine große Bedeutung im Hinblick auf die Beurteilung der Programmwirksamkeit zukommt, da sie mit ihrer allgemeinen Wirkung jene des Trainings vortäuscht. Es ist denkbar, dass die Programmwirkungen des THOP (Studie 3) überschätzt wurden, da insbesondere in dieser Studie Zuwendungs- und Aufmerksamkeitseffekte eine wichtige Rolle für die therapeutische Beziehung gespielt haben mögen, die ihrerseits wichtige Einflussfaktoren für den Therapieprozess und -erfolg sind (vgl. z.B. Hoffmann, 2000).
Weitere mit einem Training verbundene Einflussfaktoren können z.B. eine allgemeine Motivationsförderung und Erfolgserwartungshaltungen der Eltern sein, die zu einer verzerrten Einschätzung der Programmwirksamkeit führen. In der vorliegenden Untersuchung können daher keine reinen Trainingseffekte, sondern nur „Bruttowirkungen im engeren Sinne“ (vgl.
Hager und Hasselhorn, 2000) bestimmt werden.
Eine der wirksamsten Maßnahmen zur Kontrolle bekannter und vor allem auch unbekannter Störfaktoren ist die Randomisierung, die im vorliegenden Fall nicht eingesetzt wurde. Wenn die Familien randomisiert der Trainings- und der Wartegruppe zugewiesen worden wären, hätte man den Patienten bei vorhandener Indikation und Möglichkeit eine Therapie vorenthalten, was aus ethischen Gründen nicht vertretbar war. Die Zusammenstellung der Gruppen orientierte sich nach den Behandlungsterminen, die von den Therapeuten angeboten werden konnten und danach, wann entsprechend viele Familien bereit
und organisatorisch in der Lage waren an einer 15-wöchigen Behandlung teilzunehmen.
Wegen der geringen zur Verfügung stehenden Versuchspersonenzahl konnten bekannte potentielle Störfaktoren durch Eliminierung oder Konstanthaltung nicht in vollem Umfang kontrolliert werden. Alle Familien, bei denen die Teilnahmevoraussetzungen erfüllt waren, wurden in die Studie aufgenommen, was zu nicht-äquivalenten Gruppen geführt hat. Sowohl das Intelligenzniveau als auch die gleichzeitige Behandlung mit Psychostimulanzien waren in den Gruppen ungleichverteilt. Die Kinder der THOP-Gruppe sowie die der Gruppe, welche das kombinierte Training nach Lauth und Schlottke erhielt, waren im Schnitt acht bzw. sechs IQ-Punkte intelligenter als die Kinder der Wartegruppe und jene, die nur das Basistraining nach Lauth und Schlottke erhalten haben. Die letztgenannten Kinder waren etwas älter. Ein entscheidender Faktor entstand durch die gleichzeitige Behandlung mit Psychostimulanzien.
In der LS10-Gruppe und in der Wartegruppe erhielten 6% Psychostimulanzien, in der LS15-Gruppe 20% und in der THOP-LS15-Gruppe sogar 48%. Durch Kontrolle dieses Faktors konnte belegt werden, dass Kinder, die gleichzeitig zum Trainingszeitraum medikamentös behandelt wurden, größere Veränderungen in externalisierenden, hyperaktiven und impulsiven Verhaltensweisen zeigten, als Kinder ohne Psychostimulanzientherapie. Dieses Ergebnis spricht für eine Kombination von verhaltenstherapeutischen Maßnahmen mit Psychostimulanzien. Erst durch die Medikamenteneffekte scheinen manche Kinder von therapeutischen Maßnahmen profitieren zu können.
In Studie 4 kam trotz Randomisierung bzgl. Intelligenz und gleichzeitiger Behandlung mit Psychostimulanzien eine vergleichbare Konstellation wie in den Studien 1-3 zustande.
Die mit dem Marburger Konzentrationstraining behandelten Kinder waren intelligenter als die Kinder der Kontrollgruppe (ca. neun IQ-Punkte) und wurden häufiger medikamentös behandelt (60% vs. 13%). Der Effekt der Medikamente ist in dieser Studie jedoch nicht eindeutig zu interpretieren.
Ein weiterer Aspekt für die relativ geringe Wirksamkeit der Trainingsprogramme könnte darin begründet sein, dass die Nachtestung in den einzelnen Studien dieser Arbeit relativ früh erfolgte. Verzögerte Auswirkungen der Therapie zeigen sich aufgrund notwendiger Umstrukturierungsprozesse manchmal erst nach einigen Monaten. Dies ist ein so genannter „sleeper effect“ (Bell, Lynne & Kolvin, 1989).