In den vorangegangen Abschnitten wurde an verschiedenen Stellen darauf hingewiesen, dass methodische Schwächen bei der Evaluation von Schulungs-programmen für Kinder mit Epilepsie und ihre Familien häufig sind (s. insbesondere Abschnitt 2.2.2). Die Problematik ist jedoch nicht auf diesen Teilbereich psycho-edukativer Programme beschränkt, sondern findet sich ebenso bei vergleichbaren Interventionen für Erwachsene mit Epilepsie. So stellten May und Pfäfflin (2005) fest, dass von 21 in der Literaturrecherche gefundenen psychoedukativen Programmen nur sechs ausreichend evaluiert waren. Als methodische Kriterien für eine aus-reichende Evaluation nennen sie in diesem Zusammenhang insbesondere das Vorhandensein einer Kontrollgruppe, die randomisierte Zuweisung der Studienteil-nehmer zu Treatment- und Kontrollgruppe sowie eine ausreichend große Stichprobe.
Auch Shaw et al. (2007) fanden im Bereich der Selbstmanagement-Programme für erwachsene Epilepsie-Patienten lediglich zwei randomisierte kontrollierte Studien.
Ein Grund für diesen Mangel an randomisierten kontrollierten Studien kann sein, dass eine Randomisierung zwar die beste Möglichkeit ist, um systematische Unterschiede zwischen Treatment- und Kontrollgruppe zu vermeiden, diese aber praktisch nicht immer durchführbar ist. So gehört es beispielsweise zum Behand-lungskonzept mancher Einrichtungen in Deutschland, dass alle Personen an einer Schulung teilnehmen sollen. Da Klinik- oder Rehabilitationsaufenthalte keine sechs Monate dauern, stehen die Patienten darüber hinaus für die Bildung einer Warte-listen-Kontrollgruppe nicht lange genug zur Verfügung. Auch für die in dieser Arbeit berichtete Evaluation des famoses-Elternkurses war eine randomisierte Zuweisung der Eltern zu Schulungs- und Kontrollgruppe aus praktischen Gründen nicht durch-führbar, sodass auf ein quasi-experimentelles Design zurückgegriffen wurde (s.
Abschnitt 4.1).
Aus forschungsmethodischer Sicht stellt dieses Fehlen einer Randomisierung jedoch eine Gefährdung der Validität kausaler Schlüsse von der Schulungsteilnahme auf die Veränderungen in den Zielparametern dar, da die Vergleichbarkeit der Gruppen nicht unbedingt gegeben ist (Rossi, Lipsey & Freeman, 2006; Shadish, Cook
& Campbell, 2002). So ist es denkbar, dass sich aufgrund von Selbstselektionseffekten in der Treatmentgruppe vor allem hoch motivierte und/oder stärker bedürftige Teil-nehmer befinden, während TeilTeil-nehmer der Kontrollgruppe möglicherweise von vornherein wenig Interesse an der Schulung hatten (May & Pfäfflin, 2005). Wenn nun hoch motivierte Personen unabhängig von der Schulungsteilnahme aktiv nach Infor-mationen suchen und dadurch ihr Wissen mehren, kann dies zu einer verzerrten
Evaluation des Schulungsprogramms famoses - Hintergrund 25
Schätzung des Schulungseffektes führen. Unterschiede zwischen solchen nicht äqui-valenten Gruppen in quasi-experimentellen Studien sollten daher bei der Auswertung berücksichtigt werden.
Grundsätzlich gibt es verschiedene Möglichkeiten, um eine mögliche Ver-zerrung der Ergebnisse zu reduzieren. Zum einen stehen Parallelisierungs- bzw.
Matchingverfahren zur Verfügung, bei denen aus den Studiengruppen nur die Teil-nehmer ausgewählt werden, die sich hinsichtlich potentieller Störvariablen ähneln.
Oft werden hierfür Propensity Scores genutzt, die eine gewichtete Zusammenfassung derjenigen möglichen Kovariaten darstellen, aus denen sich die Zuordnung zu Treatment- bzw. Kontrollgruppe vorhersagen lässt (Rosenbaum & Rubin, 1983). Der Vorteil dieser Methode ist, dass damit eine Vielzahl an möglichen Kovariaten berücksichtigt werden kann (Cook & Steiner, 2010). Auf der anderen Seite können Kovariaten statistisch kontrolliert werden, wofür üblicherweise regressionsbasierte Verfahren wie die Kovarianzanalyse zum Einsatz kommen. Beide Gruppen von Verfahren beruhen auf dem Grundgedanken, dass sich der weitgehend unbekannte Selektionsprozess, der zu systematischen Gruppenunterschieden führen kann, durch beobachtete Variablen abbilden und somit kontrollieren lässt (Cook & Steiner, 2010).
Dies verdeutlicht die Wichtigkeit der Erhebung möglicher Störvariablen, insbeson-dere in nicht-experimentellen Studiendesigns.
Es stellt sich jedoch die Frage, welches der oben genannten Verfahren zur Kontrolle von Störvariablen zu bevorzugen ist und welche weiteren Faktoren für die Reduktion des möglichen Bias in quasi-experimentellen Designs eine Rolle spielen.
Der direkte Vergleich randomisierter und nicht randomisierter Zuteilung innerhalb einer Studie im Within-Study Comparison Design kann Hinweise zur Beantwortung dieser Frage geben. Dafür wird idealerweise eine Gesamtstichprobe randomisiert in zwei Teilstichproben aufgeteilt. In einer dieser Teilstichproben erfolgt die Zuteilung zu Treatment- und Kontrollgruppe zufällig, in der anderen quasi-experimentell, sodass letztendlich vier Gruppen untersucht werden. Eine ältere Variante beinhaltet lediglich drei Studiengruppen, indem zu einer experimentellen Studie eine nicht äquivalente Kontrollgruppe hinzugefügt wird (Cook & Steiner, 2010). Cook und Steiner (2010) haben die Daten einer vierarmigen Within-Study Comparison Studie reanalysiert (Shadish, Clark & Steiner, 2008) und zudem eine Übersicht über weitere solcher Studien gegeben. Dabei sind sie zu dem Schluss gelangt, dass insbesondere die Auswahl der Kovariaten einen wichtigen Beitrag zur Reduktion des Bias leistet.
Dem Prätest, einer Messung der abhängigen Variable vor Treatmentbeginn, kommt in diesem Zusammenhang eine besondere, wenn auch eher pragmatische Bedeutung zu, da er in vielen Fällen stärker mit der abhängigen Variablen (Posttest) korreliert als andere zur Baseline erfassten Variablen und oft zu vermuten ist, dass er auch mit
der Selektion in die Studiengruppen zusammenhängt (Cook & Steiner, 2010). Diese Vermutung ist in Bezug auf Schulungsprogramme insofern nachvollziehbar, als dass aus geringem Vorwissen und hoher Beeinträchtigung, beispielsweise in Form von Ängsten, auf einen höheren Informationsbedarf und folglich höheres Interesse an einer Schulung geschlossen werden könnte. Einen weiteren, jedoch geringeren Einfluss auf die Reduktion des Bias hatte die Reliabilität der Kovariaten, während verschiedene Methoden der Adjustierung, in diesem Fall die Nutzung von Propensity Scores (in Form von Matching, als Kovariate und als Gewichtungsvariable) im Vergleich zu regressionsbasierten Verfahren (Kovarianzanalyse), nur zu geringfügi-gen Unterschieden in Bezug auf die Biasreduktion führten (Cook & Steiner, 2010).
Für Schulungsevaluationen, bei denen nur ein quasi-experimentelles Design anwendbar ist, ist jedoch ein Vergleich der Ergebnisse mit auf randomisierter Zuweisung basierenden Befunden nicht möglich. Daher stellt sich die Frage, ob eine Abschätzung des Bias aufgrund nicht äquivalenter Gruppen in diesem Fall durch den Vergleich verschiedener Auswertungsdesigns innerhalb einer Studie möglich ist. Der Begriff der Auswertungsdesigns bezieht sich in diesem Fall sowohl auf die Art der statistischen Analyse als auch auf die damit verbundene Möglichkeit zur Berück-sichtigung verschiedener Kovariaten wie dem Prätest oder weiteren zur Baseline erfassten Variablen. Zwar gibt es auf diese Weise nicht die Möglichkeit, die Ergebnis-se der verschiedenen Auswertungsdesigns auf einem Kontinuum von vollständigem Bias (nicht adjustiertes Quasi-Experiment) bis zum randomisierten Experiment anzuordnen, wie es Cook & Steiner (2010) in der Reanalyse der Daten von Shadish, Clark und Steiner (2008) getan haben, die Variabilität der Ergebnisse kann jedoch möglicherweise schon Hinweise auf die Stärke des Bias geben. Ergeben sich aus verschiedenen Auswertungsdesigns mit denselben Daten sehr unterschiedliche Ergebnisse, so würde dies für einen starken Bias sprechen, sodass insbesondere die nicht adjustierten Ergebnisse nur unter großem Vorbehalt interpretiert werden sollten. Zeigen unterschiedliche Analysen hingegen recht ähnliche Ergebnisse, spräche dies für geringen Bias, unter der Voraussetzung, dass die zur Adjustierung genutzten Variablen in der Lage sind, den Selektionsprozess abbilden zu können.
Letztendlich lässt eine geringe Verzerrung auf die interne Validität der quasi-experimentellen Studienergebnisse schließen. Um das Ausmaß des Bias aufgrund des quasi-experimentellen Designs der in dieser Arbeit berichteten Studie abzuschätzen, sollen daher die Ergebnisse verschiedener Auswertungsdesigns verglichen werden.
Evaluation des Schulungsprogramms famoses - Zielsetzung und Hypothesen 27
3 Zielsetzung und Hypothesen
Das primäre Ziel dieser Arbeit ist die Untersuchung der Wirksamkeit des Schulungsprogramms famoses für Kinder mit Epilepsie und deren Eltern in einer kontrollierten, multizentrischen Studie. Die Studie ist auf die famoses-Elternschulung beschränkt. Im Zuge der Planung der Evaluationsstudie ergaben sich jedoch zwei Nebenfragestellungen, die für die Interpretation der Ergebnisse zur Wirksamkeit von famoses von essentieller Bedeutung sind. Dabei handelt es sich zum einen um die psychometrische Prüfung der für diese Studie größtenteils neu zusammengestellten Skalen und zum anderen um die Abschätzung der möglichen Verzerrung der Ergebnisse, die sich aus dem quasi-experimentellen Design der Studie ergibt (s.
Abschnitt 2.4).