Abschätzung des Bias in den Ergebnissen der famoses-Studie

Auswertungs-6 Diskussion

Das primäre Ziel dieser Arbeit war die Prüfung der Wirksamkeit des Schulungsprogramms famoses für Eltern von Kindern mit Epilepsie in einer prospek-tiven, kontrollierten, multizentrischen Studie. Aufgrund des quasi-experimentellen

Evaluation des Schulungsprogramms famoses - Diskussion 119

den verschiedenen Analysen ließ sich insbesondere durch die Berücksichtigung der Prätest-Werte und teilweise auch durch das Matching verringern (s. Abschnitt 5.4).

Im Vergleich zu den anderen betrachteten Zielparametern nimmt das epi-lepsiespezifische Wissen der Eltern eine Sonderstellung ein, weil es die einzige abhängige Variable ist, die nicht mit den Variablen, die die Beeinträchtigung des Kindes (z.B. Anfallshäufigkeit, körperlicher und geistiger Entwicklungsstand) an-geben, zusammenhängt, sondern vor allem mit dem Schulabschluss der Eltern (s.

Tabelle 5.1.12). Da die Schulbildung der Studiengruppen bereits vor dem Matching vergleichbar war, überrascht es nicht, dass sich die Ergebnisse der Analysen aller eingeschlossenen Teilnehmer kaum von denen der gematchten Teilnehmer unter-scheiden. Allerdings zeigte sich beim epilepsiespezifischen Wissen eine Einschrän-kung der Anwendbarkeit von Kovarianzanalysen zum Gruppenvergleich unter Berücksichtigung der Prätest-Werte: Da das klassische ANCOVA-Modell von homogenen Regressionen von der Kovariate (hier: Prätest) auf die abhängige Variable (Posttest) ausgeht und dementsprechend keine Interaktion von Kovariate und Faktor enthält, kann das Modell die Daten nicht korrekt abbilden, wenn der Effekt der Prätest-Werte auf den Posttest von der Gruppenzugehörigkeit abhängt. Eine Prüfung dieser Annahme sollte daher grundsätzlich erfolgen, indem - im Sinne einer Aptitude-Treatment Interaction Analyse (Snow, 1991) - ein Regressionsmodell mit Interaktion aufgestellt wird. Dies ergab für das epilepsiespezifische Wissen einen signifikanten Interaktionseffekt: Der hohe Steigungskoeffizient des Prätests und der sehr geringe Achsenabschnitt in der Kontrollgruppe spiegeln die Ergebnisse der GEE-Analysen wider, dass das Wissen sich in dieser Gruppe über die Zeit im Mittel nicht ändert. In der Schulungsgruppe hingegen profitieren Eltern mit niedrigeren Ausgangswerten stärker von der famoses-Teilnahme, weil bei ihnen eine größere Verbesserung möglich ist als bei Eltern mit hohem Baseline-Wissen, was insgesamt zu einem geringeren Zusammenhang von Prä- und Posttest führt. Daher ist für diesen Zielparameter davon auszugehen, dass die Varianzanalyse mit Messwiederholung im Vergleich zur klassischen Kovarianzanalyse den Schulungseffekt angemessener darstellen kann.

Darüber hinaus zeigte sich vor allem beim epilepsiespezifischen Wissen, dass auch Unterschiede in der Standardisierung der Mittelwertsdifferenzen der verschie-denen Auswertungsmethoden einen Einfluss auf die Effektstärkenmaße und ihre Variabilität haben: Während für die ANOVA mit Messwiederholung, ebenso wie für die GEE-Analysen der weiteren Zielparameter, an der gepoolten Streuung der Prätest-Werte standardisiert wurde, wurde für t-Tests und ANCOVA die Streuung der Posttest-Werte genutzt. Diese Vorgehensweise wurde als die übliche Form der Standardisierung von Effektstärken für die jeweils zugrundeliegenden

Studiendesigns und die dabei üblicherweise verfügbaren Daten gewählt²¹ (Carlson &

Schmidt, 1999, Morris & DeShon, 2002). Verglichen mit der Prätest-Streuung unterliegt die Posttest-Streuung jedoch weiteren Einflüssen. So kann sich bei-spielsweise das Treatment individuell unterschiedlich auswirken und so die Posttest-Streuung erhöhen, was zu Unterschieden in den Effektstärken aus verschiedenen Auswertungsansätzen führen kann, die nicht dieselbe Standardisierung nutzen. Dies sollte auch beim Vergleich von Interventionseffekten über Studien hinweg berück-sichtigt werden (Carlson & Schmidt, 1999; Morris & DeShon, 2002). In der vorliegenden Studie war die Streuung der Posttest-Werte bei einzelnen Ziel-parametern etwas geringer als die Prätest-Streuung, was zu höheren Effektstärken bei Standardisierung an der Posttest-Streuung führte. Dieser Umstand lässt sich beim epilepsiespezifischen Wissen als Hauptursache für die Variabilität der Effekt-stärken vermuten, da die Unterschiede in den EffektEffekt-stärken bei einheitlicher Standardisierung nur noch gering waren (s. Abschnitt 5.4).

Die Betrachtung der Analysen zu den weiteren drei Zielparametern, die für diese Fragestellung untersucht wurden, zeigt, dass ein Bias in den Ergebnissen quasi-experimenteller Studien ohne Berücksichtigung der Prätest-Werte grundsätzlich in beide Richtungen möglich ist (s. Abschnitt 5.4). Dies ist abhängig sowohl von der Richtung des Treatmenteffekts, d.h., ob die Werte in der Schulungsgruppe über die Zeit ansteigen oder abfallen, als auch davon, welche der beiden Gruppen zum Prätest höhere Werte aufwies. Bei der Krankheitsbewältigung zeigte sich ein Anstieg der Skalenwerte nach Schulungsteilnahme. Gleichzeitig waren die Prätest-Werte der Kontrollgruppe etwas, wenn auch nicht signifikant, höher als die der Schulungs-gruppe. Der t-Test der Posttest-Werte führte daher zu einer Unterschätzung des Schulungseffekts. Dieser Fall ist in Abbildung 6.1A beispielhaft dargestellt. Bei der Unterstützung des Kindes zur Selbständigkeit hingegen waren die Prätest-Werte der Schulungsgruppe ohne Matching etwas höher bei annähernd gleichbleibenden Skalenwerten in beiden Gruppen. Der t-Test führte hier zu einer Überschätzung des Schulungseffektes (vgl. Abbildung 6.1B). Die Ängste vor den zukünftigen Folgen der Epilepsie und ihrer Behandlung sind in der Schulungsgruppe erwartungsgemäß zurückgegangen. Durch die etwas höheren Prätest-Werte in der Kontrollgruppe überschätzte der t-Test insbesondere bei den nicht gematchten Gruppen die Schulungseffekte (vgl. Abbildung 6.1C). Diese Beobachtungen zeigen somit nicht nur erneut die Wichtigkeit der Erhebung von Prätest-Werten in quasi-experimentellen Studien (Shadish et al., 2002), sondern weisen auch darauf hin, dass sich die

21Für Prä-Post-Designs mit Kontrollgruppe ist darüber hinaus auch eine Standardisierung an der Streuung der Veränderungswerte möglich. Da die sich daraus ergebenden Effektstärken jedoch in ihrer Metrik nicht mit denen der t-Tests vergleichbar sind, wurden alle Effektstärken für diese Studie in der Metrik der Rohwerte berechnet.

Evaluation des Schulungsprogramms

Richtung der Verzerrung ohne Kenntnis der Prätest

vorhersagen lässt, selbst wenn bereits bei Studienplanung Annahmen über die Richtung des Treatment-Effekts bestehen.

Abbildung 6.1. Illustration der Auswirkung von Prätest des Treatmenteffektes durch den

Die Unterstützung des Kindes zur Selbständigkeit und die Ängste der Eltern vor zukünftigen Folgen der Epilepsie hingen stärker mit Indikatoren für die Beein trächtigung des Kindes durch die Epilepsie zusammen als die Krankheitsbewältigung und das epilepsiespezifische Wissen (s.

beiden erstgenannten Zielparametern das Matching auf Grundlage der kindlichen Beeinträchtigung zu einer Reduktion des Bias, erkennbar an einer geringeren Variabilität der Effektstärken der ver

gematchten Gruppen. Das Matching auf der Basis von Kovariaten, bei denen von einem Einfluss auf den Selektionsprozess auszugehen ist, ist demnach geeignet, um die Vergleichbarkeit nicht äquivalenter Gruppen zu er

keine vollständige Biasreduktion, sodass dennoch der Prätest der abhängigen Varia ble in der Analyse berücksichtigt werden sollte.

Insgesamt zeigte sich für die vorliegende Studie jedoch eine geringe Variabi lität der Effektstärken, sobald die Prätest

und die Standardisierung vergleichbar war. Diese Ergebnisse decken sich mit der Schlussfolgerung von Cook und Steiner (2010) in Bezug auf die besondere Rolle, die der Prätest unter den möglichen Ko

Variablen durch Matching oder als Kovariate hatte, anders als in Cook und Steiners (2010) Reanalyse der Daten von Shadish et al. (2008), nur wenig Einfluss auf die Effektstärken. Für die geringen Unterschiede zwisch

Evaluation des Schulungsprogramms famoses - Diskussion

Richtung der Verzerrung ohne Kenntnis der Prätest-Unterschiede der Gruppen nicht vorhersagen lässt, selbst wenn bereits bei Studienplanung Annahmen über die

Effekts bestehen.

Illustration der Auswirkung von Prätest-Unterschieden auf die Verschätzung des Treatmenteffektes durch den t-Test der Posttest-Werte.

Die Unterstützung des Kindes zur Selbständigkeit und die Ängste der Eltern der Epilepsie hingen stärker mit Indikatoren für die Beein trächtigung des Kindes durch die Epilepsie zusammen als die Krankheitsbewältigung und das epilepsiespezifische Wissen (s. Tabelle 5.1.12). Daher führte vor allem bei den beiden erstgenannten Zielparametern das Matching auf Grundlage der kindlichen Beeinträchtigung zu einer Reduktion des Bias, erkennbar an einer geringeren Variabilität der Effektstärken der verschiedenen Auswertungsmethoden bei den gematchten Gruppen. Das Matching auf der Basis von Kovariaten, bei denen von einem Einfluss auf den Selektionsprozess auszugehen ist, ist demnach geeignet, um die Vergleichbarkeit nicht äquivalenter Gruppen zu erhöhen. Sie garantieren aber keine vollständige Biasreduktion, sodass dennoch der Prätest der abhängigen Varia ble in der Analyse berücksichtigt werden sollte.

Insgesamt zeigte sich für die vorliegende Studie jedoch eine geringe Variabi sobald die Prätest-Werte angemessen berücksichtigt wurden und die Standardisierung vergleichbar war. Diese Ergebnisse decken sich mit der Schlussfolgerung von Cook und Steiner (2010) in Bezug auf die besondere Rolle, die der Prätest unter den möglichen Kovariaten einnimmt. Der Einbezug weiterer Variablen durch Matching oder als Kovariate hatte, anders als in Cook und Steiners (2010) Reanalyse der Daten von Shadish et al. (2008), nur wenig Einfluss auf die Effektstärken. Für die geringen Unterschiede zwischen den Effektstärken der 121

Unterschiede der Gruppen nicht vorhersagen lässt, selbst wenn bereits bei Studienplanung Annahmen über die

Unterschieden auf die Verschätzung

Die Unterstützung des Kindes zur Selbständigkeit und die Ängste der Eltern der Epilepsie hingen stärker mit Indikatoren für die Beein-trächtigung des Kindes durch die Epilepsie zusammen als die Krankheitsbewältigung

). Daher führte vor allem bei den beiden erstgenannten Zielparametern das Matching auf Grundlage der kindlichen Beeinträchtigung zu einer Reduktion des Bias, erkennbar an einer geringeren schiedenen Auswertungsmethoden bei den gematchten Gruppen. Das Matching auf der Basis von Kovariaten, bei denen von einem Einfluss auf den Selektionsprozess auszugehen ist, ist demnach geeignet, um n. Sie garantieren aber keine vollständige Biasreduktion, sodass dennoch der Prätest der abhängigen

Varia-Insgesamt zeigte sich für die vorliegende Studie jedoch eine geringe Variabi-Werte angemessen berücksichtigt wurden und die Standardisierung vergleichbar war. Diese Ergebnisse decken sich mit der Schlussfolgerung von Cook und Steiner (2010) in Bezug auf die besondere Rolle, die variaten einnimmt. Der Einbezug weiterer Variablen durch Matching oder als Kovariate hatte, anders als in Cook und Steiners (2010) Reanalyse der Daten von Shadish et al. (2008), nur wenig Einfluss auf die en den Effektstärken der

Auswertungsansätze, die die Prätest-Werte mit einbeziehen, kommen zwei Erklärungen in Frage:

1. Es gibt weiterhin eine Verzerrung in den Ergebnissen durch Unterschiede zwischen den Gruppen, die aber durch die berücksichtigten Kovariaten nicht reduziert werden konnte.

2. Die Unterschiede zwischen den nicht randomisierten Gruppen ließen sich durch Einbezug der Kovariaten, und hier insbesondere den Prätest, kontrollieren, sodass kein bzw. kaum noch Bias in den Ergebnissen vorhanden ist.

Die erste Erklärung impliziert, dass es weitere, nicht berücksichtigte Variablen gibt, in denen die Gruppen sich systematisch unterscheiden, wobei das Ausmaß des Einflusses dieser Unterschiede auf die Studienergebnisse nicht abschätz-bar ist. Dagegen spricht allerdings, dass mit den Studienfragebögen umfangreiche soziodemografische und krankheitsbezogene Informationen der Familien erfasst wur-den, aus denen die genutzten Kovariaten eine theoretisch und praktisch begründete Auswahl darstellen. Bei jedem der betrachteten Zielparameter korrelierte vor allem der Prätest stark mit dem Posttest. Gleichzeitig ist es theoretisch nachvollziehbar, dass die Ausprägung des Prätests sowie die für das Matching genutzten Variablen im (Selbst-)Selektionsprozess in die Studiengruppen eine Rolle gespielt haben, da davon auszugehen ist, dass beispielsweise starke Wissensdefizite oder große Ängste in Bezug auf die Epilepsie, aber auch eine starke Beeinträchtigung des Kindes durch die Erkrankung das Bedürfnis der Eltern nach einer Schulung beeinflusst haben (s.

Abschnitt 2.4). Letztendlich ist zwar durch das Fehlen eines randomisierten Studienzweiges keine Abschätzung des Gesamtbias in den Ergebnissen dieser Arbeit möglich, der Vergleich verschiedener Auswertungsmöglichkeiten deutet jedoch darauf hin, dass der Bias aufgrund des quasi-experimentellen Designs durch den Einbezug des Prätests und der weiteren Kovariaten zumindest zu einem großen Teil reduziert werden konnte. Somit sprechen die Ergebnisse des Vergleichs von Auswertungs-designs für die interne Validität der Ergebnisse zur Wirksamkeit des famoses-Elternkurses.

Einschränkend ist zu berücksichtigen, dass die Ergebnisse aus dem Vergleich von Auswertungsansätzen nur für die in dieser Arbeit berichtete Studie gelten. Zwar stellen die ausgewählten Zielparameter verschiedene mögliche Konstellationen aus Effektstärke und Zusammenhang von Kovariate und abhängiger Variable dar, jedoch lassen sich andere Einflussfaktoren, wie beispielsweise die Unterschiedlichkeit der Gruppen zur Baseline, anhand der Daten einer einzelnen Studie nicht variieren. In-wiefern der hier genutzte Ansatz zur Abschätzung des Bias im quasi-experimentellen

Evaluation des Schulungsprogramms famoses - Diskussion 123

Setting unter verschiedenen praktischen Gegebenheiten geeignet ist, könnte in Simulationsstudien geprüft werden. Für die Planung von quasi-experimentellen Evaluationsstudien lässt sich auf Grundlage der in diesem Abschnitt angestellten Überlegungen die Empfehlung von Shadish, Clark und Steiner (2008) wiederholen, Kovariaten mit potentiellem Einfluss auf den Selektionsprozess sorgfältig auszu-wählen und zu erheben, damit sie in der Analyse berücksichtigt werden können.

6.1.2 Praktische Hinweise zu den Auswertungsverfahren - Möglichkeiten und