Zum Problem der Evaluationsforschung im außerklinischen setting

Helmchen (2001) führt aus, dass man zwar heute allgemein der Ansicht sei, ein neu-es Arzneimittel dürfe nicht ohne vorherige Prüfung zugelassen werden, eine ähnliche Übereinstimmung jedoch im Hinblick auf soziale Interventionen nicht bestehe. Dabei sei der Schaden aus der Anwendung irregeleiteter sozialer Theorien oder durch die fehlerhafte Anwendung sensibler Theorien als ähnlich groß zu bezeichnen. Die Eva-luation neu einzuführender Interventionsmaßnahmen müsse daher selbstverständlich werden. Nach Biefang (1980) ist Evaluation das wissenschaftliche Bemühen, Pla-nung und Durchführung von Programmen zur Lösung gesellschaftlicher Probleme auf eine rationale Basis zu stellen. Es sollen jene Handlungsalternativen ausgewählt werden, die bestimmte Bedürfnisse am besten befriedigen bzw. die vorgegebenen Ziele am besten erreichen. Evaluationsforschung hat demnach die Darstellung der (Aus- und Neben-) Wirkungen von Interventionsprogrammen in der praktischen An-wendung zum Ziel. Dabei sind nicht selten die nichtintendierten Effekte interessanter als die ursprünglich formulierten Intentionen und sollten daher in der Ergebnisdarstel-lung besonders hervorgehoben und keinesfalls verschwiegen werden (Brandstädter, 1990). Interessant wäre auch die Darstellung sogenannter fault trees, in denen Be-dingungen für das Nicht-Erreichen von Zielen aufgeführt werden. Dadurch kann zur schnelleren Lokalisation von Störstellen in einem Interventionsprogramm oder -prozeß beigetragen werden. Daher ist immer auch die Beschreibung einzelner indivi-dueller Verläufe in der Evaluationsforschung interessant, beispielsweise die Darstel-lung von Fällen besonders erfolgreicher Nutzung und von Fällen mit erfolglosem oder problematischem Verlauf. Auch Mundt&Backenstraß (2001) betonen die Wichtigkeit der Veröffentlichung von negativen Studienergebnissen, u.a. weil nach Ansicht der Autoren die Betonung von Therapiezielen wie Symptomreduktion und Funktionsver-besserung wichtige andere Psychotherapieaufgaben, wie z.B. die Begleitung chro-nisch Kranker, benachteiligt.

Darüber hinaus muß bei der Evaluationsforschung auch immer der Kosten-Nutzen-Aspekt beachtet werden. Es ist von untergeordneter Bedeutung, wie gut ein Pro-gramm seine Ziele erreicht, wenn diese Ziele von anderen ProPro-grammen effektiver erreicht werden bzw. die Zielerreichung als inhaltlich fragwürdig angesehen werden kann. Andererseits kann ein Programm, mit dem bestimmte Ziele nur annähernd er-reicht werden können, dennoch anderen Programmen überlegen sein, mit denen eine Zielerreichung noch weniger gewährleistet ist oder mit erheblich höheren Kosten verbunden wäre.

Die Versorgung psychiatrischer Patienten im stationären Rahmen einer Klinik, bei-spielsweise einer Langzeitstation oder einer Rehabilitationsstation, stellt mittlerweile für das Gros der Patienten die Ausnahme dar (vgl. Kap. 3.2. zur Reduktion der Ver-weildauer in psychiatrischen Kliniken). Dementsprechend muß sich die Evaluations-forschung mehr dem setting außerhalb der vollstationären Betreuung zuwenden, da die meisten Patienten in diesem setting längerfristig betreut werden und

beispiels-weise auch therapeutische Maßnahmen oder Trainingsprogramme oft nur noch in diesem Rahmen zur Anwendung kommen können. Für Untersuchungen in solchen non-academic-sites sind jedoch die unter Laborbedingungen anzulegenden Maßstä-be wissenschaftlicher Genauigkeit oft nur schwer aufrecht zu erhalten. Nach Brand-städter (1990) besteht die methodische Kunst der Evaluationsforschung darin, unter feldexperimentellen Bedingungen zu hinreichend validen bedingungsanalytischen Folgerungen zu gelangen. Probleme bestehen dabei zunächst bei der Auswahl und Zusammenstellung von Stichproben. Oftmals ist eine Randomisierung nicht erreich-bar, da nicht einem Teil der Klienten eine potenziell erfolgversprechende Intervention vorenthalten werden soll. Auf der anderen Seite schränkt eine möglicherweise doch durchgeführte Randomisierung teilweise die externe Validität unnötig ein, da Grup-pen künstlich zusammengestellt werden, in einer Weise, die so in der Praxis nie vor-käme. Dennoch stellt nach Mundt&Backenstraß (2001) für den grundsätzlichen Be-weis der Wirksamkeit eines neuen Verfahrens das Modell der randomisierten, kon-trollieren Studien nach wie vor den Goldstandard dar. Ziel müsse es u.a. sein, eine rationale, über die Schulen und Disziplinen hinweg nachvollziehbare und replizierba-re Bewertung des Nutzens von Psychotherapien zu erreplizierba-reichen (evidence-based-psychotherapy).

Hinzu kommt bei Evaluationsforschung im außerklinischen setting die oftmals un-übersichtliche Zahl an Stör- und Kontrollvariablen (Rittmannsberger, 1993). Diese können zwar in der Regel nicht kontrolliert werden, man sollte sich jedoch über ihre Existenz und ihren möglichen Einfluß im Klaren sein. Dabei darf man auch Prozesse innerhalb der untersuchten Interventionsmaßnahme selbst nicht übersehen. Psy-chisch Kranke werden mehrdimensional behandelt und es ist enorm schwierig, die Einflüsse verschiedener pharmakologischer, psychotherapeutischer oder soziothera-peutischer Maßnahmen zu unterscheiden (Eikelmann&Reker, 1998). Mögliche Stör-größen sind:

• Individuelle Faktoren: Spontanverlauf der Erkrankung, Reifung etc.

• Soziale Faktoren: private Ereignisse, life events, gesellschaftliche Ereignisse (Ar-beitsmarktsituation) etc.

• Therapeutische Faktoren: Klima der Institution, sonstiges Angebot, Beziehung Kli-ent-Trainer, Mehrfachbehandlung (Psychopharmaka, Therapie) etc.

• Methodische Faktoren: Datenerfassung, Qualität der Instrumente, Art der Erhe-bung, Ausfälle. Effekte durch Meßwiederholung, Modellversuchsbedingungen, Se-lektionsprozesse bei Gruppenbildung, drop-outs, statistische Regression etc.

Allerdings kann angenommen werden, dass bei genügend großen Gruppen und ei-ner randomisierten Zuteilung zu Experimental- und Kontrollgruppe sich die Störgrö-ßen auf beide Gruppen gleichmäßig auswirken und damit die Unterschiede zwischen beiden Gruppen hauptsächlich auf Effekte des Interventionsprogrammes zurückzu-führen sind. Jedoch wirkt auch dieses nicht auf alle Untersuchungsteilnehmer der Experimentalgruppe in gleicher Weise, so dass selbst bei standardisierten, manual-gestützten Interventionen nicht von einem wirklich vergleichbaren Treatment für alle Untersuchungsteilnehmer ausgegangen werden kann. Hinzu kommt, dass auch die sogenannte Standardbehandlung, wie sie beispielsweise Experimental- und Kontroll-gruppe erhalten, nicht von allen Teilnehmern in gleicher Weise genutzt wird und sich weitere Verzerrungen ergeben können. So besteht ein schwer aufzulösender Konflikt zwischen interner und externer Validität einer experimentellen Untersuchung: Die Ergebnisse einer Untersuchung sind um so aussagekräftiger, je homogener man die Klientengruppe wählt und je mehr es gelingt, störende Einflüsse fernzuhalten. Um

dies zu erreichen, muß man jedoch eine extreme Selektion vornehmen und Bedin-gungen für die Untersuchung schaffen, die von den üblichen weit abweichen, so dass diese Aussagen dann wiederum nur für einen kleinen Teil aller Patienten und für ganz besondere Bedingungen gelten können, was die Verallgemeinerbarkeit und somit die externe Validität stark beeinträchtigt. Evaluationsforschung im psychiatri-schen Bereich ist daher oft eher als Verlaufsforschung unter definierten Bedingungen zu verstehen denn als kontrollierte Evaluation einer bestimmten Behandlungs- oder Rehabilitationsmaßnahme (Rittmannsberger, 1993; Mundt&Backenstraß, 2001).

Um die kurzfristigen Effekte einer Maßnahme, die beispielsweise auch durch die un-spezifischen Effekte besonderer Zuwendung oder abwechslungsreicher Interventio-nen entstanden sein könInterventio-nen, von längerfristig tragfähigen Veränderungen unter-scheiden zu können, sind langfristig differenzierende Effektkontrollen notwendig (Fiedler, 1996). Insbesondere können sich dabei kurzfristig positive Effekte als län-gerfristig negativ erweisen, wenn beispielsweise bei schizophrenen Patienten eher aktive, affektprovozierende Bewältigungsstrategien eingeübt werden, welche kurzfris-tig positive Ergebnisse erzielen, langfriskurzfris-tig jedoch die Rückfallzahlen ansteigen las-sen ( Lewandowski, Buchkremer & Stark, 1994, zit. nach Fiedler, 1996). Daher sollte die Durchführung von Katamnese-Untersuchungen als fester Bestandteil von Evalua-tionsforschung angesehen werden.

Buchkremer&Klingberg (2001) unterscheiden klinische Wirksamkeitsstudien nach Efficacy und Effectiveness, wobei efficacy für die Wirksamkeit unter kontrollierten Bedingungen steht, Effectiveness für die Wirksamkeit unter Praxisbedingungen. Da-bei sind Merkmale von Efficacy-Studien (RCT, randomized clinical trial):

• explizite Ein- und Ausschlusskriterien

• randomisierte Zuteilung

• Einbeziehung einer Kontrollgruppe

• manualisierte Therapie mit festgelegten Rahmenbedingungen

• operationalisierte Zielkriterien

• „blinde“ Rater bzw. minimal: therapeutenunabhängige Erfolgsbeurteilungen

• statistische Auswertung im Sinne konfirmativer Hypothesenprüfung Dagegen seien explizit geforderte Merkmale von Effectiveness-Studien:

• operationalisierte outcome-Erfassung

• prospektives Design

• Kosten-Nutzen-Analyse

• Lebensqualität als eines der Zielkriterien (keine Beschränkung auf reine Sym-ptomveränderungen)

• weiter gefasste Einschlußkriterien (u.a. auch Berücksichtigung von Komorbiditä-ten)

Wie in diesem Kapitel noch dargelegt werden wird, erfüllt die hier vorgestellte Studie mit einer Ausnahme alle Anforderungen an klassische kontrollierte Studien mit stö-rungsspezifischem Vorgehen und manualgestützter Therapie. Die einzige Abwei-chung besteht darin, dass es weder „blinde“ Rater noch eine therapeutenunabhängi-ge Erfolgsbeurteilung gab, abtherapeutenunabhängi-gesehen von der Bewertung in standardisierten Fratherapeutenunabhängi-ge- Frage-bögen. Auf der anderen Seite erhöht diese Einschränkung aber die Adherence des angewandten Trainingsverfahrens und wurde durch größtmögliche wissenschaftliche Redlichkeit zu kompensieren versucht. Aber auch die Anforderungen an

Effective-ness-Studien werden von unserem Design annähernd erfüllt. Neben reinen Fragebo-gen-Erhebungen werden auch andere outcome-Variablen erhoben, die sich teilweise auf die Lebensqualität und Zufriedenheit mit der Maßnahme bei den Rehabilitanden beziehen, auch katamnestische Daten werden einbezogen. Die Interpretation der Ergebnisse wird eine Kosten-Nutzen-Analyse umfassen. Bei den Einschlußkriterien für die Studie spielte Komorbidität keine Rolle, sofern eine schizophrene Primärer-krankung bestand.

Abschließend sei noch auf das augenfällige Problem der Verflechtung von Erkennt-nis und Interesse in der Evaluationsforschung hingewiesen (Brandstädter, 1990), welches beispielsweise besteht, wenn Forscher ein selbstentwickeltes Programm evaluieren. Priebe (1999) faßt zusammen, dass Studien, deren Autoren selbst entwi-ckelte oder selten verwendete Skalen benutzten, mit höherer Wahrscheinlichkeit eine Wirksamkeit der jeweils getesteten Behandlungsmethode aufzeigten. Der meist gro-ße Interpretationsspielraum, den Feldstudien im Vergleich zu kontrollierten Experi-menten aufweisen, zwingt bei der Analyse und Gewichtung der gefundenen Ergeb-nisse zu besonderer Sorgfalt und dem Versuch, dem Streben nach Dissonanzreduk-tion bei der InterpretaDissonanzreduk-tion zu widerstehen. So wehrten beispielsweise in einem Expe-riment von Lord, Ross & Lepper (1979) die Versuchspersonen einstellungsdiskrepan-te Evidenz ab, indem sie die methodischen Schwachpunkeinstellungsdiskrepan-te der betreffenden Studie besonders herausstellten. Bei Studien mit einstellungskonformen Ergebnissen wur-den dagegen die entsprechenwur-den methodischen Vorzüge hervorgehoben (zit. nach Brandstädter, 1990). Beachtet man jedoch diese Gefahr bei der Dateninterpretation, so hat die Evaluation selbstentwickelter Interventionsprogramme im alltäglichen Ar-beitskontext den großen Vorteil, dass die Umsetzung der Forschungsergebnisse in die Praxis schnell und problemlos erfolgen kann und zugleich Erkenntnisse, die wäh-rend der praktischen Anwendung gefunden wurden, in das Evaluationsvorhaben mit einfließen können. Auf diese Weise ist ein enger Zusammenhang zwischen wissen-schaftlicher Forschung und praktischer Anwendung gegeben, der über das sonst übliche Maß weit hinausgeht.

5.2. Fragestellungen, Operationalisierung und