Was kann, was könnte eine umfassende psychotherapeutische Versorgungsforschung leisten? Beispiele/konkrete Ansätze aus dem Bereich der stationären psychotherapeutischen Versorgung: Werner W. Wittmann (Mannheim)

(1)

Was kann, was könnte eine umfassende

psychotherapeutische Versorgungsforschung leisten?

Beispiele/konkrete Ansätze aus dem Bereich der stationären psychotherapeutischen Versorgung

Werner W. Wittmann Universität Mannheim

Landespsychotherapeutentag 2008

10 Jahre Psychotherapeutengesetz

Perspektiven der psychotherapeutischen Versorgung

Stuttgart, 5. Juli 2008

(2)

Eine Stunde Psychotherapie für Psychotherapeuten

• Warum gibt es nicht mehr Forschungsergebnisse aus dem Bereich der Versorgung mit ambulanter Psychotherapie?

• Probleme des Wissenstransfers aus der Forschung in die Praxis?

• Widerstände gegenüber der Forschung in der Praxis?

• Gibt es gar ein Angstsyndrom in allen Bereichen des Gesundheitswesen gegenüber einer Evidenzbasierung?

• Wer evaluiert wird hat berechtigterweise vielfältige Ängste, z.B. wird die Bewertung fair,adäquat und umfassend durchgeführt? Ist das was ich tue gesundheitspolitisch, sozial und praktisch relevant? Können meine Ergebnisse Kosten-Nutzen oder Kosten- Effektivitätskriterien standhalten?

• In meiner nun jahrzehntelangen Tätigkeit als Forscher bin ich immer wieder mit diesen Problemen konfrontiert worden, zuletzt bei der Umsetzung des TK-Projektes

• Verfolgen Sie in der nächsten Stunde meine therapeutischen Tricks (Techniken) zur Reduzierung dieser Ängste.

• Am Ende dieser Stunde sollten bei den meisten von Ihnen gemäß des „Generic models of psychotherapy“ von Howard&Orlinsky eine spürbare Remoralisierung eintreten.

Was kann man nach einer Stunde, die Sie (fast) nichts kostet und für die Sie noch Weiterbildungspunkte erhalten mehr verlangen?

(3)

Die Struktur unseres Gesundheitssystems

(4)

In 1975, President Ford Invited a Few of

His Most Trusted Advisers to the White House to Confer on the Future of Education in America

In 1975, President Ford Invited a Few of

His Most Trusted Advisers to the White House to Confer on the Future of Education in America

Gene V Glass

Diesem

Psychologen hat die Psychotherapie- forschung vieles zu verdanken!

(5)

(6)

(7)

(8)

(9)

Drei wichtige Facetten zur Bewertung der Qualität unseres Gesundheitswesens

Struktur- Prozess-

Ergebnisqualität

These:

Wir finden viele (zu viele?) Diskussionen über Struktur- und

Prozessqualität und zu wenige über Ergebnisqualität wenn es um Kosten und Effekte geht.

Hauptthese:

ERGEBNISQUALITÄT IST NICHT ALLES

Aber:

OHNE ERGEBNISQUALITÄT IST ALLES NICHTS !

(10)

Focus muss immer

ERHALT BZW. WIEDERHERSTELLUNG DER ERWERBSFÄHIGKEIT BLEIBEN.

Kosten-Nutzen- bzw. Kosten-Effektivitätsanalysen sind zwei wichtige Strategien zur Steuerung der Rehabilitation

These: Ergebnisqualität ist der entscheidende und wichtigste Aspekt der Qualitätssicherung

Erwerbs- fähigkeit

Produktivität

Lebensqualität Lebenszufriedenheit

Sozialer Frieden

Kosten-Nutzen- Analysen

Kosteneffektivitäts- Analysen

monetär bewertbar

Nicht monetär bewertbar

(11)

Hauptkomponenten von Kosten-Ergebnis-Analysen

(in Anlehnung an Drummond et al., 1987 und Schöffski & Uber, 2000)

Maßnahmen im Bereich Psychosomatik/

Psychotherapie

(z.B. diagnostische oder therapeutische Interventionen)

Vergleich von Alternativen:

- Intervention 1

- Intervention 2, etc.

KOSTEN

Input = Ressourcenverbrauch

K_dir = direkte Kosten K_ind = indirekte Kosten K_int = intangible Kosten

ERGEBNIS

Output = Outcome = Ertrag

N = Nutzen in monetären Einheiten N_dir= direkter Nutzen

N_ind= indirekter Nutzen N_int = intangibler Nutzen E = Effektivität

(nicht monetärisierte Ergebnisgrößen aus Effektivitätsstudien)

U = aus verschiedenen Ergebnisgrößen zusammengesetzter Nutzwert (z.B. QALYs)

(12)

Pfadanalytische (kausale) Modellierung der Behandlungseffekte in der Zauberbergstudie mit dem multiplen Ergebniskriterium EMEK-27

Kausalanalyse über den Südwestpfad der Fünf-Datenbox-Konzeption

Diese drei Variablen wurden mit Bezug auf das Jahr nach Behandlungsende

erhoben Qualität

der Beziehung

innerhalb der Familie

(hohe Werte gut)

Ausmaß an Lebenser- eignissen mit

negativen finanziellem

Einfluss (hohe Werte

viele)

Ausmaß an positiv

bewer- teten Lebens-

ereig- nissen (hohe Werte viele) .24* -.22* .16*

.29*

KR-Box

(Ergebnisse 1 Jahr nachher)

Multiples Ergebnis- Kriterium bestehend aus 27 Einzelaspekten (hohe Werte positiv, ein Jahr nach Behandlungsende) EMEK-27

Ausmaß der Demoralisierung bei Entlassung (hohe Werte niedrig) .12*

.35*

NTR-Box

(nichtexperimentelle Behandlungsvariablen)

Qualität der Beziehung zum Bezugstherapeuten (hohe Werte - gute Beziehung)

Qualität der

Konfrontation - Einsicht in die eigene

Problemlage (hohe Werte gut)

Qualität der konventionellen Behandlung, nicht psychotherapeutisch (hohe Werte gut)

-.15*

PR-Box

(vor der Behandlung)

Ausmaß der Demoralisierung bei Aufnahme (hohe Werte niedrig)

.62*

.41*

Legende:

* Signifikante standardisierte Pfadkoeffizienten p < .05

EQS model indices:

CHI-square for the independence model 319.871 df = 36 CHI-square for postulated model above: 40.20 df = 26 p = .037 Bentler normed fit index: .875

Bentler non normed fit index: .931 Comparative fit index (CFI): .950

RMSEA .061 (.015 - .095) R²_EMEK27 =.37(.61)

adj.R² =.34

N = 154

(13)

Pfadanalytische (kausale) Modellierung der Behandlungseffekte in der Zauberbergstudie mit einem reinen multiplen monetären Kriterium EMEK-5

Kausalanalyse über den Südwestpfad der Fünf-Datenbox-Konzeption

KR-Box

(Ergebnisse 1 Jahr nach Behandlungsende)

Multiples Ergebnis- Kriterium monetär bestehend aus 5 Einzelaspekten EMEK-5

(hohe Werte positiv, ein Jahr nach Behandlungsende) Ausmaß der

Demoralisierung bei Entlassung (hohe Werte niedrig) .10*

.32*

NTR-Box

(nichtexperimentelle Behandlungsvariablen)

Qualität der Beziehung zum Bezugstherapeuten (hohe Werte - gute Beziehung)

Qualität der

Konfrontation - Einsicht in die eigene

Problemlage (hohe Werte gut)

Qualität der konventionellen Behandlung, nicht psychotherapeutisch (hohe Werte gut)

-.12*

PR-Box

(vor der Behandlung)

Ausmaß der

Demoralisierung bei Aufnahme (hohe Werte niedrig)

.64*

.42*

.30*

.16*

Legende:

* Signifikante standardisierte Pfadkoeffizienten p < .05

EQS model indices:

CHI-square for the independence model 228.281 df = 10 CHI-square for postulated model above: 3.233 df = 4 p = .52 Bentler normed fit index: .986

Bentler non normed fit index: 1.006 Comparative fit index (CFI): .950

RMSEA .000 (.000 - .111) R²_EMEK5 = .13 (.36)

adj. R² = .11 N = 154

(14)

Vergleich Krankenhaustage in den drei Beobachtungszeiträumen prae, post1, post2

N = 139

12 10 8 6 4 14

2 0

Tage

prae post1 post2

Zeitraum x (Tage) s (Tage)

prae 12.55 27.57 vor der psychosomatischen Rehabilitation post1 3.00 12.64 1 Jahr nachher

post2 6.92 15.77 3 Jahre nachher

(15)

Vergleich Krankschreibungstage in den drei Beobachtungszeiträumen

prae, post1, post2 N = 101

60 50 40 30 20 10 0

Tage

prae post1 post2

Zeitraum x (Tage) s (Tage)

prae 57.70 82.10

post1 27.56 61.90

post2 38.50 63.28

t-Tests (pairs)

a) prae vs post1 T = 4.02; df =100; p = .000 ***

b) prae vs post2 T = 2.18; df =100; p = .031 * c) post1 vs post2 T = -1.58; df =100; p = .117 n.s.

(16)

Evidenz aus umfassenden Evaluationsstudien zur Ergebnisqualität in der psychosomatischen Rehabilitation mit mindestens einem Katamnesezeitpunkt (Auswahl)

1Studien mit Zugang zu den Primärdaten (Stand August 2000)

Studie Design Messzeit-

punkt

n Publikationen/ Autoren (Auswahl)

BKK-Studie ^{SGPP 3}¹⁴⁸Zielke 1991

Berus-Studie ^{SGPP 4}³⁷⁰Broda et al. 1996

Zauberberg-I-Studie ^{SGPP 4}³⁶⁵Schmidt 1991, Lamprecht & Schmidt 1990

Zauberberg-II-Studie ^{SGPP 3}⁵⁶⁵Schmidt et al. 1994, Schmidt & Lamprecht 1992, Nübling 1992

Bliestal-Studie ^{SGPP 3}¹⁰⁸⁸Sandweg et al. 1991

Reinerzauer Katamnese-Studie ¹ ^{SGPP 4}⁵⁶⁰Nübling et al. 1994, 1995, 1999

Bad Herrenalber Katamnese-Studie ¹ ^{SGPP 3}³¹⁷Nübling et al. 2000a, Bürgy et al. 2000

Grönenbacher Studie ^SGPP⁷⁶⁷Mestel et al. 2000a, Mestel et al. 2000b

Bad Kreuznacher Studie PPWC 4 376 Schulz et al. 1999, Rüddel et al. 1999

Protos-Studie, Teilstichprobe Psychosomatik ^{SGPP 3}⁸⁸⁴Dilcher et al. 2000, Gerdes et al. 2000

Gelderland-Studie ^SGPP³⁴⁵Kriebel et al. 1999

EQUA-Studie ¹ ^{SGPP 3}⁸⁹⁹Schmidt et al. 2000a

INDIKA-Studie, Teilstichprobe Psychosomatik ¹ ^{SGPP 3}²⁷⁴Nübling et al. 2000b

CED-Studie ¹ ^{SGPP 3}¹⁷⁵Maatz & Schmidt, 1998

GR-Studie ¹ ^{SGPP 3}²⁹²Amann et al. 1995, Amann 1997

Priener Lehrer-Projekt ^{SGPP 61}Hillert et al. 1999, Hillert et al. 2000

Katamnese-Studie Eifelklinik ^{SGPP 3 47}Tigiser 1997

Berliner PT-Studie, Teilstichprobe Psychosomatische Rehabilitation

SGPP 3 132 Rudolf et al. 1991, Wilke et al. 1988

Multizentrische Studie Esstörungen (MZ-ESS), Teilstichprobe Psychosomatische Rehabilitation

SGPP 4 ca, 500

Kächele et al. 1999

Prä-Post-Studie POWC 6 145 Bischoff et al. 2000

8310

(17)

(18)

(19)

(20)

(21)

(22)

(23)

(24)

(25)

Dealing a-priori with inevitable anxiety:

Anticipating problems in implementing the program evaluation:

Taking a helping hand from Tom Kiresuk‘s A VICTORY acronym

• A Ability

• V Values

• I Instrumentation

• C Circumstances

• T Timing

• O Obligation

• R Resistances

• Y Yield

(26)

+ Iz - Iz

treatment d

STOP for the break- even The real

effect size

d

Break-even effect size is d Empirical effect size is d The return on investment is ROI= d/d

control

A race to reduce anxiety and

boost hope and confidence

(27)

Eine in der Gesundheitsökonomie noch relativ unbekannte Form der Kosten-Nutzen-Analyse verwendet folgende Kennwerte aus der

Evaluationsforschung a) Effektgrößemaße für die Rehamaßnahme (d) b) Die Wirkungsdauer des Effektes (T)

c) Die Anzahl der Rehabilitierten (N)

d) Die Gesamtkosten pro Rehabilitanden (K)

e) Die Standardabweichung der Produktivität (SD

_PROD

)

f) Die proportionale Überlappung des Effektes zur Produktivität (a) Diese Informationen können in folgender Nutzengleichung

zusammengefasst werden, um den gesamten Nettonutzen (U) zu schätzen.

3 2 4 1

4 3 4

4 2 43 1

42 1

3 2

1

Qualität Kosten

PROD Quantität

n Nettonutze

K N

a d

SD T

N

U = * * * * − *

(28)

Frage:

Unter welchen Rahmenbedingungen wiegt der Nutzen die Kosten gerade auf?

Frage:

Welche Effektstärken müssen wir dafür wenigstens erzielen?

Antwort:

Über Break-Even-Points Bruttonutzen = Kosten

N * T * SD_PROD * d * a = N * K

Antwort:

SDPROD

* a

*

T K

d=

Beispielrechnung:

Wie groß ist K: Bei einer Dauer der Rehamaßnahme von 40 Tagen, einem

Pflegesatz von 125,- Euro, Lohnfortzahlung für 1,5 Monate (bei einem Monatslohn von 2.000,- Euro) gleich 3.000,- Euro ergibt sich

K = (40 * 125 Euro) + 3.000,- Euro

= 8.000,- Euro

Wie groß ist T? In unserer Studie war T = 2 (Jahre)

(29)

Frage:

Wie groß ist SD

_PROD

? Antwort:

Vielen Dank an Frank Schmidt und Jack Hunter!

Deren systematische Forschungsarbeiten haben gezeigt, dass SD

_PROD

über viele Berufsfelder hinweg zwischen 40 % und 70 % des Jahreseinkommens lag. Die neueren Untersuchungen, auch unsere eigenen, zeigten Werte von 70 % und größer!

Bei 13 Monatsgehältern wären dies

**13 * 2.000,- Euro =26.000,- Euro, davon 70 %** SD

_PROD

= 18.200,- Euro

Die proportionale Überlappung unserer Ergebnismaßes sei:

a= .60 (bei einem rein monetären Maß ist a=1.0)

(30)

Die Effektstärke am Break-Even-Point ist damit:

! 37 .

, 200 .

18 * 60 .

* 2

, 000 .

8 =

−

= − d

Euro d Euro

! Meta-Analysen liefern Evidenz, !

daß wir weit über dem Break Even liegen

(31)

The results from a mega-meta-analysis

Lipsey,M.W. & Wilson,D.B.(1993)The efficacy of psychological, educational, and behavioral treatment: Confirmation from meta-analysis. American Psychologist, 48(12), 1181-1209

(32)

Effect size at the break-even-point applied a-priori to reduce anciety of different stakeholder groups affected

by our program evaluation:

We know that the total cost C=1600€ per patient.

We assume that the effect holds on for one year (T= 1) and the outcome measures assessing the treatment have an overlap(path coefficient) of a=.50 with

productivity. Yearly salary of the average TK costumer is 37000 € using the 40%- 70% estimate,

SD

_PROD

varies between 14800€ and 25900€.

Conservative estimate:

d_BREAK-EVEN

= 1600€/(1.5014800€) = .22;

Optimistic estimate:

d_BREAK-EVEN

= 1600€/(1.50 25900€) = .12;

Assuming that the effect holds on for T=2 years, these estimates would be between

.12 and .06

!

Therefore we know that we need a sample size large enough to detect effect sizes

just over these break-even estimates.

(33)

Problem:

Nobody is satisfied just getting back the money invested after a year. The

amount of money returned after a year should be larger. Thus this quotient of money invested to money returned, which is labeled as ROI should be larger then one, i.e. :

ROI > 1

But how much larger?

To get a feeling what ROI-coefficients are considered as impressive we can look at other areas! Interest rates mirror this for example.

As psychologists we have to compete against other stakeholders with respect to investment decisions. Should someone invest money in programs we have to offer or would that investment result into a waste of money or opportunity costs?

How can we a-priori answer such a question?

THE RETURN ON INVESTMENT CONCEPT (ROI)

(34)

Computing an effect size necessary to compete with others claiming to have a certain ROI

Other competitor about investments may claim having a ROI=2,

which means after a year for each dollar the investor get two dollars back. Impressive indeed. Can we compete, what effect size do we have to demonstrate to get a similar ROI? Well

• d

_necessary

= ROI* d

Break-Even

and using data from the example above:

• d

_necessary

= 2 * .22 or 2*.12

• d

_necessary

= .44 or .24!

These are a medium to low sized effects only. So shouldn‘t we be

confident in competing, and shouldn‘t the investment psychotherapy

not worth its money given what we know from meta-analysis?

(35)

Multiple act outcome criterion encompassing 27 different outcomes used in our research evaluating psychosomatic treatments in the German rehabilitation system

1. How do you feel at follow-up (one year after) compared to intake?

For indicators 2. to 27.:

change in ...

2. quality of life 3. state of health 4. state of mind 5. general condition 6. competitiveness

7. complaints/troubles/disturbances 8. state of health

9. dealing with problems/daily pressure 10. life-style concerning health

11. drug consumption

12. relationship to most closely related people

13. relationship to partner

14. family life 15. ability to work

16. number of visits to physician

17. time of inability/absence from work 18. days in hospital

19. well-being

20. dealing with problems/coping 21. capability for self-help

22. endurance of disappointment 23. coping with work

24. ability to take stress

25. getting along with people 26. getting along with

problems/limitations/ impairments 27. balanced mood

(36)

Multiple-act criterion before and after health rehabilitation (EQUA-Study).

Effects form stationary psychotherapy as benchmarks for ambulatory psychotherapy.

0,0

0,90,9 1,2

3,54,2 4,4 5,1

8,39,1

5,4 7,6

5,4 7,4

6,56,2

3,74,03,9 3,2

1,8 1,61,41,91,1

0,5 0,40,5 0

2 4 6 8 10 12

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

0,2 0,50,7 1,41,6

3,2 3,9

2,1 3,03,0

3,9 4,6

3,3 3,0 2,5

3,5 3,23,03,2 5,15,3

3,73,5 4,7

7,67,7 6,56,3

0 2 4 6 8 10

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27

Score distribution on Scale EMEK_27 one year after treatment (%, N = 569, M = 17,1, SD = 7,3) Score distribution on the multiple act Scale EMEK_27_before (%, N = 569, M = 12,0, SD = 5,3)

Status at intake before treatment

Status one year after treatment

(37)

Effect size d for EMEK_27 EQUA-Studie (Schmidt, Nübling, Steffanowski & Wittmann, 2002)

• Multiple act criterion EMEK_27 at intake, score 12.0

• Multiple act criterion EMEK_27 one year after treatment:

• d = (17.1 – 12.0) / 5,3

• d = 0.96

• The effect size is almost one standard deviation.

• The average patient treated is almost better of as 84 % of the average patient before stationary psychosomatic

rehabilitation! The effect size at the break-even point was estimated (not shown here) as .37

• ROI = d / d

_BREAK-EVEN

= 0.96/0.37

• ROI = 2.59 !

(38)

Monetär bewertbare Nutzenaspekte (Zielke, 1995)

(Objektiv erhobene Daten in Einzelbetriebskrankenkassen aus Baden-Württemberg, Nordrhein-Westfalen, Rheinland-Pfalz)

Merkmal Zeitraum A:

2 Jahre vor der HB SUMMENWERT

Zeitraum B:

2 Jahre nach der HB SUMMENWERT

Reduktion um

N

Ambulante Arztbesuche, Anzahl der

Praxiskontakte

6.279 4.149 33,92 % 114

Arbeitsunfähigkeitstage (Krankschreibung)

7.196 3.296 54,20 % 95

Krankenhaustage 1.923 500 74,00 % 95 Medikamente

- Schmerzmittel - Psychopharmaka

74,10 % 115

Errechnete Kosten-Nutzen-Relation

je Patient (Gesamt) 1 : 2,49 ROI = 2,49 je erwerbstätiger Patient 1 : 3,46 ROI = 3,46

(39)

Summary and conclusions

• Anxiety about cost-benefit ratios of psychological interventions is a major hurdle in communicating with stakeholders.

• Break-even point effect sizes can be calculated a-priori and can help in reducing that anxiety.

• Comparing that break-even point effect size with those we know from meta-

analysis helps in estimating the return on investment (ROI) of psychological and other interventions.

• Try it, and you may be surprised how competitive in terms of ROI‘s we are in many areas.

• The Campbell Collaboration(C2) and the Cochrane databases can be checked for empirical evidence with respect to effect sizes.

• C2 and Cochrane should take a leading role in incorporating the economic implications of effect sizes and consider to include them in the protocols.

• A major caveat so far is, that estimates of SD of productivity via salary

percentages can be used only where salary is paid under free market conditons.

(40)

Was kann, was könnte eine umfassende psychotherapeutische Versorgungsforschung leisten? Beispiele/konkrete Ansätze aus dem Bereich der stationären psychotherapeutischen Versorgung: Werner W. Wittmann (Mannheim)