Experiment vs. Beobachtungsstudie

(1)

Experiment vs. Beobachtungsstudie

Randomisiertes, kontrolliertes Experiment

(2)

Ursache und Wirkung

2 Markus Kalisch, ETH Zurich

Opfer durch Ertrinken

(3)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(4)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(5)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(6)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

?

(7)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(8)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(9)

Ursache und Wirkung

Opfer durch Ertrinken Eisverkauf

(10)

Kausaler Zusammenhang

≠

Assoziation

(11)

Wie findet man Kausalzusammenhaenge?

(12)

Wie findet man Kausalzusammenhaenge?

Randomisiertes, kontrolliertes Experiment

(13)

Kausaleffekt finden

Experiment

?

(14)

Kausaleffekt finden

Experiment

(15)

Kausaleffekt finden

Experiment

(16)

Kausaleffekt finden

Experiment

(17)

Kausaleffekt finden

Duenger besser als kein Duenger?

Keine Ahnung!

Wie viele rote Blumen haette es ohne Duenger gegeben?

Brauchen eine Kontrollgruppe

Experiment

(18)

Kausaleffekt finden

Experiment

Behandlungsgruppe Kontrollgruppe

(19)

Kausaleffekt finden

Zwei Gruppen von Feldern in allem gleich (Bodenqualitaet, Wasser, Sonnenlicht, …)

Experiment

(20)

Kausaleffekt finden

Experiment

Zwei Gruppen von Feldern in allem gleich:

(Bodenqualitaet, Wasser, Sonnenlicht, …)

Praxis: Zufaellige Zuordnung der Felder

(21)

Kausaleffekt finden

Experiment

(22)

Kausaleffekt finden

Ergebnis ist wegen Duenger, weil alles andere gleich war

Experiment

(23)

Manchmal sind randomisierte, kontrollierte Experimente nicht machbar

 zu teuer, zu zeitaufwaendig (Genexpressionsdaten)

 unethisch, nicht machbar (HIV Behandlung, Rauchen)

(24)

Falls Experiment nicht machbar…

Beobachtungsstudie

(25)

… mache Beobachtungen.

Beobachtungsstudie

(26)

… mache Beobachtungen.

Es ist nicht garantiert, dass beide Gruppen in allen Aspekten gleich sind

Beobachtungsstudie

(27)

… mache Beobachtungen.

Beobachtungsstudie

(28)

… mache Beobachtungen.

Ist das Ergebnis wegen Duenger?

Keine Ahnung!

Beobachtungsstudie

(29)

… mache Beobachtungen.

Beobachtungsstudie

(30)

… mache Beobachtungen.

Beobachtungsstudie

(31)

Besser: Vergleiche Bauern, die in moeglichst vielen Punkten uebereinstimmen.

Beobachtungsstudie

(32)

Aber: Wir koennen nie sicher sein, dass es nicht doch noch irgendwelche relevanten Unterschiede zwischen den Gruppen gibt.

Beobachtungsstudie

(33)

Zusammenfassung

 Randomisierte, kontrollierte Experiment: Beste Moeglichkeit, Daten zu sammeln (“Goldstandard”)

 Beobachtungsstudie: Man muss skeptisch sein – kam der Effekt (viele schoene Blumen) durch die Behandlung (Duenger), oder durch einen Umstand, der in beiden

Gruppen unterschiedlich war (Luftqualitaet)?

(34)

 1954: Potenzieller Impfstoff gegen Polio

 Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

[http://www.stat.luc.edu/StatisticsfortheSciences/MeierPolio.htm]

Beispiel:

Das groesste medizinische Experiment aller Zeiten

Anzahl Kinder Polio bekommen

Behandlung 200.000 56

Kontrolle 200.000 142

Verweigert 350.000 92

(35)

Beispiel: Polio Impfstoff

 1954: Potenzieller Impfstoff gegen Polio

 Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

Anzahl Kinder Polio bekommen

Behandlung 200.000 56

Kontrolle 200.000 142

Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

(36)

Beispiel: Polio Impfstoff

 1954: Potenzieller Impfstoff gegen Polio

 Randomisiertes, kontrolliertes Experiment bei Kindern in 1.

bis 3. Schulklasse

Anzahl Kinder Polio bekommen

Behandlung 200.000 56

Kontrolle 200.000 142

Verweigert 350.000 92

Kontrollgruppe hatte mehr Polio-Faelle: Koennte das Zufall sein?

KAUM: p-Wert = 0.000000001 (diesen Test haben wir nicht besprochen)

(37)

Beispiel: Leberzirrhose – Shunt (Blutumleitung)

 Bringt die riskante Operation einen Vorteil?

 51 klinische Studien untersucht: “Bringt die Operation einen Vorteil?”

Ja, sehr Etwas Nein

Keine Kontrollgruppe 24 7 1

Kontrollgruppe, nicht randomisiert

10 3 3

Kontrollgruppe, randomisiert

0 1 3

(38)

Problem: Gesuendere Patienten werden eher operiert

(39)

Problem: Gesuendere Patienten werden eher operiert

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

(40)

Problem: Gesuendere Patienten werden eher operiert

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten

Geeignet Ungeeignet

OP-Gruppe Kontroll-Gruppe

(41)

Problem: Gesuendere Patienten werden eher operiert

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet Ungeeignet

Gesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

(42)

Problem: Gesuendere Patienten werden eher operiert

Experiment

Randomisiert, kontrolliert Nicht randomisiert, kontrolliert

Alle Patienten Alle Patienten

Geeignet Ungeeignet

Gesuender Kraenker

OP-Gruppe Kontroll-Gruppe OP-Gruppe Kontroll-Gruppe

Gesuendere Patienten in der OP-Gruppe !

(43)

Goldstandard in der Medizin:

Randomisiertes, kontrolliertes, doppelblindes Experiment mit Placebo

• Placebo: Medikamentenattrappe ohne Wirkstoff Placebo hat einen starken Effekt!

(J.A. Turner et.al., “The importance of placebo effects in pain treatment and research”, Journal of the American Medical Association, Vol. 271 (1994), pp. 1609 – 14)