Konfidenzintervalle und Limits

Konfidenzintervalle und

Limits

Konfidenzintervall

Gegeben: Wahrscheinlichkeitsdichte p(x) Intervall [x_{m i n} , x_{m a x} ] für Konfidenz C:

➔ Prob(x_{m i n} ≤ x ≤ x_{m a x}) = ∫_{X m i n} ^{X m a x} p(x) dx = C

➢ x liegt mit Wahrscheinlichkeit C in [x_{m i n} , x_{m a x} ] Konfidenzintervall kann einseitig sein:

➢ ]-∞, x_{m a x} ] → oberes Limit

➢ [x_{m i n} , +∞[ → unteres Limit

Mögliche Wahl für zweiseitige Grenzen:

➢ Symmetrisch um Mittelwert: x_{m a x} –  =  – x_{m i n}

➢ Kürzestes Intervall: x_{m a x} – x_{m i n} → min

➢ Zentrales Intervall: Prob(x < x_{m i n}) = Prob(x > x_{m a x}) = (1 – C) / 2

Konfidenzintervalle der Normalverteilung

C 1 - C

1 68% 32%

2 95% 5%

3 99.7% 0.3%

Konfidenzintervalle der Normalverteilung

Integral der Normalverteilung durch Fehler-Funktion gegeben:

➔ Prob(|x| < x₀) = erf(x₀ / √2) Wichtige Werte:

Konfidenz für m-dimensionale Normalverteilung:

(Prob(|x| < r) in root: TMath::Prob(r*r, m))

m=1 m=2 m=3

1 68% 39% 20%

2 95% 86% 74%

3 99.7% 98.9% 97.1%

Konfidenzintervalle von Schätzern

Schätzer liefert: a = â ± _â

➢ Was bedeutet das?

➔ Wahrer Wert a₀ liegt mit 68% Wahrscheinlichkeit im Intervall [â - _â , â + _â ] ?

Frequentist: Nein!

 Der wahre Wert ist keine Zufallsgröße

Bayesianer: Nein (im Allgemeinen)

 Hängt vom Prior ab

Credibility-Intervalle

Bayes'sche Wahrscheinlichkeitsdichte für a:

➔ p(a) = [L(a) · f_{P r i o r} (a)] / Normierung

➢ Wahrscheinlichkeitsaussage über wahren Wert möglich

Für ML-Schätzer, N → ∞, und flachen Prior:

 Wahrer Wert a₀ liegt mit 68% Wahrscheinlichkeit im Intervall [â - _â , â + _â ]

Ansonsten: Berechnung des Credibility-Wertes durch Integration der Posterior-Wahrscheinlichkeitsdichte

Coverage (Abdeckung, Überdeckung)

Frequentist'sche Interpretation von Parameterschätzungen

● Gegeben: Methode zur Bestimmung eines Intervalls [x_{m i n} , x_{m a x} ] aus gemessenen Daten (Schätzer)

● Anwendung der Methode auf ein Ensemble von gleichartigen Experimenten

➔ Coverage  ist der Anteil der Experimente, deren Intervalle den wahren Wert enthalten

➢ Soll für alle möglichen wahren Werte gelten

Wahrscheinlichkeitsaussage über das Intervall, nicht über den wahren Wert, möglich:

[x_{m i n} , x_{m a x} ] enthält x₀ mit Wahrscheinlichkeit 

Over-/Under-Coverage: Anteil kann größer/kleiner werden als 

Neymann-Konstruktion

● Für jeden Parameterwert a:

Bestimme Konfidenzintervall [x_{m i n} (a), x_{m a x} (a)] mit Konfidenz C

● Trage x_{m i n} und x_{m a x} gegenüber a auf (Konfidenzband)

● Für gemessenen Wert x, wähle Parameterintervall [a_{m i n} , a_{m a x} ], so dass

x_{m a x} (a_{m i n} ) = x und

x_{m a x}(a_{m a x} ) = x

➢ Konfidenzintervall [a_{m i n} , a_{m a x} ] mit Konfidenz-Level C

➔ Coverage = C

➢ Methode funktioniert auch für verzerrte Schätzer

Beispiel: Poisson-Verteilung

90% Konfidenzintervall bei n = 9 beobachteten Ereignissen?

 Poisson-Wahrscheinlichkeit:

p(n|) = exp(-) ⁿ / n!

➔ _{m i n} : Wahrscheinlichkeit für 9 oder

mehr Ereignisse soll 5% sein

∑_{k = n..∞} p(k|_{m i n} ) = 1-∑k = 0..n - 1 p(k|_{m i n} ) = 5%

➔ _{m a x} : Wahrscheinlichkeit für 9 oder

weniger Ereignisse soll 5% sein

∑_{k = 0..n} p(k|_{ma x} ) = 5%

➢  ∈ [4.7, 15.7] @ 90% CL ( = 9 ^{+ 6 . 7})

● Gauß'sche Näherung für 90% Konfidenzintervall:

 = 9 ± 1.645 √9 = 9 ± 4.9

– 4 . 3

Poisson-Verteilung mit Untergrund

Signal- und Untergrund-Anzahl Poisson-verteilt

➔ Gesamtanzahl Poisson-verteilt: p(n|_S , _B ) = p(n| = _S + _B ) ML-Schätzer:

_S = n - _B

Konfidenzintervall:

[S , m i n , S , m a x ] = [_{m i n} - _B , _{m a x} - _B ]

Problem: n_B < _B (stat. Fluktuation des Untergrunds nach unten)

 Klassische obere Grenze kann kleiner werden als ohne Untergrund!

 Bayes'scher Ansatz: f_{P r i o r} (_S ) = {1 für _S > 0, 0 für _S < 0}

Bemerkungen zu Limits

Wert des Limits hängt vom Glück des Experimentators ab

➔ Besser geeignet für Vergleich von Experimenten:

Sensitivität: erwartetes Limit für _S = 0

Limits können nicht oder nur schlecht mit anderen Messungen oder Limits kombiniert werden

➔ Immer Schätz-Wert und Fehler angeben

➔ Oder besser (insbesondere bei nicht Gaußförmiger Likelihood):

Likelihood-Funktion angeben

Limits in der Praxis

Bestimmung von Konfidenzregionen aus F(a) oder ²(a)

 Korrekte Wahl von F bzw. ² bei Grenzen auf mehrere Parameter ist zu beachten

 Test von Coverage durch Pseudoexperimente

➔ Korrektur der F-Werte um Under-Coverage zu vermeiden

Nuisance-Parameter bei Credibility-Intervallen

Neg. log-Likelihood F(t,r) abhängig von Parametern t und r, nur t interessant, r sind Störparameter

Profile-Likelihood

 Minimierung bzgl. r → F_{p r o f} (t)

➔ Konstruktion des Credibility-Intervalls mit p(t) = F_{p r o f} (t) f_{P r i o r} (t) / Normierung

Marginalisierung

 Integration über Nuisance-Paramter

➔ Konstruktion des Credibility-Intervalls mit p(t) = f_{P r i o r} (t) ∫F(t,r) f_{P r i o r} (r) dr

➢ Benötigt Prior für r

Feldman-Cousins-Methode

Neyman-Konstruktion legt nicht fest, wie das Konfidenzband gewählt werden soll

Mögliche Probleme:

● Übergang Limit ↔ Messung

● Mehrdimensionale Konfidenzregionen

Feldman-Cousins-Methode:

➔ Ordnung nach Likelihood-Ratio:

 = L(a₀) / L(â) bzw.

R = - ln  = F(a₀) - F(â)

Beispiel: Materie-Antimaterie-Asymmetrie bei B

-Mesonen

 = 0.1 ps^-1

_s = 0

 = 0.3 ps^-1

_s = /2

 Bestimmung der R-Verteilung für „jedes“

(, _s)-Paar durch Toy-Experimente

 Test auf Abhängigkeit von Nuisancepar.

 Vergleich mit R-Wert in Daten

Beispiel: B

-Materie-Antimaterie-Asymmetrie

Empfehlungen

Welche Methode soll man wählen?

Soll man Frequentist oder Bayesianer sein?

➢ Seien Sie sich bewusst, welche Methode Sie wählen und was das Ergebnis bedeutet.

➢ Kommunizieren Sie eindeutig, welche Methode Sie gewählt haben.

➢ Wählen Sie die Methode, bevor Sie die Messung machen.

➢ Seien Sie pragmatisch in der Wahl der Methode.

Sie wollen sich und andere von der Richtigkeit Ihres Ergebnisses überzeugen und unnötigen Aufwand vermeiden.