CONSIDERATIONS ABOUT THE MODEL

1.1. INTRODUCTION 0

Logistic Regression 1.1 Introduction

Only partially translated at this time

b Example: Shrinked blood vessels Y : shrinked: yes (1) / no (0)

erkl.: Breath Volume (Vol) and Frequency (Rate) Ziel: PhY ^{= 1} | Vol, Ratei modellieren!

c PhY_i ^{= 1}i ⁼ hhx⁽¹⁾_i , x⁽²⁾_i , ..., x^(m)_i i

1.1. INTRODUCTION 1

0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0

0.00.51.01.52.02.53.03.54.0

Vol

Rate

0.1 0.3 0.5 0.7 0.9

1.1. INTRODUCTION 2

PhY_i ^{= 1}i ⁼ hhx⁽¹⁾_i , x⁽²⁾_i , ..., x^(m)_i i

d Why is an ordinary linear regression inadequate?

Y_i ⁼ β₀ ⁺ β₁x⁽¹⁾_i ⁺ β₂x⁽²⁾_i ⁺ . . . ⁺ β_mx^(m)_i ⁺ E_i

• What is the error term E_i ?

EhY_ii ⁼ β₀ ⁺ β₁x⁽¹⁾_i ⁺ β₂x⁽²⁾_i ⁺ . . . ⁺ β_mx^(m)_i We have PhY_i ^{= 1}i ⁼ EhY_ii. −→ Same form o.k.

• But: Estimated values may become < ⁰ and > ¹!

−→ Transformation of Y_i? 2 values remain 2 values!

−→ Transformation of EhY_ii ⁼ PhY_i ^{= 1}i!

1.1. INTRODUCTION 3

e Modell. Logit-Funktion ghπi ^{= log} D

π 1−π

E

ghPhY_i ^{= 1}ii ⁼ η_i ⁼ β₀ ⁺ β₁x⁽¹⁾_i ⁺ β₂x⁽²⁾_i ⁺ . . . ⁺ β_mx^(m)_i η:

”linearer Pr¨adiktor”.

f Beispiel: ghPhY ^{= 1}ii ⁼ −⁹.^{53 + 3}.⁸⁸ · Vol ^{+ 2}.⁶⁵ · Rate.

1.1. INTRODUCTION 4

−5 −4 −3 −2 −1 0 1 2 3 4 5 6 7

0.00.20.40.60.81.0Y

● ●● ● ● ● ●● ● ●●●● ●● ●●● ●

1.1. INTRODUCTION 5

g Diskriminanzanalyse:

Y_i Gruppen-Zugeh¨origkeit

X_i^(j) multivariate Beobachtungen.

Logistische Regression:

1. Sch¨atzen: π^ˆ_i

2. Zuordnen: Y^{ˆ = 1}, wenn η^ˆ_i > ⁰ (π^ˆ_i > ⁰.⁵)

1.1. INTRODUCTION 6

h Further Applications:

• Toxikology: Toxic matter deadly for mice? What concentration?

• Medicine: Treatment successful?

• Failure of (technical) devices,

• Bugs in (technical) products,

• Occurence of characteristics in animals or plants,

• client scoring, General: 2 Groups.

1.2.

CONSIDERATIONS ABOUT THE MODEL

1.2 Considerations about the Model

a Same flexibility as linear regression.

Frequently: factors (nominal variables) as explanatory v.

b Example: Assessment of work situation.

Y_i happy (1), unhappy (0) X_i^(j) Region, Age, Gender, Race Only 1 factor −→ ² × k-cross table

NE Mid-Atl. S Midwest NW SW Pacific total

unzufrieden 738 166 514 749 711 482 209 3569

zufrieden 1161 406 916 1240 1221 971 465 6380

total 1989 572 1430 1899 1932 1453 674 9949

1.2.

CONSIDERATIONS ABOUT THE MODEL

c Gruppierte Daten: m<sub>`</sub> Beob. Y<sub>i</sub> zu gleichen x<sub>i</sub> <sup>= x</sup>e`: Ye_` ⁼ P

i ^: x_i ^{= x}e` Y<sub>i</sub> Ye<sub>k</sub> ∼ Bhm<sub>k</sub>, π<sub>k</sub>i EhYe<sub>`</sub>/m_{`</sub>i <sup>=</sup> π<sub>`}

−→ Logistische Regression: ghπ_{`</sub>i <sup>=</sup> η<sub>`}

d Beispiel ¨Uberleben von Fr¨uhgeburten. 247 S¨auglinge.

Erkl¨arende Variable: Geburtsgewicht. Klassen von je ¹⁰⁰ g

n Surv.no Surv.yes Weight

1 10 10 0 550

2 14 12 2 650

3 27 18 9 750

4 22 14 8 850

5 32 9 23 950

6 28 7 21 1050

7 22 3 19 1150

8 26 7 19 1250

9 34 3 31 1350

10 32 3 29 1450

1.2.

CONSIDERATIONS ABOUT THE MODEL

500 600 700 800 900 1000 1100 1200 1300 1400 1500

0.00.10.20.30.40.50.60.70.80.91.0

Weight

Survival

1.2.

CONSIDERATIONS ABOUT THE MODEL

e Transformierte Beobachtungen.

EhYe_{`</sub>/m<sub>`}i ⁼ π_{`</sub> , ghπ<sub>`}i ⁼ linearer Pr¨adiktor.

ghYe_{`</sub>/m<sub>`}i ≈ linearer Pr¨adiktor.

Was tun mit Y_{`</sub>/m<sub>`} ^{= 0} oder ^{= 1}? gh⁰i ⁼ −∞ , gh¹i ⁼ ∞.

Abhilfe: Empirische Logits

Ze_` ^{= log}

*

Ye_` + 0.5

m_{`</sub> − Ye<sub>`} ^{+ 0}.⁵ +

.

−→ Gew¨ohnliche multiple Regression mit Z_`? −→ N¨aherung.

1.2.

CONSIDERATIONS ABOUT THE MODEL

2.75 2.80 2.85 2.90 2.95 3.00 3.05 3.10 3.15

−2−1012

log10(Gewicht)

emp.logit(Y) 0.10.30.50.70.9 Y

Max.Likelihood Kleinste Quadrate

1.2.

CONSIDERATIONS ABOUT THE MODEL

f Interpretation of Coefficients? Need following concepts:

odds

odds ⁼ PhY_i ^{= 1}i

1 − PhY_i ^{= 1}i

π ^{= 1}/⁴ : odds 1:3 ( failure is 3 × more frequent ) log(odds)⁼ ghY_i ^{= 1}ii, g: Logit-Funktion.

log(odds)⁼ η −→ Wahrsch. π ⁼ g⁻¹hηi ⁼ _1+exp^exphηi_hηi. G⁻¹:

”logistische Funktion”.

Logistische Regression: log(odds) = linearer Pr¨adiktor P

j β_jx^(j)_i . π_i ⁼ logistische Funktion hP

j β_jx^(j)_i i.

1.2.

CONSIDERATIONS ABOUT THE MODEL

g Odds ratio (Doppelverh¨altnis): Vergleich zweier Beobachtungen

log

oddshx₁i oddshx₂i

= loghoddshx₁ii − ^loghoddshx₂ii

= η₁ − η₂ ^{= (}x₁ − x₂⁾β

Koeffizient β_j: Vergr¨osserung von x^(j) um 1 erh¨oht odds ratio um Faktor e^βj.

h Beispiel Ader-Verengung:

Wert f¨ur Vol = 0.5, Rate = 1.75

log(odds^{) =} −⁹.^{56 + 3}.⁸⁸ · ⁰.^{5 + 2}.⁶⁵ · ¹.^{75 =} −².⁸⁵

−→ odds ^{= 0}.⁰⁵⁷⁸ , g⁻¹⁽−².^{85) = 0}.⁰⁵⁴⁶

Vergleich Vol = 1.5, Rate = 1.75: odds ratio: e^{3.88 = 48}.⁴

−→ odds ^{= 0}.⁰⁵⁷⁸ · ⁴⁸.^{4 = 2}.⁸⁰ , ².⁸⁰/³.^{80 = 0}.⁷³

1.2.

CONSIDERATIONS ABOUT THE MODEL

i Model with Latent Variable = Schwellenwert-Modell.

0 2 4 6 8 10

24681012

x

latente V. c

0

0 0

0 0

0

0 0 0

0

0 0 0

0 0

0

0

0

0 0

0 0

0 0 0

0

0

1

1

11 1

1

1 1

1

1 11

1 1

1 1 1

1 1

1

1

1 1

1.2.

CONSIDERATIONS ABOUT THE MODEL

Z_i ⁼ x^T_i βe ⁺ E_i π_i ⁼ PhY_i ^{= 1}i ⁼ PhZ_i ≥ ci ⁼ P

D

E_i ≥ c − x^T_i βe E

= 1 − F

c −

β₀ ⁺ X

j β_jx^(j)_i

F : kumulative Verteilungsfunktion des Zufallsfehlers E_i

β ^{= [}βe₀ − c,βe₁, . . . , βe_m^] ⇒ PhY_i ^{= 1}i ⁼ g⁻¹hx^T_i βi mit g⁻¹hηi ⁼

1 − Fh−ηi

E_i ∼ logistische Vt.: logistische Regression E_i ∼ Normal-Vt.: Probitmodell

E_i ∼ Extremwertvt.: Komplement¨ares log-log Modell

1.3.

ESTIMATION AND TESTS

1.3 Estimation and Tests

a Method of Maximal Likelihood. There are programs!

b Log-Likelihood:

``h^ye^{; βi = log}

DY

` PhYe<sub>`</sub> ⁼ y_`iE

= X

` log

_m

`

y_`

π<sub>`</sub><sup>y`(1</sup> − π<sub>`</sub><sup>)m`−y`</sup>

= X

` log

_m

`

y_`

+ X

` y<sub>`</sub> ^loghπ_{`</sub>i <sup>+ (</sup>m<sub>`} − y_{`</sub><sup>) log</sup>h<sup>1</sup> − π<sub>`}i mit logithπ_`i ⁼ x^T_i β

Ungrupp. Daten: m_` ^{= 1}. ``h^ye^{; βi =} P

y_i=1 loghπ_ii⁺P

y_i=0 logh¹−π_ii.

1.3.

ESTIMATION AND TESTS

c

*

∂`h^ye^{; βi/∂βj =}

X

` y<sub>`</sub>∂ ^loghπ_`i

∂β_j ^{+ (}m_{`</sub> − y<sub>`}⁾∂ ^logh¹ − π_`i

∂β_j

= X

`

y_` ¹

π_{`</sub> − <sup>(</sup>m<sub>`} − y_`^{) 1}

1 − π_`

∂π_`

∂β_j

= X

`

y_{`</sub>(1 − π<sub>`}) − ⁽m_{`</sub> − y<sub>`})π_`

π_{`</sub><sup>(1</sup> − π<sub>`}⁾ · dg⁻¹hη_{`</sub>i dη<sub>`} ^xe

(j)

`

= X

`(y<sub>`</sub> − m_{`</sub>π<sub>`}^{) x}e

(j)

`

da dg⁻¹hηi/dη ^{= exp}hηi/^{(1 + exp}hηi^{)2 =} π(1 − π). Sch¨atzgleichung:

X

`(y<sub>`</sub> − m<sub>`</sub> <sup>π</sup>b`)

xe_` ^{= 0}

1.3.

ESTIMATION AND TESTS

f Beispiel Ader-Verengung.

Call: glm(formula = Y ~ Vol + Rate, family = binomial, data = d.adern)

Deviance Residuals: ...

Coefficients:

Value Std. Error z_appr. Pr(>|z|) Signif (Intercept) -9.529 3.2140 -2.96 0.003 **

Vol 3.882 1.4202 2.73 0.006 **

Rate 2.649 0.9095 2.91 0.004 **

(Dispersion Parameter for Binomial family taken to be 1 ) Null Deviance: 54.04 on 38 degrees of freedom

Residual Deviance: 29.77 on 36 degrees of freedom Number of Fisher Scoring Iterations: 5

Correlation of Coefficients:

(Intercept) Vol Vol -0.9358

Rate -0.9228 0.7631

1.3.

ESTIMATION AND TESTS

g Residuen-Devianz

Dhy ^{; πi}b ^{= 2}

``<sup>(M)</sup> − ``h^ye^; βib . Maximale erreichbare Log-Likelihood (^πe` = y<sub>`</sub>/m_`):

``^{(M) =} X

`

log

_m

`

y_`

+ y_{`</sub> <sup>log</sup>hy<sub>`}i

+(m_{`</sub> − y<sub>`}^{) log}hm_{`</sub> − y<sub>`}i − m_{`</sub> <sup>log</sup>hm<sub>`}i .

h Modelle vergleichen: Likelihood-Ratio-Tests. Test-Statistik:

Dhye ^{; π}b

(K)

,^πb

(G)i ⁼ Dhy^{; π}b

(K)i − Dhy^{; π}b

(G)i ^{= 2(}``<sup>(G)</sup> − ``^(K)) asymptotisch chiquadrat-verteilt, wenn das kleine Modell stimmt.

1.3.

ESTIMATION AND TESTS

i Residuen-Devianz vergleicht gesch¨atztes Modell mit max. Mod.

−→ ”Anpassungstest”

Achtung: Geht nur bei nicht zu kleinen m_` −→ grupp. Daten.

j Kleinstes Modell: π_i f¨ur alle Beobachtungen gleich.

``^{(0) =} P

` log

D m_{`</sub> y<sub>`}

E

+ log

D

πe 1−^πe

E P

` y<sub>`</sub> ⁺ n ^logh¹ − ^πie mit ^πe ⁼

P

` y<sub>`</sub>/n.

Null-Devianz: Dhy^{; πi}e ^{= 2}

``<sup>(M)</sup> − ``⁽⁰⁾

−→ Gesamt-Test f¨ur das Modell. (H₀: alle βs =0!)

1.4.

RESIDUEN-ANALYSE

1.4 Residuen-Analyse

a Rohe Residuen (response residuals)

R_{`</sub> <sup>=</sup> Ye<sub>`}/m<sub>`</sub> − <sup>π</sup>b` , ^πb` = g⁻¹h^xe

T

` βib Pearson residuals: R<sup>(P</sup><sub>`</sub> ^{) =} R_`p

πb<sub>`</sub><sup>(1</sup> − <sup>π</sup>b`)/m_`

Deviance residuals: Beitrag der i-ten Beobachtung zur Devianz Working residuals:

Berechnung der logist. Regr. via iterativ gewichtete Kl.Qu.

(vgl. nichtlin. Regr.)

−→ lineare N¨aherung −→ Residuen :

”working residuals”.

b Grafische Darstellungen:

Q-Q- (normal) plot meist unn¨utz!

1.4.

RESIDUEN-ANALYSE

c Tukey-Anscombe-Diagramm:

Rohe Res. / gesch¨atzte π_i oder Arbeitsres. / lin. Pr¨adiktor braucht Gl¨attung.

0.0 0.2 0.4 0.6 0.8 1.0

−0.50.00.5

estimated pi

raw residual

0.0 0.2 0.4 0.6 0.8 1.0

−10123

estimated pi

Pearson residual

1.4.

RESIDUEN-ANALYSE

0.2 0.4 0.6 0.8

−1.5−1.0−0.50.00.51.01.5

Survival ~ Weight

lf

lr

1.4.

RESIDUEN-ANALYSE

e ”Partial residual plots”:

”Effekte” von x^(j_i ⁾ (⁼ βb_jx^(j)_i − Konst.) plus geeignete Residuen gegen x^(j)_i .

1.4.

RESIDUEN-ANALYSE

600 800 1000 1200 1400

−2−1012

Weight

Partial for Weight

Survival ~ Weight + Age + Apgar1

20 25 30 35

−2−101

Age

Partial for Age

0 2 4 6 8

−2−101

Apgar1

Partial for Apgar1

1.4.

RESIDUEN-ANALYSE

regr

regr(formula = Survival ~ Weight + Age + Apgar1, data = t.d, family = binomial)

Terms:

coef stcoef t.ratio df Chi2 p.value

(Intercept) -8.484190 NA NA 1 NA NA

Weight 0.003791 1.0065 2.2780 1 22.535 0.000 Age 0.165297 0.4519 1.1254 1 4.999 0.025 Apgar1 0.142989 0.3179 0.9123 1 3.289 0.070

deviance df p.value

Model 82.72 3 0

Residual 236.56 243 NA

Null 319.28 246 NA

Dispersion parameter taken to be 1. Family is binomial.

AIC: 244.6

Number of Fisher Scoring iterations: 5

1.4.

RESIDUEN-ANALYSE

−2 −1 0 1 2 3 4

−20−15−10−505

Linear Predictor

res( Y ) ⁵¹⁴²²

6839

92 119

165122

171 196

202 218208

237224

Y~Gewicht + Alter + Apgar1

0.01 0.03 0.05 0.07

−4−3−2−1012

hat diagonal

st.res( Y )

5

6 11

1422 39 68

82

92

93 118

119

122

146158

165

171 196

202 208218

224 237

0 50 100 150 200 250

−20−15−10−505

sequence

res( Y ) ⁵¹⁴²²

39 68

92 119

122 165

171 196

202 208218

224237

600 800 1000 1200 1400

−20−15−10−505

Gewicht

Residuals ^{5 1422}

39 68

92 119

122 165

171 196

202 218208

224 237

Jul 15,00/5:14 | |

1.4.

RESIDUEN-ANALYSE

20 22 24 26 28 30 32

−20−15−10−505

Alter

Residuals

Y ~ Gewicht + Alter + Apgar1

0 1 2 3 4 5 6 7 8 9

−20−15−10−505

Apgar1

Residuals

0 1 2 3 4 5 6 7 8 9 10

−20−15−10−505

Apgar5

Residuals

6.8 6.9 7.0 7.1 7.2 7.3 7.4 7.5 7.6

−20−15−10−505

pH

Residuals Jul 15,00/5:15 | |

1.4.

RESIDUEN-ANALYSE

Call:

regr(formula = cbind(Survival.1, Survival.0) ~ Weight, data = t.d, family = binomial)

Terms:

coef stcoef t.ratio df F p.value (Intercept) -4.560648 NA NA 1 NA NA Weight 0.005087 1.540 3.145 1 47.98 0

deviance df p.value Model 74.61 1 0.0000 Residual 12.44 8 0.1327

Null 87.05 9 NA

Dispersion parameter estimated to be 1.555. Family is binomial.

AIC: 45.43

Number of Fisher Scoring iterations: 4

1.4.

RESIDUEN-ANALYSE

0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9

−1.0−0.50.00.5

fitted

res( Y )

1

5

7

8

cbind(Survival.1, Survival.0)~Weight

0.14 0.16 0.18 0.20 0.22 0.24 0.26 0.28 0.30

−1.5−0.50.00.51.0

hat diagonal

st.res( Y )

1

3 5

7

8

9

1 2 3 4 5 6 7 8 9 10

−1.0−0.50.00.5

sequence

res( Y )

1

5

7

8

600 700 800 900 1100 1300

−1.0−0.50.00.5

Weight

Residuals

1

5

7

8

Jun 14,00/1:43 | |

2.1.

POISSON-REGRESSION

2 Verallgemeinerte Lineare Modelle

2.1 Poisson-Regression

b Beispiel Schiffs-Havarien.

Y Anzahl Schaden-Ereignisse, X Anzahl Betriebs-Monate M,

Schiffs-Typ T: 0, 1

Baujahr-Periode C: 60, 65, 70, 75 Betriebs-Periode O: 0, 1

T C O M Y

1 0 60 0 127 0

2 0 60 1 63 0

3 0 65 0 1095 3

. . .

13 1 70 1 13099 44

14 1 75 1 7117 18

2.1.

POISSON-REGRESSION

50 100 200 500 1000 2000 5000 20000 50000

0102030405060

Betriebsmonate

Anz.Schaeden

0

1 01 0

1 1

0

1

0 1

0

1

1

0102030405060

01 1960−74 1975−79

2.1.

POISSON-REGRESSION

c Y_i ∼ Phλ_ii EhY_ii ⁼ λ_i ⁼ g⁻¹hx_ii g hEhY_iii ⁼ η_i ⁼ x^T_i β

g: log

ghλi ^{= log}hλi ⇒ EhY_ii ⁼ λ ^{= exp}

D

x^T_i β E

= e^β0 · e^β1x

(1)

i · ... · e^βmx

(m) i

= βe₀ · βe^x

(1) i

1 · βe₂^x(2) · ... · βe_m^x(m)

e multiplikative Effekte!

2.1.

POISSON-REGRESSION

f Beispiel:

loghEhY_iii ⁼ β₀⁺β_M ^loghM_ii⁺β_TT_i⁺β_PP_i⁺γ₁·(C1)_i⁺γ₂·(C2)_i⁺γ₃·(C3)_i loghMi: Anz. Havarien proportional zu Anz. Betriebsmonate

g Anzahlen:

”gruppierte Daten”

2.2.

DAS GRUNDLEGENDE MODELL

2.2 Das grundlegende Modell

a g hEhY_iii ⁼ η_i ⁼ x^T_i β g: Link-Funktion

b Verteilung von Y ? Binomial, Poisson, normal, Gamma, ...

−→ Exponentialfamilie!

2.2.

DAS GRUNDLEGENDE MODELL

c Exponentialfamilie

fhy^; θ, φ, ωi ^{= exp}

yθ − bhθi

φ ω ⁺ chy^; φ^; ωi θ: kanonischer Parameter.

φ: Dispersions-Parameter, St¨or-Parameter.

ω: Gewicht bei gruppierten Daten.

b: Welche Verteilung?

c: Normierung auf gesamte W.=1

d Es gilt:

µ ⁼ EhY i ⁼ b⁰hθi , ^varhY i ⁼ b⁰⁰hθi · φ

ω ⁼ V hµi · φ ω (mit geeigneter Funktion V ).

2.2.

DAS GRUNDLEGENDE MODELL

e Normalverteilung:

log

D

fhy^; µ, σ²iE

= − ^logh√

2π degσi − ¹

2

y − µ σ

2

= yµ − ¹₂µ²

σ² − y²

(2σ²⁾ − ^logh√

2π ^degσi θ ⁼ µ

φ ⁼ σ² bhθi ⁼ θ²/²

chy^; φi ⁼ −y²/(2φ) − ⁽¹/2) logh²π degφi

2.2.

DAS GRUNDLEGENDE MODELL

g Binomial-Verteilung: Zielgr¨osse Y_k ⁼ Ye_k/m_k.

log hPhY ⁼ yii

= log

_m my

+ (my^{) log}hπi ⁺ m^logh¹ − πi − ⁽my^{) log}h¹ − πi

=

y ^log

π

1 − π

+ logh¹ − πi

m ^{+ log}

_m my

θ ^{= log}hπ/⁽¹ − π⁾i ω ⁼ m

chy^; φi ^{= log}

_m my

bhθi ^{= log}h^{1 +} e^θi b⁰hθi ⁼ π b⁰⁰hθi ⁼ π⁽¹ − π⁾ 0-1-Variable: m ^{= 1}.

2.2.

DAS GRUNDLEGENDE MODELL

i Link-Funktion.

Inverse Link-Funktion h soll unm¨ogliche Werte vermeiden:

ghµi ⁼ µ, wenn EhY i beliebig

ghµi ^{= log}hµi, wenn EhY i > ⁰, ghµi ⁼ logithµi ^{= log}h ^µ

(1−µ)i,wenn ⁰ ≤ EhY i ≤ ¹

j ”Kanonische Link-Funktion”: η ⁼ ghµi ⁼ θ ^{= (}b⁾⁻¹hµi W¨ahle g ^{= (}b⁾⁻¹! Normalverteilung ghµi ⁼ µ

Poissonverteilung ghµi ^{= log}hµi Binomialverteilung ghµi ⁼ logithµi

Vorteile: Existenz und Eindeutigkeit, einfachere Sch¨atzgleichungen

2.3.

SCH ¨ A TZUNGEN UND TESTS

2.3 Sch¨ atzungen und Tests

b Likelihood.

``hβi ⁼ X

i y_iθhx^T_i βi − bhθhx^T_i βii _ω

i

φ ⁺ chy_i^; φ; ω_ii

= X

i

y_i · ^loghλ_ii − λ_i − ^log(y_i^!)

= X

i

y_i ^loghe^{(xTi β)}i − e^{(xTi β)} − ^log(y_i^!)

c Maximum-Likelihood-Sch¨atzung:

shβi ⁼ ∂``hβi/∂β ⁼ X

i s_ihβi.

2.3.

SCH ¨ A TZUNGEN UND TESTS

*

s^(j)_i hβi ⁼ ∂``_ihβi

∂β_j ⁼

∂``_ihθi

∂θ_i · ∂θ_i

∂µ_i · ∂µ_i

∂η_i · ∂η_i

∂β_j

= (y_i − e^θi) · ¹

µ_i · e^ηi · x^(j_i ⁾

= (y_i − µ_i⁾ · ¹

µ_i · µ_i · x^(j)_i ^{= (}y_i − µ_i⁾ · x^(j)_i

2.3.

SCH ¨ A TZUNGEN UND TESTS

d Sch¨atzung: s^(j)hβi ^{= 0} −→ βb_j

Normalgleichungen f¨ur gewichtete Kleinste Quadrate Gewichte und

”Residuen” h¨angen von β ab ! Algorithmus:

”iteratively reweighted least squares”

−→ Es kann vorkommen, dass das Programm keine geeigneten Startwerte findet!

e Dispersionsparameter: Sch¨atzung nach Max.Lik., mit Korrekturfaktor wegen Freiheitsgraden.

f Verteilung der gesch¨atzten Parameter: Asymptotik

⇒ Normalverteilung (z-Test).

βb ≈∼ N hβ, mxV /ni V ⁼ ...

2.3.

SCH ¨ A TZUNGEN UND TESTS

g summary(glm(...))

Call: glm(formula = Y ~ TYPE + factor(C) + OPER + log(MONTHS), family = poisson, data = d.ship)

Deviance Residuals: ...

Coefficients:

Value Std. Error z_appr. Pr(>|z|) Signif (Intercept) -6.6109 1.2744 -5.19 0.000 ***

TYPE -0.6569 0.3262 -2.01 0.044 * factor(C)1 -0.5556 0.1470 -3.78 0.000 ***

factor(C)2 0.1242 0.1038 1.20 0.231

factor(C)3 0.2965 0.1129 2.63 0.009 **

OPER 0.4585 0.1359 3.37 0.001 ***

log(MONTHS) 1.0825 0.1550 6.99 0.000 ***

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion Parameter for Poisson family taken to be 1 )

Null Deviance: 267.3 on 13 degrees of freedom Residual Deviance: 3.434 on 7 degrees of freedom Number of Fisher Scoring Iterations: 3

2.3.

SCH ¨ A TZUNGEN UND TESTS

h Residuen-Devianz

Vergleich des gefitteten Models mit

”Maximal m¨oglichem” Modell, d.h. f¨ur jede Beobachtung ein Parameter:

Dhy^{; µi}b ^{= 2(``}

(M) − ``hβib ⁾

= X

i 2ω_i

y_i⁽θe_i − θhx^T_i βib ⁾ − bhθe_ii ⁺ bhθhx^T_i βiib θe_i = Parameterwert, der am besten zu y_i passt.

i Poisson-Regression: θe_i ^{= log(}y_i⁾ Dhy^{; µ}b^{i =}

X

i 2

y_i^(loghy_ii − ^logh^µb^{ii) − e}

loghy_ii + e^loghµbii

= X

i 2

y_i^loghy_ii

logh^µbⁱⁱ

− y_i ^{+ µ}bⁱ

2.3.

SCH ¨ A TZUNGEN UND TESTS

j Vergleich von Modellen. Likelihood-Ratio-Test Dhye ^{; µ}b

(K)

,^µb

(G)i ⁼ Dhy^{; µ}b

(K)

) − Dhy^{; µ}b

(G)) = 2(``<sup>(G)</sup> − ``^(K)) Gesamt-Test: null deviance – residual deviance.

Dhye ^{; µ}b

(0),^µib ^{= Dhy; µ}b

(0)) − Dhy^{; µ}b^{) = 2(``}

(G) − ``⁽⁰⁾⁾

2.3.

SCH ¨ A TZUNGEN UND TESTS

1. Likelihood-Quotienten-Test: Devianz-Differenz H₀: Modell K mit p Parametern

H₁: Modell G mit r > p Parametern Teststatistik ² · ^{log LG}

L^K = 2(``<sup>(G)</sup> − ``^(K)) Verteilung unter H₀: χ²_r−p

2. Vergleich mit maximalem Modell: Residuen-Devianz Dh^yb^{; µi}b H₀: Angepasstes Modell mit p Parametern

H₁: Maximales Modell m mit n_k Parametern Teststatistik Dh^yb^{; µi}b ^{= 2(``}

(M) − ``h^µib ⁾

Verteilung unter H₀: χ²_n−p (Gruppierten Daten!)

2.3.

SCH ¨ A TZUNGEN UND TESTS

3. Gesamt-Test: Vergleich von Null Devianz und Residuendevianz H₀: Null Modell mit einem Parameter

H₁: Angepasstes Modell mit p Parametern Teststatistik Dh^yb^{; µ}b

0i − Dh^yb^{; µi}b ^{= 2(``hµi −</sup>b <sup>``hµ}b

0i⁾ Verteilung unter H₀: χ²_p−1

2.3.

SCH ¨ A TZUNGEN UND TESTS

> r.ship1 <- glm(Y~TYPE + factor(CONS) + OPER + log(MONTHS), data=d.ship,family=poisson)

> summary(r.ship1,corr=F)

Call: glm(formula = Y ~ TYPE + factor(CONS) + OPER + log(MONTHS), family = poisson, data = d.ship)

Coefficients:

Value Std. Error z_appr. Pr(>|z|) Signif (Intercept) -6.6109 1.2744 -5.19 0.000 ***

TYPE -0.6569 0.3262 -2.01 0.044 * factor(CONS)1 -0.5556 0.1470 -3.78 0.000 ***

factor(CONS)2 0.1242 0.1038 1.20 0.231

factor(CONS)3 0.2965 0.1129 2.63 0.009 **

OPER 0.4585 0.1359 3.37 0.001 ***

log(MONTHS) 1.0825 0.1550 6.99 0.000 ***

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 (Dispersion Parameter for Poisson family taken to be 1 )

Null Deviance: 267.3 on 13 degrees of freedom Residual Deviance: 3.434 on 7 degrees of freedom Number of Fisher Scoring Iterations: 3

> 1-pchisq(3.434,7) 0.8421659

2.4.

UBERGROSSE STREUUNG ¨

2.4 Ubergrosse Streuung ^¨

a Ablehnung des Modells (residual deviance): ⇒ over-dispersion.

b Neues Modell: φ > 1

Keine entsprechende Verteilung −→

”Quasi-Modelle”,

”Quasi-Likelihood”.

c V hµi ⁼ φµ⁽¹ − µ⁾ resp. V hµi ⁼ φµ

f¨ur ¨uberm¨assig streuende Binomial- respektive Poisson-Zielgr¨ossen.

−→ Dispersionsparameter sch¨atzen statt fixieren.

φb ⁼ _n−p¹ P ω_i(y_i−^µbi)² V hµ_ii

2.4.

UBERGROSSE STREUUNG ¨

d Parametersch¨atzer βb bleiben gleich Konfidenzintervalle um den Faktor

q

φb breiter

e Was, wenn φ <b ¹? – φ < ¹ ist unplausibel!

2.5.

RESIDUEN-ANALYSE

2.5 Residuen-Analyse

• Rohe Residuen oder response residuals: R_i ⁼ Y_i − ^µbⁱ

• Pearson-Residuen: R^(P_i ^{) =} R_i/p

V h^µbⁱⁱ

• Arbeits-Residuen (working residuals): R^(W_i ^{) =} R_i · g⁰h^µi.b

• Devianz-Residuen: R^(D)_i ⁼ signhy_i − ^µbⁱⁱ

√d_i Poisson-Regression: Dhy^{; µ}b^{i =}

P

i 2

y_ilog^loghyii

h^µbii − y_i ^{+ µ}bⁱ

=: P

i d²_i

2.5.

RESIDUEN-ANALYSE

a Residuen-Analyse:

• Linearit¨at: Arbeitsresicuen R^(W_i ⁾ oder adjustierte Beobachtungen ^ye^{i = x}

Ti βb ⁺ r_i^(W) vs ^ηb^i.

• Residuenvarianz: φ

• Hutmatrix: Wf^1/2Xe⁽XeWfXe⁾⁻¹Xe^TWf^1/2 (?)

• Residuenplot mit glatten Kurven:

– Tukey-Anscombe-Plot

– Beobachtungen vs fitted values – Partielle Residuen-Plots

3.1.

MODELLE

3 Geordnete diskrete Zielgr¨ ossen

3.1 ^Modelle

a Anwendungen:

• Beurteilung von sehr schlecht bis sehr gut,

• gruppierte H¨aufigkeiten,

• quantitative, klassierte Gr¨osse, etc.

3.1.

MODELLE

b Beispiel: Lokale Anaesthesie des Armes.

Welche erkl¨arenden Variablen beeinflussen den Erfolg?

Y suc.deg Erfolg in 4 Klassen:

1: schmerzvoll, ... 4: Kein Schmerz X medic Medikamentdosis

napplic Anzahl Einstiche (Intervall-Skala) anest2: An¨astesist/in (Faktor),

moon: Mondphase (Faktor) ...

anest2 suc.deg

1 A0 1

3 A2 3

4 A2 3

8 A0 1

9 A2 4

. . . . . . . . .

suc.deg

1 2 3 4

A0 28 18 23 25

A2 4 10 13 36

A1 6 1 6 8

3.1.

MODELLE

c Latente Variable, Z kontinuierlich

Y_i ^{= 0} ⇐⇒ Z_i ≤ α₁

Y_i ⁼ k ⇐⇒ α_k < Z_i ≤ α_k+1 Y_i ⁼ k^∗ ⇐⇒ α_k^∗ < Z_i

k^∗ Schwellenwerte: α₁ < α₂ < . . . < α_k^∗.

PhY_i ≤ ki ⁼ PhZ_i ≤ α_ki , k = 1, . . . , k^∗

1. Annahme: Latente Variable hat z.B. logistische (Fehler-) Verteilung 2. Annahme: Multiple lineare Regression f¨ur latente Variable

3.1.

MODELLE

2 4 6 8 10

246810

x

latente V.

3.1.

MODELLE

d Modell

Z_i ⁼ β₀ ⁺ X

j x^(j)_i β_j ⁺ E_i

γ_k ^:= PhY_i ≥ ki ⁼ PhZ_i ≥ α_ki ⁼ PhE_i ≥ α_k − ⁽β₀ ⁺ x^Tβi⁾

= 1 − F_E D

α_k − ⁽β₀ ⁺ x^Tβ⁾ E

= F_−E D

x^Tβ −⁽α_k − β₀⁾ E ghγ_ki ⁼ x^Tβ −⁽α_k − β₀⁾

f Schwellenwerte nicht gleich-abst¨andig. Sch¨atzen!

g Kumulatives Modell: PhY_i ≥ ki ⁼ PhY_i ⁼ k^∗i ⁺ . . . ⁺ PhY_i ⁼ ki

3.1.

MODELLE

h Gruppierung: Ye_{`,k</sub> <sup>=</sup> Anzahl{i|Y<sub>i</sub>=k & x<sub>i</sub>=x<sub>`}}

m_{`</sub>=Anzahl{i|x<sub>i</sub>=x<sub>`}} Multinomialverteilung M_k^∗hm, πi:

• Multinomialverteilung = mehrparametrige Exponentialfamilie genauer: betrachte Ye_{`</sub>/m<sub>`}

• Erwartungsvektor: π₁, . . . , π_k^∗

• Wahrscheinlichkeiten PhY _{`</sub> <sup>=</sup> y<sub>`}i

= ^m`!

(m_{`</sub>y<sub>`}⁽¹⁾)!...(m_{`</sub>y<sub>`}^(L))!

(π<sub>`</sub><sup>(1))m`y</sup>

(1)

` (π<sub>`</sub>^(2))m`y

(2)

` · ... · <sup>(</sup>π<sub>`</sub>^(k∗))m`y

(k∗)

`

π_k ⁼ PhY_i ⁼ ki aus dem Modell der latenten Variablen.

−→ Multivariates generalisiertes lineares Modell

3.1.

MODELLE

i Wettverh¨altnisse (odds)

oddshY ≥ k | xi ⁼ PhY ≥ k | xi

PhY < k | xi ^{= exp}hα_ki^(exphβ₁i^)x(1) · · ·^(exphβ_mi^)x(m) . Odds Ratio

oddshY ≥ k | x₁i

oddshY ≥ k | x₂i ^{= exp}h−⁽x₁ − x₂^)Tβi sind f¨ur alle Schwellenwerte α_k gleich!

⇒ proportional odds model.

3.1.

MODELLE

j

*

”komplement¨are Log-Log-Funktion”

ghγi ^{= log} h − ^logh¹ − γii , ⁰ < γ < ¹ Zuverl¨assigkeits- und ¨Uberlebenszeit-Studien: Weibull-Verteilung.

Logarithmierte Ausfall- oder ¨Uberlebenszeiten: Gumbel-Verteilung.

Proportional hazards, Cox-Regression.

F¨ur zensierte Daten brauchbar!