Statistik II f¨ur Betriebswirte Vorlesung 12

(1)

Statistik II f¨ ur Betriebswirte Vorlesung 12

Dr. Andreas W¨unsche

TU Bergakademie Freiberg Institut f¨ur Stochastik

13. Januar 2020

(2)

7.4. Regression bei qualitativen Merkmalen

I In einer Reihe von Anwendungssituationen nimmt der Regressand (also die Wirkungsgröße oder abhängige Größe) nur zwei Werte an, oft kodiert durch die Zahlen 0 und 1 .

I Beispiele:

Regressoren X_i Regressand Y m¨ogliche Werte Preis, Verpackung Kaufverhalten 1 (

”kaufen“) 0 (”nicht kaufen“) Bilanzkennzahlen Kreditw¨urdigkeit 1 (

”vorhanden“), 0 (”nicht vorhanden“)

I In solchen F¨allen sind die bisher behandelten Regressionsans¨atze nicht sinnvoll, da als Werte der Regressionsfunktion ˆy(x) im Allgemeinen Werte ungleich 0 oder 1 berechnet werden, die keine direkte Interpretation erlauben.

(3)

Sch¨ atzung der Wahrscheinlichkeitsverteilung

I Interessanter ist in solchen Situationen die Frage nach einer Schätzung oder einem Modell für die Wahrscheinlichkeit (in Abhängigkeit von x) dafür, dass der Regressand den Wert 1 annimmt. Die Wahrscheinlichkeit für den zweiten möglichen Wert 0 und damit eine Schätzung für die Wahrscheinlichkeitsverteilung von Y ergibt sich dann automatisch.

I Folglich sucht man eine geeignete Funktionsdarstellung von p(x) =P(Y = 1|X =x).

I Prinzipiell können Wahrscheinlichkeiten durch relative Häufigkeiten geschätzt werden. Deshalb kann man im Fall eines reellen Regressors X eine Klasseneinteilung der x−Werte vornehmen und den

Klassenrepräsentanten die relativen Häufigkeiten für den Wert 1 in der jeweiligen Klasse als Schätzwert für p(x) zuordnen.

(4)

Beispiel 7.6 (einfaches Beispiel)

i 1 2 3 4 5 6 7 8 9 10 11 12

x_i 0.5 0.7 1.0 1.3 1.5 2.0 2.2 2.3 2.7 3.0 3.2 3.4

yi 0 0 1 0 0 1 1 0 1 0 1 1

Die ¨ubliche Regressionsgerade w¨are ˆy(x) = 0.018x+ 0.243 .

(5)

Fortsetzung Beispiel 7.6

i 1 2 3 4 5 6 7 8 9 10 11 12

x_i 0.5 0.7 1.0 1.3 1.5 2.0 2.2 2.3 2.7 3.0 3.2 3.4

yi 0 0 1 0 0 1 1 0 1 0 1 1

I Angenommen, wir w¨ahlen drei Klassen: K1= [0.5; 1.5) mit Repr¨asentant

˜

x1= 1 , K2= [1.5; 2.5) mit Repr¨asentant ˜x2= 2 und K3= [2.5; 3.5) mit Repr¨asentant ˜x3= 3 .

I Schätzt man die Wahrscheinlichkeiten für den Wert 1 durch die relativen Häufigkeiten:

ˆ

pj =Anzahl des Werts 1 in Klasse Kj

Anzahl aller Werte in KlasseKj

,

erh¨alt man ˆp1= 1

4, pˆ2=2

4, pˆ3=3 4.

I Nun kann man eine Regressionsfunktion f¨ur p(x) mit Hilfe der Werte ˜x_j und ˆp_j bestimmen. Dazu gibt es wieder unterschiedliche Ans¨atze.

(6)

7.4.1. Das lineare Wahrscheinlichkeitsmodell

Im Rahmen des linearen Wahrscheinlichkeitsmodellsbestimmt man die Ausgleichsgerade f¨ur die Punkte (˜x_j,pˆ_j),j = 1, . . . ,m, d.h. man nutzt den Ansatz p(x) =a+bx+ε und f¨uhrt eine einfache lineare

Regression durch.

˜

x_j 1 2 3

ˆ

p_j 0.25 0.5 0.75

Die Regressionsgerade des linearen Wahr- scheinlichkeitsmodells ist ˆp(x) = 1

4x.

(7)

Nachteil des linearen Wahrscheinlichkeitsmodells

I Die Regressionsgerade nimmt f¨ur Werte x, die (weit) außerhalb der beobachteten Stellen liegen, Funktionswerte an, die negativ oder gr¨oßer als 1 , also keine Wahrscheinlichkeiten sind.

I Aus diesem Grund passt man ¨ublicherweise nicht die Werte ˆp_j direkt an, sondern nutzt geeignete Transformationen. Dazu nutzt man als Modellgleichung p(x) =F(a+bx+ε) mit einer speziell gew¨ahlten Verteilungsfunktion F.

I So ergeben sich z.B. dasProbit- und dasLogit-Modell.

I Es k¨onnen aber auch allgemeinere lineare Ans¨atze als der einfache lineare Ansatz verwendet werden, z.B. solche mit mehreren Regressoren.

I Diese Ans¨atze geh¨oren zu den

”verallgemeinerten (generalisierten) linearen Modellen“.

(8)

7.4.2. Das Probit-Modell

I Beim Probit-Modellnutzt man den Ansatz

Φ⁻¹(p(x)) =a+bx+ε, also p(x) = Φ (a+bx+ε), d.h. man passt eine Gerade an die sogenannten

”Probits“

g_j = Φ⁻¹( ˆp_j) =z_p_ˆ_j an (an den Stellen ˜x_j,j = 1, . . . ,m).

I Hierbei ist Φ die Verteilungsfunktion der Standardnormalverteilung und Φ⁻¹ die zugeh¨orige Umkehrfunktion, d.h. die Quantilsfunktion.

I Die Regressionsfunktion nimmt nur Werte zwischen 0 und 1 an, die Funktionswerte sind also Wahrscheinlichkeiten.

I Die Parameter (hier die Koeffizienten a und b) k¨onnen mit verschiedenen Methoden gesch¨atzt werden. Entsprechende Verfahren sind in vielen Computer-Statistikprogrammen implementiert.

(9)

Das Probit-Modell f¨ ur das Beispiel 7.6

I Es gelten

Φ⁻¹(0.25) =z_0.25=−0.6745, Φ⁻¹(0.5) =z_0.5= 0, Φ⁻¹(0.75) =z0.75= 0.6745.

I Folglich muss die Ausgleichsgerade f¨ur die Punkte (1;−0.6745), (2; 0), (3; 0.6745) berechnet werden. Sie lautet

ˆ

g(x) =−1.349 + 0.6745x.

I Die Regressionsfunktion ist dann die nichtlineare Funktion ˆ

p(x) = Φ(ˆg(x)) = Φ(−1.349 + 0.6745x) und z.B. ˆp(5) = 0.9785 .

(10)

Die Probit-Analyse mit Statgraphics

I Die Probit-Analyse ist in Statgraphics zu finden unter Relate→ Attribute Data→ Probit Analysis . . .

Beziehungen→ Kategoriale Daten→ Probit-Analyse ...

I Es k¨onnen H¨aufigkeitsangaben verarbeitet werden (wie hier bisher im Beispiel 7.6), aber auch die einzelnen dichotomen Merkmalswerte (0 und 1) direkt.

I Im Folgenden werden Ausgaben von Statgraphics f¨ur die Analyse des Beispiels 7.6 mit den einzelnen Merkmalswerten angegeben.

(11)

Probit-Analyse mit Statgraphics im Beispiel 7.6

Probit Analysis - y

Dependent variable: y Factors:

x

Number of observations: 12

Estimated Regression Model (Maximum Likelihood) Standard

Parameter Estimate Error

CONSTANT -1,37524 0,95736

x 0,690439 0,438286

The StatAdvisor

The output shows the results of fitting a probit regression model to describe the relationship between y and 1 independent variable(s). The equation of the fitted model is

y = normal(eta) where

eta = -1,37524 + 0,690439*x Probit Analysis - y

x

Estimated Regression Model (Maximum Likelihood) Standard Parameter Estimate Error CONSTANT -1,37524 0,95736

x 0,690439 0,438286

The StatAdvisor

The output shows the results of fitting a probit regression model to describe the relationship between y and 1 independent variable(s). The equation of the fitted model is

y = normal(eta) where

eta = -1,37524 + 0,690439*x

(12)

Dosis-Wirkungs-Analyse

I Eine klassische Anwendung der Probit-Modelle ist die Dosis-Wirkungs-Analyse(

”Bioassay“).

I Hierbei wird die Kenngr¨oße LD₅₀ (

”letale Dosis 50%“, die Dosis, bei der 50% einer Population nicht ¨uberlebt) bestimmt.

I Dabei werden in Versuchen (z.B. an je 100 Fliegen) verschieden starke Dosen xi verabreicht und die Häufigkeit des Überlebens als Schätzung von p(x_i) bestimmt.

I Die Kenngr¨oße LD₅₀ ist dann derjenige x−Wert (die Dosis), f¨ur die mit der entsprechenden Regressionsfunktion gilt ˆp(LD₅₀) = 0.5 .

(13)

7.4.3. Das Logit-Modell

I Man geht beim Logit-Modellso vor wie beim Probit-Modell, verwendet jedoch statt der Verteilungsfunktion der

Standardnormalverteilung die Verteilungsfunktion der sogenannten logistischen Verteilung.

I Die logistische Verteilung (mit Parametern 0 und 1) ist eine stetige Wahrscheinlichkeitsverteilung mit Dichte- bzw. Verteilungsfunktion

f(x) = e^−x

(1 +e^−x)² , F(x) = 1

1 +e^−x = e^x

1 +e^x , x ∈R.

I F¨ur eine Zufallsgr¨oße X mit dieser Verteilungsfunktion gelten EX = 0, X0.5 = 0, VarX = π²

3 .

I Zur Berechnung der Quantile kann man die Umkehrfunktion nutzen, F⁻¹(p) = ln

p

1−p

, 0<p <1.

(14)

Logistische Regression

I Der Ansatz beim Logit-Modell oder der sogenannten logistischen Regressionist

ln

p(x)

1−p(x)

=a+bx+ε(x), (ln

p

1−p

ist die Umkehrfunktion zur logistischen Verteilungsfunktion).

I Somit passt man eine Gerade an die sogenannten

”Logits “ q_j = ln pˆ_j

1−pˆ_j (oder besser die Punkte (˜x_j,q_j)) an.

I Im Beispiel 7.6 erh¨alt man

q1 = ln¹₃ =−1.0986 , q2 = ln 1 = 0 , q3= ln 3 = 1.0986 ; Sch¨atzwerte ˆa=−2.1972 , ˆb= 1.0986 ;

die gesch¨atzte Regressionsfunktion ˆp(x) = 1

.

(15)

Die Logistische Regression mit Statgraphics

I Die Logistische Regression (das Logit-Modell) ist in Statgraphics zu finden unter Relate →Attribute Data →Logistic Regression . . . ; Beziehungen→ Kategoriale Daten→ Logistische Regression ...; das Vorgehen ist auch analog zu dem beim Probit-Modell.

I Es k¨onnen H¨aufigkeitsangaben verarbeitet werden (wie hier bisher im Beispiel 7.6), aber auch die einzelnen dichotomen Merkmalswerte (0 und 1) direkt.

I Im Folgenden werden Ausgaben von Statgraphics f¨ur die Analyse des Beispiels 7.6 mit den einzelnen Merkmalswerten angegeben.

(16)

Logit-Analyse mit Statgraphics im Beispiel 7.6

Logistic Regression - y Dependent variable: y Factors:

x

Estimated Regression Model (Maximum Likelihood) Standard Estimated

Parameter Estimate Error Odds Ratio

CONSTANT -2,22441 1,64525

x 1,11868 0,756612 3,06081

The StatAdvisor

The output shows the results of fitting a logistic regression model to describe the relationship between y and 1 independent variable(s). The equation of the fitted model is

y = exp(eta)/(1+exp(eta)) where

eta = -2,22441 + 1,11868*x Logistic Regression - y

x

Estimated Regression Model (Maximum Likelihood) Standard Estimated

Parameter Estimate Error Odds Ratio

CONSTANT -2,22441 1,64525

x 1,11868 0,756612 3,06081

The StatAdvisor

The output shows the results of fitting a logistic regression model to describe the relationship between y and 1 independent variable(s). The equation of the fitted model is

y = exp(eta)/(1+exp(eta)) where

eta = -2,22441 + 1,11868*x

(17)

Beispiel 7.7 W¨ aschefirma

Eine Wäschefirma untersucht bei den Kunden eines Absatzgebietes die Wichtigkeit von Produkteigenschaften für einen möglichen Wechsel zu Produkten einer anderen Firma. Die Kunden wurden nach einem Kauf gebeten, eine Positionierung folgender Kriterien auf einer fünfstufigen Rangskala vorzunehmen (kleinste Rangzahl - größte Präferenz):

– Wichtigkeit des g¨unstigen Preises,

– Wichtigkeit der guten Passform / des guten Tragekomforts, – Wichtigkeit der sympathischen Marke.

Außerdem sollte angegeben werden, ob der Kunde bei der gerade gekauften Marke bleiben wird (Variable Treue). Es ergab sich folgender Datensatz :

Treue 0 1 1 1 0 0 1 0 1 1 0 0 0 0 0 1

Preis 4 4 2 2 3 3 3 3 5 5 1 1 1 2 3 4

Passform 3 1 1 2 5 2 3 4 5 2 1 1 1 1 4 3

Marke 5 3 1 2 4 4 2 1 3 5 5 2 2 3 1 1

Werten Sie diese Daten mit einem geeigneten Regressionsmodell aus !

(18)

Logit-Analyse mit Statgraphics im Beispiel 7.7

Logistic Regression - Treue

Dependent variable: Treue Factors:

Passform Marke Preisniveau

Estimated Regression Model (Maximum Likelihood) Standard Estimated Parameter Estimate Error Odds Ratio

CONSTANT 2,14928 4,96898

Passform -6,27336 4,97451 0,00188589

Marke -4,58227 3,68261 0,0102316

Preisniveau 8,92031 6,55826 7482,44

The StatAdvisor

The output shows the results of fitting a logistic regression model to describe the relationship between Treue and 3 independent variable(s). The equation of the fitted model is

Treue = exp(eta)/(1+exp(eta)) where

eta = 2,14928 - 6,27336*Passform - 4,58227*Marke + 8,92031*Preisniveau

Analysis of Deviance

Source Deviance Df P-Value

Model 13,8984 3 0,0030

Residual 8,03168 12 0,7826 Total (corr.) 21,9301 15

Percentage of deviance explained by model = 63,3759 Adjusted percentage = 26,8963

Likelihood Ratio Tests

Factor Chi-Square Df P-Value

Passform 7,31261 1 0,0068

Marke 7,5797 1 0,0059

Preisniveau 13,2579 1 0,0003

Logistic Regression - Treue Dependent variable: Treue Factors:

CONSTANT 2,14928 4,96898

Passform -6,27336 4,97451 0,00188589

Marke -4,58227 3,68261 0,0102316

Preisniveau 8,92031 6,55826 7482,44

The StatAdvisor

Model 13,8984 3 0,0030

Residual 8,03168 12 0,7826

Total (corr.) 21,9301 15

Passform 7,31261 1 0,0068

Marke 7,5797 1 0,0059

Preisniveau 13,2579 1 0,0003

Dr. Andreas W¨unsche Statistik II f¨ur Betriebswirte Vorlesung 12 Version: 7. Januar 2020 18

(19)

Tests bei der Logit-Analyse mit Statgraphics (Bsp. 7.7)

Logistic Regression - Treue

Dependent variable: Treue Factors:

CONSTANT 2,14928 4,96898

Passform -6,27336 4,97451 0,00188589

Marke -4,58227 3,68261 0,0102316

Preisniveau 8,92031 6,55826 7482,44

The StatAdvisor

Model 13,8984 3 0,0030

Residual 8,03168 12 0,7826

Total (corr.) 21,9301 15

Passform 7,31261 1 0,0068

Marke 7,5797 1 0,0059

Preisniveau 13,2579 1 0,0003

Dr. Andreas W¨unsche Statistik II f¨ur Betriebswirte Vorlesung 12 Version: 7. Januar 2020 19

(20)

Anpassungstest bei der Logit-Analyse (Bsp. 7.7)

Chi-Square Goodness of Fit Test

Logit TRUE TRUE FALSE FALSE

Class Interval n Observed Expected Observed Expected

1 less than -4,3683 4 0,0 0,025028 4,0 3,975

2 -4,3683 to -1,9656 2 0,0 0,14269 2,0 1,8573

3 -1,9656 to -0,76547 3 1,0 0,78662 2,0 2,2134

4 -0,76547 to 1,6373 3 2,0 2,0458 1,0 0,95422

5 1,6373 or greater 3 3,0 2,9999 0,0 0,00012089

Total 15 6,0 9,0

Chi-square = 0,26063 with 3 d.f. P-value = 0,96725

Prediction Performance - Percent Correct Cutoff TRUE FALSE Total

0,0 100,00 0,00 43,75

0,1 100,00 55,56 75,00

0,2 85,71 66,67 75,00

0,3 85,71 66,67 75,00

0,4 85,71 88,89 87,50

0,5 85,71 100,00 93,75

0,6 85,71 100,00 93,75

0,7 85,71 100,00 93,75

0,8 71,43 100,00 87,50

(21)

Bestimmung des Cutoff im Beispiel 7.7

Chi-Square Goodness of Fit Test

Logit TRUE TRUE FALSE FALSE

Class Interval n Observed Expected Observed Expected

1 less than -4,3683 4 0,0 0,025028 4,0 3,975

2 -4,3683 to -1,9656 2 0,0 0,14269 2,0 1,8573

3 -1,9656 to -0,76547 3 1,0 0,78662 2,0 2,2134

4 -0,76547 to 1,6373 3 2,0 2,0458 1,0 0,95422

5 1,6373 or greater 3 3,0 2,9999 0,0 0,00012089

Total 15 6,0 9,0

Chi-square = 0,26063 with 3 d.f. P-value = 0,96725

Prediction Performance - Percent Correct Cutoff TRUE FALSE Total

0,0 100,00 0,00 43,75

0,1 100,00 55,56 75,00

0,2 85,71 66,67 75,00

0,3 85,71 66,67 75,00

0,4 85,71 88,89 87,50

0,5 85,71 100,00 93,75

0,6 85,71 100,00 93,75

0,7 85,71 100,00 93,75

0,8 71,43 100,00 87,50

0,9 57,14 100,00 81,25

1,0 0,00 100,00 56,25

(22)

Statistik II f¨ur Betriebswirte Vorlesung 12