Statistik II f¨ur Betriebswirte Vorlesung 4

(1)

Statistik II f¨ ur Betriebswirte Vorlesung 4

Dr. Andreas W¨unsche

TU Bergakademie Freiberg Institut f¨ur Stochastik

4. November 2019

(2)

5. Varianzanalyse

I ”ANOVA” – ”Analysis ofVariance”.

I Die Varianzanalyse wurde urspr¨unglich von Sir R.A. Fisher (1890-1962) f¨ur die landwirtschaftliche Versuchstechnik entwickelt und findet heute Anwendung in ganz verschiedenen Gebieten.

I Sie gestattet es, den Einfluss eines qualitativen Merkmales (hier Faktorgenannt), auf ein quantitatives oder messbares Merkmal zu untersuchen (Verallgemeinerung des doppelten t−Tests zum Vergleich von Mittelwerten zweier unabh¨angiger Stichproben aus normalverteilten Grundgesamtheiten).

I Unterteilungen:

I Modell mit festen Effekten,Modell I;

Modell mit zuf¨alligen Effekten,Modell II;

Modell mit festen und zuf¨alligen Effekten,Modell III;

I einfache Klassifikation,einfaktorielle Varianzanalyse;

zweifache Klassifikation,zweifaktorielle Varianzanalyse; . . . ;

I eindimensionaleoderunivariate Varianzanalyse (ANOVA);

mehrdimensionaleoder multivariate Varianzanalyse (MANOVA).

(3)

5.1 Einfache Varianzanalyse

I Frage: Wie stellt man für ein zufälliges Merkmal X anhand einer Stichprobe fest, ob dieses Merkmal voneinem Faktor A abhängt, der in mehreren Stufen (Ausprägungen) auftritt ?

I Antwort: Man untersucht die Variabilit¨at des Merkmals:

Uberwiegt die Variabilit¨¨ at zwischen den Gruppen (die durch jeweils eineStufe des Faktors A erzeugt werden) im Vergleich zu der Variabilität innerhalb der Gruppen, dann ist die Entscheidung für die Ungleichheit der Erwartungswerte und damit für einen Einfluss der Faktorstufe begründet.

I Beispiele:

I X Produktion eines Gutes, A verschiedene Maschinen;

I X Umsatz einer Firma, A verschiedene Regionen;

I X Kenngr¨oße f¨ur die Wirkung eines Medikaments (einer Behandlung), A verschiedene Medikamente (Behandlungen).

(4)

Datenschema

I Datenschema:

Gruppen (Stufen) j\i 1 . . . p

1 x₁₁ . . . x_p1 2 x₁₂ . . . x_p2 ... ... . .. ...

x_1n₁ . . . ... xpnp

n_i n₁ . . . n_p xi• x1• . . . xp•

xi• x1• . . . xp•

I n_i Gruppenumfang, x_i• Gruppensumme, xi• Gruppenmittel.

I Gilt n₁ =. . .=n_p, dann heißt der Versuchsplanbalanciertoder orthogonal, ansonsten unbalanciert odernichtorthogonal.

(5)

Beispielaufgabe

I Es soll die Abhängigkeit der Ernteerträge einer bestimmten Getreidesorte von unterschiedlichen Düngemitteln D1, . . . ,D_k untersucht werden.

I Jedes D¨ungemittel D_i wird auf n_i gleich großen Feldern angewendet.

I X_ij bezeichne den Ertrag (in kg) vomj−ten Feld, welches mit dem i−ten D¨ungemittel ged¨ungt wurde.

I Es soll festgestellt werden, ob ein signifikanter Einfluss des verwendeten D¨ungemittels auf den Ernteertrag besteht.

I Merkmal X: Ernteertrag.

I Faktor A: D¨ungemittel mit den Faktorstufen

”ohne“, D₁, . . . , D_k.

(6)

Beispiel 5.1: D¨ ungemittel

D¨ungemittel

ohne D₁ D₂ D₃ D₄

xij

66 60 64 97 90

68 35 79 99 79

42 51 72 64 87

56 69 82 91 71

n_i 4 4 4 4 4

xi• 232 215 297 351 327 xi• 58.00 53.75 74.25 87.75 81.75

(Quelle: J. Lehn, H. Wegmann: Einf¨uhrung in die Statistik, B. G.

Teubner Verlag, 2006, Beispiel 3.61.)

(7)

Allgemeines Modell

X_ij =µ_i +ε_ij, i = 1, . . . ,p, j = 1, . . . ,n_i, mit

X_ij j−te Merkmalszufallsgr¨oße f¨uri−te Stufe;

µ_i Erwartungswert des Merkmals auf Stufe i; ε_ij zuf¨alliger Fehler;

Hypothesen:

I H₀: µ₁=. . .=µ_p.

I H_A: µ_i 6=µ_k f¨ur mindestens ein Paar i 6=k.

(8)

Allgemeines Modell (mit Effekten)

X_ij =µ+α_i+ε_ij, i = 1, . . . ,p, j = 1, . . . ,n_i, mit

µ allgemeiner Erwartungswert ;

α_i =µ_i −µ fester Effekt (systematische Komponente) der Stufei; mit

p

X

i=1

n_iα_i = 0 derReparametrisierungsbedingung.

Hypothesen:

I H0: α1 =. . .=αp= 0 .

I H_A: α_i 6= 0 f¨ur mindestens ein i.

(9)

Hypothesen und Voraussetzungen f¨ ur den F −Test

I Hypothese H0: µ1 =. . .=µp (bzw.α1=. . .=αp= 0) .

I Hypothese HA: µi 6=µk f¨ur mindestens ein Paar i 6=k (bzw. α_i 6= 0 f¨ur mindestens ein i) .

I Voraussetzungen f¨ur den F−Test:

I die Merkmalszufallsgrößen X_ij sind unabhängig und normalverteilt mit Erwartungswert µ_i für diei−te Stufe jeweils (und damit sind die zufälligen Fehler ε_ij unabhängig und normalverteilt mit

Erwartungswert 0);

I die Varianzen der Merkmalszufallsgr¨oßen Xij (und damit der zuf¨alligen Fehler εij) sind alle gleich groß,

VarXij =Varεij =σ², i= 1, . . . ,p,j = 1, . . . ,ni;

I die Varianz σ² der einzelnen Merkmalszufallsgr¨oßen muss nicht bekannt sein.

(10)

Hilfsgr¨ oßen f¨ ur den Test

I Xi• = 1 n_i

ni

X

j=1

Xij Mittelwert deri−ten Stufe(i = 1, . . . ,p) .

I X••= 1 N

p

X

i=1 ni

X

j=1

X_ij totaler Mittelwert.

I SSA=

p

X

i=1

ni Xi•−X••

2

Summe der Abweichungsquadrate zwischen den Gruppen, charakterisiert die Variabilit¨at zwischen den Stufen (Gruppen), (”Sum ofSquares for Factor A”), manchmal auch ”SST” (”Sum ofSquares for Treatments”) genannt.

I SSR=

p

X

i=1 ni

X

j=1

Xij −Xi•2

Summe der Abweichungsquadrate innerhalb der Gruppen, charakterisiert die Variabilit¨at innerhalb der Stufen (Gruppen), (”Sum ofSquares for Residuals”), auch ”SSE”

(”Sum ofSquares for Errors”) genannt.

(11)

Testgr¨ oße und kritischer Bereich

I MSA= SSA

p−1 (”Mean Square for FactorA”), auch ”MST”

(”MeanSquare forTreatments”) genannt.

I MSR= SSR

N−p (”MeanSquare forResidual”), auch ”MSE”, (”MeanSquare forErrors”) genannt.

I Testgr¨oße: T = MSA MSR.

I Kritischer Bereich: K ={t ∈R : t >Fp−1;N−p;1−α} mit dem Quantil der F−Verteilung mit (p−1;N−p) Freiheitsgraden (FG).

I Bemerkung: Es gilt f¨ur dieTotalvariabilit¨at SST(”Sum of Squares Total”) die sogenannte

”Streuungszerlegung“:

SST=

p

X

i=1 ni

X

j=1

Xij −X••

2

=SSA+SSR.

(12)

ANOVA-Tabelle (ANOVA-Tafel)

Quelle der Summe der Freiheits- Mittlere

Variation Quadrate grade Quadrate Testgr¨oße Streuung

zwischen SSA p−1 MSA= ^SSA_p−1 T = ^MSA_MSR der Stufen

(Faktor A) Streuung

innerhalb SSR N−p MSR= _N−p^SSR der Stufen

(Rest) Gesamt-

streuung SST N−1

(13)

ANOVA in Statgraphics f¨ ur Beispiel 5.1 Ernteertr¨ age

Compare → Analysis of Variance → One-Way ANOVA...

ANOVA Table for Ertrag by Düngemittel

Source Sum of Squares Df Mean Square F-Ratio P-Value

Between groups 3492,8 4 873,2 5,81 0,0050

Within groups 2253,0 15 150,2 Total (Corr.) 5745,8 19

ANOVA Table for Ertrag by Düngemittel

Source Sum of Squares Df Mean Square F-Ratio P-Value

Between groups 3492,8 4 873,2 5,81 0,0050

Within groups 2253,0 15 150,2 Total (Corr.) 5745,8 19

Dr. Andreas W¨unsche Statistik II f¨ur Betriebswirte Vorlesung 4 Version: 16. Oktober 2019 13

(14)

ANOVA in Statgraphics (Zweite M¨ oglichkeit)

Compare → Multiple-Samples → Multiple-Sample Comparsion...

Wenn sich die Daten für jede Gruppe in einer separaten Spalte befinden, gelangt man nur über diesen Weg zur ANOVA-Tabelle. Im Beispiel 5.1 liegen die Daten aber in einer Spalte (Ertrag) vor. Daneben gibt es die Spalte Düngemittel. In dieser ist angegeben, zu welchem Düngemittel (Level Codes) der Ertrag gehört.

(15)

Der Kruskal-Wallis-Test

I Sind die Merkmalszufallsgr¨oßen nicht normalverteilt, dann kann man mit demKruskal-Wallis-Test (auch H−Test) die Gleichheit der Mediane (bzw. die Gleichheit der Verteilungsfunktionen) der Merkmalszufallsgr¨oßen zu den einzelnen Stufen des Faktors A

¨uberpr¨ufen.

I Der Kruskal-Wallis-Test ist eine Verallgemeinerung des Wilcoxon-Rangsummentests auf den Fall von mehr als 2 unabh¨angigen Stichproben.

I Voraussetzung: die Merkmalszufallsgr¨oßen haben eine stetige Verteilung.

I Bezeichnungen:

p Anzahl der Stufen (Gruppen);

ni Anzahl der Beobachtungswerte in der Stufe i, i = 1, . . . ,p; N Gesamtanzahl der Beobachtungswerte, N=

p

P

i=1

n_i.

(16)

Vorgehen beim Kruskal-Wallis-Test

I In der gemeinsamen Stichprobe (allep Gruppen, Stichproben) werden die R¨ange bestimmt.

r_ij sei die Rangzahl derj−ten Beobachtung in der i−ten Stufe, i = 1, . . . ,p, j = 1, . . . ,n_i.

I Bei der Bestimmung der Rangzahlen achtet man auf m¨oglicherweise auftretende Bindungen(mehrfach auftretende Werte in der

gemeinsamen Stichprobe).

Es bezeichne

g die Anzahl der auftretenden Bindungen;

th die Anzahl der ¨ubereinstimmenden Beobachtungswerte in der h−ten Bindung, h= 1, . . . ,g.

I Man berechnet die Summe der R¨ange in der Stufe i f¨ur alle i = 1, . . . ,p, diese wird mit ri• bezeichnet.

(17)

Testgr¨ oße und kritischer Bereich beim Kruskal-Wallis-Test

I Testgr¨oße:

T = 1 B

"

12 N(N+ 1)

p

X

i=1

1

n_ir_i•² −3(N+ 1)

#

mit B = 1− 1

N³−N

g

X

h=1

(t_h³−t_h),

dabei ist 1

B ein Korrekturfaktor, falls Bindungen vorkommen, kommen keine Bindungen vor, setzt man B = 1 .

I Kritischer Bereich: K ={t ∈R: t > χ²_p−1;1−α}.

I Der angegebene kritische Bereich beruht wieder auf einer asymptotischen Verteilung, er gilt nur n¨aherungsweise.

Als Faustregel kann man mit ihm rechnen, falls alle n_i >5 sind (f¨ur p = 3 sollte allerdings mindestens ein ni >8 sein).

(18)

Beispiel 5.2: Zugfestigkeit von 3 Drahtsorten

Drahtsorte

1 2 3

j\i x1j r1j x2j r2j x3j r3j

1 9.0 7 7.3 4.5 18.0 19

2 15.4 16 15.6 17 9.6 8

3 8.2 6 14.2 13 11.5 11

4 3.9 2 13.0 12 19.4 21

5 7.3 4.5 6.8 3 17.1 18

6 10.8 10 9.7 9 14.4 15

7 3.8 1 19.4 21

8 19.4 21

9 14.3 14

ri• 46.5 58.5 148.0

Quelle: nach J. Hartung, Statistik: Oldenbourg Verlag, 2009, Kap. XI, Abschnitt 1.1.A .

(19)

Kruskal-Wallis-Test f¨ ur Beispiel 5.2

I B = 1− 1

22³−22((2³−2) + (3³−3)) = 0.9971767 .

I Wert der Testgr¨oße:

t = 1

0.9971767 12

22·23 ·

46.5²

7 +58.5²

6 +148² 9

−3·23

= 9.597.

I Kritischer Bereich (α= 0.05) : K = χ²_2;0.95; +∞

= (5.99; +∞) .

I Testentscheidung: t∈K, die Nullhypothese ¨uber die Gleichheit der Erwartungswerte wird abgelehnt.

I Testergebnis:Die drei Drahtsorten unterscheiden sich beim

Signifikanzniveau von 5% hinsichtlich der (erwarteten) Zugfestigkeit signifikant voneinander.

(20)

Statgraphics f¨ ur Beispiel 5.2

Compare → Multiple-Samples → Multiple-Sample Comparsion...

Kruskal-Wallis Test

Sample Size Average Rank

Drahtsorte1 6 6,41667

Drahtsorte3 6 13,5

Test statistic = 5,55251 P-Value = 0,0622712

Drahtsorte3 6 13,5

Hier befinden sich die Daten in der Statgraphics-Datendatei f¨ur jede Gruppe (Drahtsorte1,. . . ,Drahtsorte3) in einer separaten Spalte.

(21)

Statgraphics-Ausgabe f¨ ur Beispiel 5.2

Statgraphics-Ausgabe:

Drahtsorte2 6 9,75

(22)

Paarweise Tests

I Sind die Mittelwerte von p unabhängigen Stichproben signifikant unterschiedlich (global) und möchte man zusätzlich herausfinden, welche Mittelwerte paarweise verschieden sind, bedient man sich der paarweisen Vergleiche.

I Die bekanntesten Verfahren f¨ur normalverteilte Stichproben mit

¨ubereinstimmender Varianz sind derScheff´e-Testund der Tukey-Test.

I Der Scheffé-Test ist flexibler, der Tukey-Test besitzt eine höhere Güte.

I Statgraphics: Compare →Analysis of Variance → One-Way ANOVA... , dann im Auswahlfenster f¨urTables and Graphs unter TABLES Multiple Range Testsaktivieren;

durch Rechtsklick im Ergebnisfenster f¨ur die Multiple Range Tests

→ Pane-Options...kann man das Testverfahren ausw¨ahlen.

(23)

Signifikanzniveau bei paarweisen Vergleichen

I Für die paarweisen Tests gibt es 2 mögliche Bedeutungen für das Signifikanzniveau α:

I globales Niveau: die Wahrscheinlichkeit, mindestens eine wahre Hypothese H₀^kl : µ_k =µ_l unter der Voraussetzung abzulehnen, dass die Globalnullhypothese richtig ist (d.h. alle Einzelnullhypothesen wahr sind), ist ≤α;

I multiples Niveau: die Wahrscheinlichkeit, mindestens eine wahre Hypothese H₀^kl unabh¨angig davon abzulehnen, wieviele und welche der Einzelnullhypothesen wahr sind, ist ≤α.

I Sowohl der Scheff´e-Test als auch der Tukey-Test halten multiples Niveau, allerdings ist der Scheff´e-Testkonservativer, d.h. er erkennt weniger Unterschiede als signifikant; deshalb ist der Tukey-Test vorzuziehen.

(24)

Weitere Bemerkungen

I Zur Überprüfung der Annahme über die Gleichheit der p Varianzen kann unter anderem derBartlett-Testverwendet werden (bei

ungleichen Stichprobenumf¨angen n_i und normalverteilten

Grundgesamtheiten; siehe Literatur, z.B.Storm, Abschnitt 14.2.5 oderHartung, Kap. XI, Abschnitt 1.3.).

I Ein weiterer Test f¨ur dieses Problem ist z.B. der Levene-Test.

I Statgraphics: Compare →Analysis of Variance → One-Way ANOVA... , dann im Auswahlfenster f¨urTables and Graphs unter TABLES Variance Checkaktivieren;

durch Rechtsklick im Ergebnisfenster f¨ur die Variance Check → Pane-Options.... kann man das Testverfahren ausw¨ahlen.