Schließende Statistik Vorlesung an der Universit¨at des Saarlandes PD Dr. Martin Becker Wintersemester 2020/21

(1)

Schließende Statistik

Vorlesung an der Universit¨at des Saarlandes

PD Dr. Martin Becker

Wintersemester 2020/21

(2)

1 Einleitung Organisatorisches 1.1

Organisatorisches I

Vorlesung: voraussichtlich nur online, Inhalte jederzeit abrufbar Ubungen: voraussichtlich nur online, Inhalte jederzeit abrufbar¨

Prüfung: 2-stündige Klausur nach Semesterende (1. Prüfungszeitraum)

Wichtig:

Anmeldung (ViPa) vom 24. November – 08. Dezember (bis 15 Uhr) m¨oglich Abmeldung bis 21. Januar 2021 (12 Uhr) m¨oglich

Hilfsmittel f¨ur Klausur

I ”Moderat“ programmierbarer Taschenrechner, auch mit Grafikf¨ahigkeit

I 2beliebig gestalteteDIN A 4–Bl¨atter (bzw. 4, falls nur einseitig)

I Ben¨otigte Tabellen werden gestellt, aberkeine weitere Formelsammlung!

Durchgefallen — was dann?

I ”Wiederholungskurs“ im kommenden (Sommer-)Semester

I ”Nachpr¨ufung“ (voraussichtlich) erst September/Oktober 2021 (2. Pr¨ufungszeitraum)

I ”Regul¨are“ Vorlesung/ ¨Ubungen wieder im Wintersemester 2021/22

Schließende Statistik (WS 2020/21) Folie 2

(3)

Organisatorisches II

Kontakt: PD Dr. Martin Becker Geb. C3 1, 2. OG, Zi. 2.17

e-Mail:martin.becker@mx.uni-saarland.de

Sprechstunde (via MS Teams) nach Terminabstimmung per e-Mail Informationen und Materialien im (UdS-)Moodle und auf Homepage:

http://www.lehrstab-statistik.de

Material zu dieser Veranstaltung: Vorlesungsfolieni.d.R. vor Vorlesung zum Download (inklusive Drucker-freundlicher 2-auf-1 bzw. 4-auf-1 Versionen) Wie in

”Deskriptive Statistik und Wahrscheinlichkeitsrechnung“:

I Neben theoretischer Einf¨uhrung der Konzepte auch einige Beispiele auf Vorlesungsfolien

I Einige wichtige Grundlagen werden gesondert als

”Definition“,

”Satz“ oder

”Bemerkung“ hervorgehoben

I Aber:Auch vieles, was nicht formal als

”Definition“,

”Satz“ oder

”Bemerkung“

gekennzeichnet ist, ist wichtig!

(4)

Organisatorisches III

Ubungsbl¨¨ atter i.d.R. zusammen mit neuen Vorlesungsunterlagen zum Download

Ergebnisse(keine Musterl¨osungen!) zu den meisten Aufgaben ebenfalls unmittelbar verf¨ugbar

Ausführlichere Lösungen zu den Übungsaufgaben (Online-Skript + noch ausführlichere Erklärvideos) einige Tage später, damit Sie nicht zu sehr in Versuchung geraten, sich die Lösungvorder eigenen Bearbeitung der Ubungsbl¨¨ atter anzuschauen!

Eigene Bearbeitung der Übungsblätter (vorBetrachten der bereitgestellten Lösungen) wichtigste Klausurvorbereitung (eine vorhandene Lösung zu verstehen etwasganzanderes als eine eigene Lösung zu finden!).

(5)

Organisation der Statistik-Veranstaltungen

Deskriptive Statistik

Wahrscheinlichkeitsrechnung

Schließende Statistik Sommersemester

Wintersemester

(6)

1 Einleitung Ben¨otigte Konzepte 1.2

Ben¨ otigte Konzepte

aus den mathematischen Grundlagen

Rechnen mit Potenzen

a^m·b^m= (a·b)^m a^m·aⁿ=a^m+n a^m

aⁿ =a^m−n (a^m)ⁿ=a^m·n Rechnen mit Logarithmen

ln(a·b) = lna+ lnb lna b

= lna−lnb ln (a^r) =r·lna Rechenregeln auch mit Summen-/Produktzeichen, z.B.

ln

n

Y

i=1

x_i^rⁱ

!

=

n

X

i=1

riln(xi) Maximieren differenzierbarer Funktionen

I Funktionen (ggf. partiell) ableiten

I Nullsetzen von Funktionen (bzw. deren Ableitungen)

”Unfallfreies“ Rechnen mit 4 Grundrechenarten und Br¨uchen...

(7)

1 Einleitung Ben¨otigte Konzepte 1.2

Ben¨ otigte Konzepte

aus Veranstaltung

”Deskriptive Statistik und Wahrscheinlichkeitsrechnung“

Diskrete und stetige ZufallsvariablenX, Verteilungsfunktionen, Wahrscheinlichkeitsverteilungen, ggf. Dichtefunktionen

Momente (Erwartungswert E(X), Varianz Var(X), h¨ohere Momente E(X^k))

”Einbettung“ der deskriptiven Statistik in die Wahrscheinlichkeitsrechnung

I Ist Ω die (endliche) Menge von Merkmalstr¨agern einer deskriptiven

statistischen Untersuchung,F=P(Ω) undP die Laplace-Wahrscheinlichkeit

P:P(Ω)→R;B7→ #B

#Ω ,

so kann jedes numerische MerkmalX als ZufallsvariableX : Ω→R verstanden werden.

I Der Träger vonX entspricht dann dem MerkmalsraumA={a1, . . . ,am}, die Punktwahrscheinlichkeiten den relativen Häufigkeiten, d.h. es giltp(aj) =r(aj) bzw. — äquivalent —PX({aj}) =r(aj) fürj∈ {1, . . . ,m}.

Verteilung vonX_n=_n¹Pn

i=1X_i f¨ur unabh¨angig identisch verteilteX_i

I fallsXi normalverteilt

I fallsn→ ∞(Zentraler Grenzwertsatz!)

(8)

2 Grundlagen Grundannahmen 2.1

Grundidee der schließenden Statistik

Ziel der schließenden Statistik/induktiven Statistik:

Ziehen von R¨uckschl¨ussen auf die

Verteilung einer (gr¨oßeren) Grundgesamtheit auf Grundlage der Beobachtung einer (kleineren) Stichprobe.

Rückschlüsse auf die Verteilung können sich auch beschränken auf spezielle Eigenschaften/Kennzahlen der Verteilung, z.B. den Erwartungswert.

”Fundament“:Drei Grundannahmen

1 Der interessierende Umweltausschnitt kann durch eine (ein- oder mehrdimensionale) ZufallsvariableY beschrieben werden.

2 Man kann eineMenge W von Wahrscheinlichkeitsverteilungen angeben, zu der dieunbekanntewahre Verteilung vonY geh¨ort.

3 Man beobachtet Realisationenx1, . . . ,xnvon (Stichproben-)Zufallsvariablen

X1, . . . ,Xn, deren gemeinsame Verteilungin vollst¨andig bekannter Weisevon

der Verteilung vonY abh¨angt.

Ziel ist es also, aus der Beobachtung dernWertex1, . . . ,xn mit Hilfe des bekannten Zusammenhangs zwischen den Verteilungen vonX1, . . . ,Xn undY Aussagen ¨uber die Verteilung vonY zu treffen.

(9)

” Veranschaulichung“ der schließenden Statistik

Zufallsvariable Y Zufallsvariablen

X1, …, Xn

Realisationen x1, …, xn

Grundgesamtheit Ziehungsverfahren Stichprobe

induziert Verteilung von

(konkrete) Ziehung/

Auswahl der Stichprobe führt zu

Rückschluss auf Verteilung/Kenngrößen

(10)

Bemerkungen zu den 3 Grundannahmen

Die 1. Grundannahme umfasst insbesondere die Situation, in der die ZufallsvariableY einem (ein- oder mehrdimensionalen) Merkmal auf einer endlichenMenge von Merkmalstr¨agern entspricht, vgl. die Einbettung der deskriptiven Statistik in die Wahrscheinlichkeitsrechnung auf Folie 7.

In diesem Fall interessiert man sich h¨aufig f¨ur Kennzahlen vonY, z.B. den Erwartungswert vonY (als Mittelwert des Merkmals auf der

Grundgesamtheit).

Die MengeW von Verteilungen aus der 2. Grundannahme ist h¨aufig eine parametrischeVerteilungsfamilie, zum Beispiel die Menge aller

Exponentialverteilungen oder die Menge aller Normalverteilungen mit Varianz σ²= 2².

In diesem Fall ist die Menge der für die Verteilung vonY denkbaren Parameter interessant (später mehr!). Wir betrachten dann nur solche Verteilungsfamilien, in denen verschiedene Parameter auch zu verschiedenen Verteilungen führen (

”Parameter sindidentifizierbar.“).

Wir beschr¨anken uns aufsehreinfache Zusammenh¨ange zwischen der Verteilung der interessierenden ZufallsvariablenY und der Verteilung der ZufallsvariablenX₁, . . . ,X_n.

(11)

2 Grundlagen Einleitendes Beispiel 2.2

Beispiel I

Stichprobe aus endlicher Grundgesamtheit Ω

Grundgesamtheit:N= 4 Kinder (Anna,Beatrice, Christian,Daniel) gleichen Alters, die in derselben Straße wohnen: Ω ={A,B,C,D}

Interessierender Umweltausschnitt: monatliches TaschengeldY (ine) bzw.

sp¨ater spezieller: Mittelwert des monatlichen Taschengelds der 4 Kinder (entspricht E(Y) bei Einbettung wie beschrieben)

(Verteilungsannahme:) Verteilung vonY unbekannt, aber sicher in der Menge der diskreten Verteilungen mit maximalN= 4 (nichtnegativen) Tr¨agerpunkten und Punktwahrscheinlichkeiten, die Vielfaches von 1/N= 1/4 sind.

Im Beispielnun: ZufallsvariableY nehme Werte

ω A B C D

Y(ω) 15 20 25 20 an, habe also folgende zugeh¨orige Verteilung:

yi 15 20 25 Σ pY(yi) ¹₄ ¹₂ ¹₄ 1

(12)

Beispiel II

Beachte:Verteilung vonY nur im Beispiel bekannt, in der Praxis: Verteilung vonY nat¨urlich unbekannt!

Einfachste M¨oglichkeit, um Verteilung vonY bzw. deren Erwartungswert zu ermitteln: alle 4 Kinder nach Taschengeld befragen!

Typische Situation in schließender Statistik: nicht alle Kinder k¨onnen befragt werden, sondern nur eine kleinere Anzahln<N= 4, beispielsweisen= 2.

Erwartungswert vonY (mittleres Taschengeld aller 4 Kinder) kann dann nur nochgesch¨atztwerden!

Ziel: Rückschluss aus der Erhebung von n= 2 Taschengeldhöhen auf die größere Grundgesamtheit vonN= 4 Kindern durch

I Sch¨atzung des mittleren Taschengeldes aller 4 Kinder

I Beurteilung der Qualit¨at der Sch¨atzung (mit welchem

”Fehler“ ist zu rechnen) (Qualität der) Schätzung hängt ganz entscheidend vom

Ziehungs-/Auswahlverfahren ab!

(13)

Beispiel III

Erhebung von 2 Taschengeldh¨ohen f¨uhrt zu StichprobenzufallsvariablenX₁ undX₂.

X1bzw.X2entsprechen in diesem Fall dem Taschengeld des 1. bzw. 2.

befragten Kindes

Sehr wichtigf¨ur Verst¨andnis:

X1undX2sind Zufallsvariablen, da ihr Wert (Realisation) davon abhängt, welche Kinderman zufällig ausgewählt hat!

Erstnach Auswahlder Kinder (also nach

”Ziehung der Stichprobe“) steht der Wert (die Realisation)x1vonX1 bzw.x2vonX2 fest!

Variante A

Naheliegendes Auswahlverfahren: nacheinanderrein zufälligeAuswahl von 2 der 4 Kinder, d.h.zufälliges Ziehen ohne Zurücklegen mit

Ber¨ucksichtigung der Reihenfolge

Alle (4)₂= 12 Paare (A,B); (A,C); (A,D); (B,A); (B,C); (B,D); (C,A);

(C,B); (C,D); (D,A); (D,B); (D,C) treten dann mit der gleichen Wahrscheinlichkeit (1/12) auf und f¨uhren zu den folgenden

”Stichprobenrealisationen“ (x1,x2) der Stichprobenvariablen (X1,X2):

(14)

Beispiel IV

Realisationen (x₁,x₂) zur Auswahl von 1. Kind (Zeilen)/2. Kind (Spalten):

A B C D

A unmöglich (15,20) (15,25) (15,20) B (20,15) unmöglich (20,25) (20,20) C (25,15) (25,20) unmöglich (25,20) D (20,15) (20,20) (20,25) unmöglich Resultierende gemeinsame Verteilung von (X₁,X₂):

x1\x2 15 20 25 Σ 15 0 ¹₆ ₁₂¹ ¹₄ 20 ¹₆ ¹₆ ¹₆ ¹₂ 25 ₁₂¹ ¹₆ 0 ¹₄ Σ ¹₄ ¹₂ ¹₄ 1 Es f¨allt auf (Variante A):

I X1undX2haben die gleiche Verteilung wieY.

I X1undX2sindnichtstochastisch unabh¨angig.

(15)

Beispiel V

Naheliegend: Sch¨atzung des Erwartungswertes E(Y), also des mittleren Taschengeldes aller 4 Kinder, durch den (arithmetischen) Mittelwert der erhaltenen Werte f¨ur die 2 befragten Kinder.

Wichtig: NachAuswahl der Kinder ist dieser Mittelwert eine Zahl, es ist aber sehr nützlich, den Mittelwert schonvorAuswahl der Kinder (dann) als Zufallsvariable (der Zufall kommt über die zufällige Auswahl der Kinder ins Spiel) zu betrachten!

Interessant ist also die Verteilung derZufallsvariableX := ¹₂(X1+X2), also des Mittelwerts der StichprobenzufallsvariablenX1 undX2.

Die (hiervon zu unterscheidende!)Realisationx =¹₂(x1+x2) ergibt sich erst (als Zahlenwert) nach Auswahl der Kinder (wenn die Realisation (x1,x2) von (X1,X2) vorliegt)!

Verteilung vonX hier (Variante A):

x_i 17.5 20 22.5 Σ p_X(xi) ¹₃ ¹₃ ¹₃ 1

(16)

Beispiel VI

Variante B

Weiteres m¨ogliches Auswahlverfahren: 2-facherein zuf¨alligeund

voneinander unabhängigeAuswahl eines der 4 Kinder, wobei erlaubt ist, dasselbe Kind mehrfach auszuwählen, d.h.zufälliges Ziehen mit

Zur¨ucklegen und Ber¨ucksichtigung der Reihenfolge

Alle 4²= 16 Paare (A,A); (A,B); (A,C); (A,D); (B,A); (B,B); (B,C);

(B,D); (C,A); (C,B); (C,C); (C,D); (D,A); (D,B); (D,C); (D,D) treten dann mit der gleichen Wahrscheinlichkeit (1/16) auf und f¨uhren zu den folgenden

”Stichprobenrealisationen“ (x1,x2) der Stichprobenvariablen (X1,X2) (zur Auswahl von 1. Kind (Zeilen)/2. Kind (Spalten)):

A B C D

A (15,15) (15,20) (15,25) (15,20) B (20,15) (20,20) (20,25) (20,20) C (25,15) (25,20) (25,25) (25,20) D (20,15) (20,20) (20,25) (20,20)

(17)

Beispiel VII

Resultierende gemeinsame Verteilung von (X1,X2):

x1\x2 15 20 25 Σ 15 ₁₆¹ ¹₈ ₁₆¹ ¹₄ 20 ¹₈ ¹₄ ¹₈ ¹₂ 25 ₁₆¹ ¹₈ ₁₆¹ ¹₄ Σ ¹₄ ¹₂ ¹₄ 1 Es f¨allt auf (Variante B):

I X1undX2haben die gleiche Verteilung wieY.

I X1undX2sindstochastisch unabh¨angig.

Verteilung vonX hier (Variante B):

xi 15 17.5 20 22.5 25 Σ p_X(x_i) ₁₆¹ ¹₄ ³₈ ¹₄ ₁₆¹ 1

(18)

2 Grundlagen Zufallsstichprobe 2.3

Zufallsstichprobe

Beide Varianten zur Auswahl der Stichprobe f¨uhren dazu, dass alle StichprobenzufallsvariablenXi (i= 1,2)identischverteilt sind wieY. VarianteBf¨uhrt außerdem dazu, dass die StichprobenzufallsvariablenXi

(i= 1,2)stochastisch unabh¨angig sind.

Definition 2.1 ((Einfache) Zufallsstichprobe)

Seienn∈NundX1, . . . ,Xn Zufallsvariablen einer Stichprobe vom Umfangnzu Y. Dann heißt (X1, . . . ,Xn)

I Zufallsstichprobevom UmfangnzuY, falls die Verteilungen vonY undXi f¨ur alle i∈ {1, . . . ,n}¨ubereinstimmen, alleXi also identisch verteilt sind wieY,

I einfache (Zufalls-)Stichprobevom UmfangnzuY, falls die Verteilungen vonY undXi f¨ur allei ∈ {1, . . . ,n}¨ubereinstimmen undX1, . . . ,Xn außerdem

stochastisch unabh¨angig sind.

(X1,X2) ist in Variante A des Beispiels also eine Zufallsstichprobe vom Umfang 2 zuY, in Variante B sogar eine einfache (Zufalls-)Stichprobe vom Umfang 2 zuY.

(19)

2 Grundlagen Zufallsstichprobe 2.3

X₁, . . . ,X_n ist also nach Definition 2.1 auf Folie 18 genau dann eine Zufallsstichprobe, falls f¨ur die Verteilungsfunktionen zuY,X₁, . . . ,X_n

F_Y =F_X₁ =· · ·=F_X_n gilt.

IstX1, . . . ,Xn eineeinfache Stichprobevom UmfangnzuY, so gilt f¨ur die

gemeinsameVerteilungsfunktion von (X1, . . . ,Xn) sogar FX₁,...,X_n(x1, . . . ,xn) =FY(x1)·. . .·FY(xn) =

n

Y

i=1

FY(xi). IstY diskrete Zufallsvariable gilt also insbesondere f¨ur die beteiligten Wahrscheinlichkeitsfunktionen

p_X₁_,...,X_n(x₁, . . . ,x_n) =p_Y(x₁)·. . .·p_Y(x_n) =

n

Y

i=1

p_Y(x_i), istY stetige Zufallsvariable, so existieren Dichtefunktionen vonY bzw.

(X₁, . . . ,X_n) mit

fX1,...,Xn(x1, . . . ,xn) =fY(x1)·. . .·fY(xn) =

n

Y

i=1

fY(xi).

(20)

2 Grundlagen Stichprobenrealisation 2.4

Stichprobenrealisation/Stichprobenraum

Definition 2.2 (Stichprobenrealisation/Stichprobenraum)

Seienn∈NundX₁, . . . ,X_n Zufallsvariablen einer Stichprobe vom Umfangnzu Y. Seienx₁, . . . ,x_ndie beobachteten Realisationen zu den Zufallsvariablen X₁, . . . ,X_n. Dann heißt

(x1, . . . ,xn)Stichprobenrealisation und

die MengeX aller m¨oglichen StichprobenrealisationenStichprobenraum.

Es gilt offensichtlich immerX ⊆Rⁿ.

”Alle möglichen Stichprobenrealisationen“ meint alle Stichprobenrealisationen, die fürirgendeineder möglichen VerteilungenW vonY aus der

Verteilungsannahme m¨oglich sind.

Wenn man davon ausgeht, dass ein Kind

”schlimmstenfalls“ 0eTaschengeld erh¨alt, w¨are im Beispiel alsoX =R²+(Erinnerung:R+:={x ∈R|x≥0}).

Meist wird die Information der Stichprobenzufallsvariablen bzw. der Stichprobenrealisation weiter mit sog.

”Stichprobenfunktionen“ aggregiert, die oft (große) ¨Ahnlichkeit mit Funktionen haben, die in der deskriptiven

Statistik zur Aggregierung von Urlisten eingesetzt werden.

(21)

2 Grundlagen Stichprobenfunktion 2.5

Stichprobenfunktion/Statistik

Definition 2.3 (Stichprobenfunktion/Statistik)

Seienn∈NundX1, . . . ,XnZufallsvariablen einer Stichprobe vom UmfangnzuY mit StichprobenraumX. Dann heißt eine Abbildung

T :X →R; (x1, . . . ,xn)7→T(x1, . . . ,xn) Stichprobenfunktionoder Statistik.

Stichprobenfunktionen sind also Abbildungen, deren Wert mit Hilfe der Stichprobenrealisation bestimmt werden kann.

Stichprobenfunktionen müssen (geeignet, z.B.Bⁿ-B-) messbare Abbildungen sein; diese Anforderung ist aber für alle hier interessierenden Funktionen erfüllt, Messbarkeitsüberlegungen bleiben also im weiteren Verlauf außen vor.

Ebenfalls als Stichprobenfunktion bezeichnet wird die (als

Hintereinanderausf¨uhrung zu verstehende) AbbildungT(X₁, . . . ,X_n), wegen der Messbarkeitseigenschaft ist dies immer eineZufallsvariable.

Die Untersuchung der zugeh¨origen Verteilung ist f¨ur viele Anwendungen von ganz wesentlicherBedeutung.

(22)

2 Grundlagen Stichprobenfunktion 2.5

Wenn man sowohl die ZufallsvariableT(X1, . . . ,Xn) als auch den aus einer vorliegenden Stichprobenrealisation (x1, . . . ,xn) resultierenden Wert T(x1, . . . ,xn) betrachtet, so bezeichnet manT(x1, . . . ,xn) oft auch als Realisationder Stichprobenfunktion.

Im Taschengeld-Beispiel war die betrachtete Stichprobenfunktion das arithmetische Mittel, also konkreter

T :R²→R;T(x1,x2) =x:= 1

2(x1+x2) bzw. — als Zufallsvariable betrachtet —

T(X1,X2) =X := 1

2(X1+X2) .

Je nach Anwendung erhalten Stichprobenfunktionen auch speziellere Bezeichnungen, z. B.

I SchätzfunktionoderSchätzer, wenn die Stichprobenfunktion zur Schätzung eines Verteilungsparameters oder einer Verteilungskennzahl verwendet wird (wie im Beispiel!),

I Teststatistik, wenn auf Grundlage der Stichprobenfunktion Entscheidungen

¨

uber die Ablehnung oder Annahme von Hypothesen ¨uber die Verteilung vonY getroffen werden.

(23)

2 Grundlagen Fortsetzung Beispiel 2.6

Beispiel VIII

Vergleich der Verteilungen vonX in beiden Varianten:

16 18 20 22 24

xi

pX(xi)

Variante A Variante B E(Y)

(24)

Beispiel IX

Verteilung vonY

yi 15 20 25 Σ pY(yi) ¹₄ ¹₂ ¹₄ 1

hat Erwartungswert E(Y) = 20 und Standardabweichung Sd(Y)≈3.536.

Verteilung vonX (VarianteA):

xi 17.5 20 22.5 Σ p_X(x_i) ¹₃ ¹₃ ¹₃ 1

hat Erwartungswert E(X) = 20 und Standardabweichung Sd(X)≈2.041.

Verteilung vonX (VarianteB):

xi 15 17.5 20 22.5 25 Σ p_X(xi) ₁₆¹ ¹₄ ³₈ ¹₄ ₁₆¹ 1

hat Erwartungswert E(X) = 20 und Standardabweichung Sd(X) = 2.5.

(25)

Beispiel X

In beiden Varianten sch¨atzt man das mittlere Taschengeld E(Y) = 20 also

”im Mittel“ richtig, denn es gilt f¨ur beide Varianten E(X) = 20 = E(Y).

Die Standardabweichung vonX ist in Variante A kleiner als in Variante B;

zusammen mit der Erkenntnis, dass beide Varianten

”im Mittel“ richtig liegen, sch¨atzt also Variante A

”genauer“.

In beiden Varianten hängt es vom Zufall (genauer von der konkreten Auswahl der beiden Kinder — bzw. in Variante B möglicherweise zweimal desselben Kindes — ab), ob mannach Durchführung der Stichprobenziehungden tatsächlichen Mittelwert als Schätzwert erhält oder nicht.

ObwohlX in Variante A die kleinere Standardabweichung hat, erhält man in Variante B den tatsächlichen Mittelwert E(Y) = 20 mit einer größeren Wahrscheinlichkeit (3/8 in Variante B gegenüber 1/3 in Variante A).