Beweisen Sie die Höffding-Ungleichung: Für positive ZahlenRi sowie unabhängige und zentrierte Zufallvariablen Xi mit|Xi|6Ri f.s

(1)

Vorlesung Methoden der Statistik Wintersemester 2022/23

Humboldt-Universit¨at zu Berlin Prof. Dr. Markus Reiß

Eric Ziebell

9. ¨Ubungsblatt

1. Beweisen Sie die Höffding-Ungleichung: Für positive ZahlenRi sowie unabhängige und zentrierte Zufallvariablen X_i mit|X_i|6R_i f.s. gilt

P

n

X

i=1

X_i >t

62 exp

− t² 2P_n

i=1R²_i

, t>0.

Zeigen Sie dazue^αx6 ^R−x_2R e^−αR+^R+x_2R e^αR f¨urα >0 und|x|6Rund schließen SieE[e^αXⁱ]6e^α²^R²ⁱ^/2. Verwenden Sie die Markovungleichung in geeigneter Weise, um zun¨achstP(Pn

i=1Xi >t) abzusch¨atzen.

Nun sei Xi = Yi−E[Yi] mit Yi ∼Bern(p) f¨ur p ∈(0,1). Vergleichen Sie in diesem Fall die Schranke der H¨offding-Ungleichung mit der der Tschebyschew-Ungleichung.

2. F¨ur einen Klassifizierer C und eine mathematische Stichprobe (Trai- ningsdaten) (X_i, Y_i)_16i6n bezeichnet

Rn(C) = 1 n

n

X

i=1

1(Yi 6=C(Xi))

das sogenannte empirische Risiko. ˆC heißt ERM-Klassifizierer (em- pirical risk minimizer) in einer Klasse C von Klassifizierern, falls R_n( ˆC) = minC∈C R_n(C) gilt. Zeigen Sie f¨ur das Risiko (den Klassi- fizierungsfehler)R die Fundamentalungleichung

R( ˆC)6 inf

C∈CR(C) + 2 sup

C∈C|R_n(C)−R(C)|.

3. Betrachten Sie eine endliche Familie C = {C₁, . . . , CM} von Klassi- fizierern und den zugeh¨origen ERM-Klassifizierer ˆC. Verwenden Sie obige Ergebnisse, um f¨ur alle τ >0 zu zeigen, dass mit Wahrschein- lichkeit mindestens 1−e^−τ

(2)

Abgabe am Dienstag, 10.1.23, ¨uberMoodle.

(3)

Eric Ziebell

10. ¨Ubungsblatt

1. Weisen Sie nach, dass das Bayesrisiko im LDA-Modell gegeben ist durch

R^∗ =π−1Φ

log(^π_π⁺¹

−1)−∆²/2 /∆

+π+1

1−Φ

log(^π_π⁺¹

−1)+∆²/2

/∆

mit der N(0,1)-Verteilungsfunktion Φ und dem Mahalanobisabstand

∆. Diskutieren Sie das Verhalten jeweils f¨ur π₊₁ → 1, ∆ → ∞ und

∆→0.

2. Betrachten Sie f¨ur K Klassen mit Klassenwahrscheinlichkeiten πk ∈ (0,1), PK

k=1π_k= 1, Mittelwerten µ_k∈R^p und invertierbaren Kovari- anzmatrizen Σ_k∈R^p×p die Normalverteilungsmischungsdichte

f(x) =

K

X

k=1

πkϕµk,Σk(x), x∈R^p,

wobei ϕ_µ,Σ die N(µ,Σ)-Dichte bezeichne. Weisen Sie nach, dass der beste Klassifizierer (bei Standard-Klassifikationsfehler) gegeben ist durch C^∗(x) = argmax_k=1,...,Kδ_k(x) mit quadratischen Diskrimanten

δ_k(x) =−¹₂log(det(Σ_k))−¹₂hΣ⁻¹_k (x−µ_k), x−µ_ki+ logπ_k. Welche geometrischen Formen f¨ur p = 2 k¨onnen die Entscheidungs- grenzen{x∈R² |δ_k(x) =δ_l(x)}zwischen Klasse k und lbesitzen?

3. Beweisen Sie f¨ur den O_P-Kalk¨ul von reellwertigen Zufallsvariablen X_n, Y_n, X und Zahlen a_n, b_n>0:

(a) Ausa⁻¹_n X_n−→^d X folgt X_n =O_P(a_n) (Konvergenz in Verteilung impliziert stochastische Beschr¨anktheit).

(4)

Glieds), zeichnen Sie die erhaltene Entscheidungsgrenze in das Koordinatensystem und bestimmen Sie den Klassifikationsfehler jeweils auf den Trainings- und Testdaten (relative H¨aufigkeit von Fehlklassifikationen).

(b) Zeichnen Sie die Kovariablen aller Patienten in ein Koordinaten- system und markieren Sie die F¨alle gesund/krank (mit Farben) sowie Training-/Test-Datum (mit dunkel/hell).

(c) Führen Sie eine lineare Diskriminanzanalyse für die Trainingsda- ten durch, zeichnen Sie die erhaltene Entscheidungsgrenze in das Koordinatensystem und bestimmen Sie den Klassifikationsfehler jeweils auf den Trainings- und Testdaten (relative Häufigkeit von Fehlklassifikationen).

(5)

Eric Ziebell

11. ¨Ubungsblatt

1. Beweisen oder widerlegen Sie die Aussage, dass folgende Verteilungen Exponentialfamilien bilden. Bestimmen Sie gegebenenfalls den nat¨urli- chen Parameterraum.

(a) Multinomialverteilung (M(p₀, . . . , p_s;n))_0<p_i_<1,^P^s

i=1pi=1;

(b) p-dimensionale Normalverteilung (N(µ,Σ))µ∈R^p mit bekannter Kovarianzmatrix Σ∈R^p×p;

(c) Gleichm¨aßige Verteilung (U([0, ϑ]))_ϑ>0.

2. Betrachten Sie die logistische Regression mit reellwertigen Kovariablen X_i, so dass Y_i|X_i =x_i ∼Bern((1 +e^−(β⁰^+β¹^xⁱ⁾)⁻¹). Zeigen Sie, dass der MLE f¨ur β = (β0, β1)^> nicht existiert, falls eine exakte Trennung der Klassen in den Daten (x1, y1), . . . ,(xn, yn) m¨oglich ist, das heißt ξ∈Rexistiert mity_i = sgn(x_i−ξ) (bzw. y_i=−sgn(x_i−ξ)).

Verallgemeinern Sie dies f¨urR^p-wertige KovariablenX_i, bei denen die Klassen durch eine linear-affine Hyperebene getrennt werden k¨onnen.

3. Zeigen Sie:

(a) Die Poissonverteilung mit Parameterλ >0 bildet eine Exponen- tialfamilie inT(k) =kmit nat¨urlichem Parameterϑ= logλ∈R.

(b) Betrachten Sie das GLM-Modell der Poissonregression mit logλ_i = β₀ +β₁x_i f¨ur gegebene Designpunkte x₁, . . . , x_n ∈ R und β = (β₀, β₁)^> ∈ R² unbekannt. Stellen Sie eine Gleichung f¨ur den MLE ˆβ auf und untersuchen Sie, ob der MLE existiert und eindeutig ist.

Lekt¨uretipp:InReport 490 des Imperial Collegewerden Growth, popu- lation distribution and immune escape of Omicron in Englandmittels logistischer und Poisson-Regression untersucht.

(6)

1. In der Vorlesung wurde M_X := p

n/pmaxj=1,...,n|Π_Xej| definiert f¨ur die Orthogonalprojektion Π_X auf das Bild der DesignmatrixX ∈R^n×p vom Rangp. Zeigen Sie:

(a) MX 6p n/p.

(b) Es giltPn

j=1|Π_Xe_j|²=p, so dassM_X >1 folgt.

(c) Mit den Bezeichnungen Σn = _n¹Pn

i=1xix^>_i f¨ur xi =X^>ei sowie kXk_max= maxi,j|X_ij|gilt

M_X 6 kXk_max λ_min(Σ_n)^1/2.

2. Beweisen Sie für die Funktion gq(a) :=−qa+ log(1 +eâ), a∈R,q ∈ (0,1), die fürq =y unda=η der Funktion `_η(y) aus der logistischen Regression entspricht:

(a) g_q ist strikt konvex.

(b) Das globale Minimum vong_q liegt beia_q= log(q/(1−q)).

(c) F¨ur|a−aq|61 gilt die Exzessbedingung gq(a)>gq(aq) +^q(1−q)_2e a². Tipp: Taylorentwicklung bis zum zweiten Glied.

(d) Plotten Sieg_q unda7→g_q(a_q) +^q(1−q)_2e a² f¨urq ∈ {0.1; 0.5; 0.9}.

3. F¨ur jedes τ > 0 gelte mit Wahrscheinlichkeit mindestens 1−e^−τ die Orakelungleichung

E_`( ˆβ)6C inf

β∈R^p

E_`(β) +F(τ)

f¨ur eine Konstante C > 1 und eine deterministische, monoton wach- sende FunktionF :R⁺→R⁺. Folgern Sie f¨ur den Erwartungswert die Orakelungleichung

E E_`( ˆβ)

6C inf

β∈R^p

E_`(β) +E F(Z) mit einer Exp(1)-verteilten ZufallsvariablenZ.

(7)

4. Lesen Sie Kapitel 2.1.2Sub-Gaussian Variables and Hoeffding bounds im BuchHigh-dimensional Statisticsvon M. Wainwright und beweisen Sie die Hoeffding-Ungleichung f¨ur subgaußsche Zufallsvariablen (Prop.

2.5) im Detail.

(8)

1. Betrachten Sie die bedingte Klassenwahrscheinlichkeit η(x) =P(Y = +1|X=x),x∈R^p, im LDA-Modell und überprüfen Sie, obη für die kNN-Methode die verallgemeinerte Hölderbedingung

2. kNN-Klassifikation in der Praxis: F¨uhren Sie f¨ur die Cleveland-Daten (vgl. Aufgabe 10.4) eine Klassifikation mit der kNN-Methode durch und testen Sie es analog zum Fall von LDA und logistischer Regression.

Variieren Sie dabei k ∈ {1; 3; 10; 30} und auch die Metrik d(x, y) = (a(x₁ −y₁)² +b(x₂ −y₂)²)^1/2 mit a, b ∈ {1,3}. Diskutieren Sie kurz die Ergebnisse und den Einfluss vonk bzw. der Metrik.

Abgabe am Dienstag, 7.2.23, ¨uber Moodle.

(9)

Eric Ziebell

14. ¨Ubungsblatt

1. Betrachten Sie die Funktion J :R^p×R→R⁺ mitJ(β, β₀) = 1

n

X

i=1

1−Y_i(hX_i, βi+β₀)

++^λ₂|β|² f¨ur gegebeneYi∈ {−1,+1},Xi∈R^p,λ >0. Zeigen Sie:

(a) Die Funktionβ 7→J(β, β₀) ist f¨ur jedesβ₀ ∈Rstrikt konvex und besitzt genau ein Minimum ˆβ = ˆβ(β0). J besitzt ein Minimum ( ˆβ,βˆ0) aufR^p×R, das aber nicht notwendigerweise eindeutig ist.

(b) F¨ur beliebige Richtungsvektoren v∈R^p erhalten wir die einseiti- ge Ableitung

limh↓0

J(β+hv, β0)−J(β, β0)

h =λhβ, vi+

1 n

n

X

i=1

−YihX_i, vi1 Yi(hX_i, βi+β0)<1

+ (YihX_i, vi)₋1 Yi(hX_i, βi+β0) = 1 .

(c) Istv∈R^porthogonal zu allen PunktenX_imitY_i(hX_i,βi+βˆ ₀) = 1 f¨ur den Minimierer ˆβ, so gilt

hβ, viˆ = (λn)⁻¹