Algorithmische Grundlagen des Maschinellen Lernens Sommersemester 2020

Anne Driemel

Thomas Kesselheim 8. Juni 2020

Xianghui Zhong Abgabe bis: 15. Juni 2020, 12 Uhr

Algorithmische Grundlagen des Maschinellen Lernens Sommersemester 2020

Ubungsblatt 7 ¨

Aufgabe 1: (3+2 Punkte)

Sei X = R, F = R³ und ψ: X → F mit ψ(x) = (1, x, x²). Betrachten Sie die Hypothesen- klassen H₁ ={h_a,b,c |a, b∈R, c ∈ {−1,+1}}, H₂ ={h_w |w∈R³}, wobei

h_a,b,c(x) =

(c falls x∈[a, b]

−c sonst und h_w=

(+1 fallshw, ψ(x)i ≥0

−1 sonst .

(a) Zeigen Sie, dass H₁ ⊆ H₂. (b) Zeigen Sie, dass H₁ 6⊇ H₂.

Aufgabe 2: (3+2 Punkte)

Sei X = R², F = R³ und ψ: X → F mit ψ(x1, x2) = (x1, x2, x²₁ +x²₂). Betrachten Sie die Hypothesenklassen H₁ = {h_p,r | p ∈ R², r ∈ R, r ≥ 0} und H₂ = {h_w,u | w ∈ R³, u ∈ R} wobei

h_p,r(x) =

(+1 fallskx−pk ≤r

−1 sonst h_w,u(x) =

(+1 falls hw, ψ(x)i ≥u

−1 sonst (a) Zeigen Sie, dass H₁ ⊆ H₂.

(b) Zeigen Sie, dass H₁ 6⊇ H₂.

Aufgabe 3: (3+2 Punkte)

Seien ψ: X → F eine Einbettung und f(w) = λkwk² + _m¹ Pm

i=1max{0,1−y_ihw, ψ(x_i)i}

die Soft-SVM-Zielfunktion auf (ψ(x₁), y₁), . . . ,(ψ(x_m), y_m). Betrachten wir nun ˆf: R^m →R definiert ¨uber ˆf(α₁, . . . , α_m) = f(Pm

i=1α_iψ(x_i)).

(a) Zeigen Sie, dass ˆf konvex ist. Sie d¨urfen ohne Beweis nutzen, dassf konvex ist.

(b) Dr¨ucken Sie ˆf(α₁, . . . , α_m) in Abh¨angigkeit der zu ψ zugeh¨origen Kernel-Funktion K: X×X →R aus, entfernen Sie dabei alle Vorkommen von ψ(xi).

Aufgabe 4: (5 Punkte)

Sei S eine Menge von m Datenpunkte mit Labels (x₁, y₁), . . . ,(x_m, y_m), x_i ∈ X := R, y_i ∈ {−1,+1}; x_i 6= x_j f¨ur i 6= j. Wir betrachten nun die polynomielle Einbettung von X = R in F = R^k+1 mit ψ(x) = (1, x, x², . . . , x^k). Zeigen Sie, dass f¨ur m = k + 1 ein linearer Klassifikator h_w in F existiert, sodass h_w(ψ(x_i)) = y_i f¨ur alle i, wobei h_w(ψ(x_i)) = 1, falls hw, ψ(x_i)i ≥0,−1 sonst.

Tipp: Polynominterpolation.