Anne Driemel
Thomas Kesselheim 28. April 2020
Xianghui Zhong Abgabe bis: 4. Mai 2020, 12 Uhr
Algorithmische Grundlagen des Maschinellen Lernens Sommersemester 2020
Ubungsblatt 2 ¨
Aufgabe 1: (5 Punkte)
(Vereinigung vonk Intervallen) Betrachten Sie als HypothesenklasseHdie Menge aller Funk- tionen der Form
ha,b: R→ {−1,+1}, mit a, b∈Rk und
ha,b(x) =
(+1 falls x∈Sk
i=1[ai, bi]
−1 sonst
Sei S = {x1, . . . , xm}. Wieviele verschiedene Wege gibt es, den Elementen in S Labels zu geben mithilfe einer Funktion in H? In anderen Worten, wie groß ist
H|S
?
Aufgabe 2: (5 Punkte)
Sei die Grundmenge R2. Zeigen Sie
1. Das Mengensystem aller achsenparallelen Quadrate hat VC-Dimension h¨ochstens 3.
2. Das Mengensystem aller Quadrate hat VC-Dimension mindestens 4.
Aufgabe 3: (3 Punkte)
Sei R ein Mengensystem mitm-elementiger Grundmenge und dim(R) = 0.
1. Zeigen Sie R
≤1.
2. Gibt es eine obere Schranke f¨ur m in diesem Fall?
Aufgabe 4: (3 Punkte)
SeiRein Mengensystem mit GrundmengeX und seiA⊆ X eine beliebige Teilmenge. Zeigen Sie, dass dim(R|A)≤dim(R).
Aufgabe 5: (4 Punkte)
Es sei D eine diskrete Wahrscheinlichkeitsverteilung auf einer endlichen Menge. Es gibt also a1, . . . , an, sodass Prx∼D[x=ai] =pi und Pn
i=1pi = 1.
Zeigen Sie, dass die folgenden zwei Wege, eine Menge S und S0 zu erzeugen, ¨aquivalent sind.
1. S ist eine Menge von m zuf¨allig aus D gezogenen Samples. S0 ist eine Menge von m zuf¨allig ausD gezogenen Samples.
2. Es seien X1, . . . , X2m unabh¨angige, identisch verteilte Z¨uge aus D. Nun ziehe m mal zuf¨allig gleichverteilt ohne Zur¨ucklegen aus diesen Z¨ugen und nenne das Ergebnis S.
Die Menge S0 umfasst alle verbleibenden Elemente.
Tipp: Vergleichen Sie die Wahrscheinlichkeiten, dass ein Element ai (nicht) in der Menge enthalten ist.
