MACHINE LEARNING, 6. SEMINAR – EXPONENTIAL FAMILY, SVM
Aufgabe 1. Zeigen Sie, dass die logistische Regression p(k=1|x;w,b) = exp(hx,wi+b)
1+exp(hx,wi+b), p(k=2|x;w,b) = 1
1+exp(hx,wi+b) Mitglied der Exponential Family ist, d.h. schreiben Sie diese Wahrscheinlichkeitsver- teilung in der form
p(k|x;w,b) = 1
Z(x,w,b)exp
hφ(k,x),wi
Aufgabe 2. Zeigen Sie, dass eine beliebige diskrete Wahrscheinlichkeitsverteilungp(k), k∈K={1. . .|K|}(endlich viele Werte) Mitglied der Exponential Family ist.
Hinweis:Definieren Sie die Abbildungφ :K→R|K|so dass im Vektorφ(k)jedem Wert vonkeine Komponente entspricht.
Aufgabe 3. Zeigen Sie dass die Mischung der Gaussiane p(x,k) =p(k)· 1
(√
2π σ)nexp
−||x−µk||2 2σ2
Mitglied der Exponential Family ist.
Hinweis: Nutzen Sie das Beispiel aus der Vorlesung sowie die Erkenntnisse aus der vorigen Aufgabe.
Aufgabe 4. Seix∈Rundy∈Rzwei reellwertige Variablen. Lösen Sie x2+y2→min
xy
s.t. 2x+y≥1.
a)Geben Sie zunächst eine geometrische Interpretation der Aufgabe an und leiten Sie daraus die Lösung ab.
b)Lösen Sie die Aufgabe mittels der Methode der Lagrange-Koeffizienten.
1
Aufgabe 5. Für Musterx∈X =Rwird die folgende AbbildungΦ:X →H in den MerkmalsraumH =R2definiert:
Φ(x) = sin(λ1x),cos(λ2x) mit den Parametern der Abbildungλ1,λ2∈R.
Hinweis:Verwechseln Sie bitte nicht die Parameter der Abbildungλ1,λ2und die Para- meterw1,w2der Entscheidungsregel im Merkmalsraum (siehe unten).
a)Wie sieht die Menge der der Input-MusterX im MerkmalsraumH aus?
b)Zur Klassifikation der Muster in zwei Klassen wird eine lineare Entscheidungsregel im Merkmalsraum verwendet, d.h.
hΦ(x),wi≷b
mit den Parameternw= (w1,w2)∈R2undb∈R. Gegeben sei eine Entscheidungsregel (d.h. ihre Parameter w und b). Wie sieht die Aufteilung des Input-Raumes X in die Klassen aus?
Aufgabe 6. Seiκ1(x,x0)undκ2(x,x0)zwei Kernel. Beweisen Sie, dass a)κ3(x,x0) =κ1(x,x0) +κ2(x,x0)und
b)κ3(x,x0) =κ1(x,x0)·κ2(x,x0)
auch Kernel sind. SeiH1, H2undH3die Merkmalsräume der Kernelκ1 bzw.κ2und κ3. Wie ergeben sich die Dimensionen der jeweiligen MerkmalsräumeH3 aus den Di- mensionen der MerkmalsräumeH1undH2?
