Die Menge der „schwachen“ Klassifikatoren ist die Menge der linearen Klassifikatoren, d.h.ht(x) =±sign(x−θt)mit dem Schwellwert θt ∈R

MACHINE LEARNING, 8. SEMINAR – ADABOOST

Aufgabe 1. Gesucht wird ein „starker“ Klassifikator, d.h.H(x) =sign ∑_tα_th_t(x) , der die sakralen Merkmalex∈R in zwei Klasseny∈ {−1,+1}unterteilt. Zum Anlernen des Klassifikators steht die folgende Lernstichprobe aus drei Paaren(x_i,y_i) zur Verfü- gung:L= (0,+1),(1,−1),(2,+1)

. Die Menge der „schwachen“ Klassifikatoren ist die Menge der linearen Klassifikatoren, d.h.h_t(x) =±sign(x−θ_t)mit dem Schwellwert θ_t ∈R. Wieviel schwache Klassifikatoren h_t werden benötigt um die Lernstichprobe fehlerfrei zu klassifizieren? Geben Sie diese sowie die entsprechenden Koeffizientenα_t an.

Aufgabe 2. Ein starker KlassifikatorH(x) =sign ∑tαth_t(x)

(aus linearen Klassifika- torenh_t) erhält als Input ein zweidimensionales Musterx= (x₁,x₂). Der Klassifikator soll alle diejenigen Muster der ersten Klasse zuordnen, die innerhalb des unten skizzier- ten Gebietes imR²liegen. Alle anderen Muster sind der zweiten Klasse zuzuordnen.

x₁

Klasse 1 Klasse 2 x₂

Wieviel lineare Klassifikatoren h_t werden benötigt um einen solchen Klassifikator zu realisieren? Geben Sie diese sowie die entsprechenden Koeffizientenα_t an.

Hinweis: Verwenden Sie Einfachheit halber ein Klassifikator mit dem Schwellwert, d.h. H(x) = sign ∑_tα_th_t(x) +β

. Im Grunde, kann ein solcher Klassifikator immer als ein ohne Schwellwert repräsentiert werden: man verwendet dafür einen „speziel- len“ einfachen Klassifikatorh_t+1(x) =1, d.h. er ordnet alle Muster einer Klasse zu. Der entsprechende Koeffizientαt+1istβ.

1

Aufgabe 3. Bilden Sie aus den linearen Klassifikatoren imR²die Evaluierungsfunktion f(x) =∑_jαjh_j(x), die die folgende Eigenschaften hat. Innerhalb eines Kreises mit dem Zentrum in (0,0) und einem Radius Rsoll die Evaluierungsfunktion möglichst grosse Werte annehmen. Ausserhalb des Kreises soll diese Funktion Werte möglichst nah zu Null annehmen. Mit anderen Worten, soll sie bestimmte Muster (innerhalb des Kreises) möglichst zu einer der Klassen zuordnen, für alle anderen Muster (d.h. ausserhalb des Kreises) soll sie möglichst „neutral“ sein (siehe Vorlesung, Folien 3,4). Bilden Sie die Evaluierungsfunktion indem Sie mehrere linearen Klassifikatoren verwenden, die den Kreis regelmäßig „umkreisen“ (siehe die Skizze unten).

Wie sieht das Profil dieser Funktion aus, wenn die Anzahl der verwendeten linearen Klassifikatoren gegen Unendlichkeit strebt? Wie hängt das Profil vom Radius R des Kreises ab? Schlussfolgern Sie, dass eine beliebige (endliche) Lernstichprobe im R² mit einem starken Klassifikator (aus linearen Klassifikatoren) separierbar ist, wenn un- endlich viele lineare Klassifikatoren verwendet werden können.