24.5.2012 SVM–Kernfunktionen,RegularisierungKatharinaMorik,ClausWeihs WissensentdeckungVorlesung

(1)

Weich trennende SVM Kernfunktionen Bias und Varianz bei SVM

Wissensentdeckung Vorlesung

SVM – Kernfunktionen, Regularisierung

Katharina Morik, Claus Weihs

LS 8 Informatik Computergestützte Statistik Technische Universität Dortmund

24.5.2012

(2)

Gliederung

1 Weich trennende SVM

2 Kernfunktionen

3 Bias und Varianz bei SVM

(3)

SVM mit Ausnahmen

Was passiert, wenn die Beispiele nicht komplett trennbar sind?

(4)

Nicht linear trennbare Daten

In der Praxis sind linear trennbare Daten selten:

1. Ansatz: Entferne eine minimale Menge von

Datenpunkten, so dass die Daten linear trennbar werden (minimale Fehlklassifikation).

Problem: Algorithmus wird

exponentiell. ? ⁺

+

+ +

−

(5)

SVM mit Ausnahmen

Ein anderer Ansatz basiert wieder auf einer Relaxation:

Punkte, die nicht am Rand oder auf der richtigen Seite der Ebene liegen, bekommen einen Straftermξ_j >0.

Korrekt klassifizierte Punkte erhalten eine Variableξ_j = 0.

Dies führt zu folgenden Minimierungsproblem 1

2kβk~ ²+C

N

X

j=1

ξj für ein festesC∈R>0 (1)

Daraus folgt insbesondere

0≤α_i ≤C

(6)

Weich trennende Hyperebene

Relaxiertes Optimierungsproblem SeiC∈RmitC >0fest. Minimiere

||β~||²+C

N

X

i=1

ξ_i unter den Nebenbedingungen

h~xi, ~βi+β0 ≥ +1−ξi für~yi = +1 h~xi, ~βi+β0 ≤ −1 +ξi für~yi =−1

Durch Umformung erhalten wir wieder Bedingungen für die

(7)

Bedeutung vonξund~α

f(~x) =−1 f(~x) = 0 f(~x) = +1

ξ >1, α=C 0≤ξ≤1,0≤α≤C

ξ= 0,0≤α≤C ξ = 0, α= 0

Beispiele~ximitαi >0sind Stützvektoren.

(8)

Wo sind wir?

Maximieren der Breite einer separierenden Hyperebene (maximum margin method) ergibt eindeutige, optimale trennende Hyperebene.

Transformation des Datenraums durch Kernfunktion behandelt Nichtlinearität.

Das kam nur einmal am Rande vor. Wir sehen es nachher genauer.

Regularisierung minimiert nicht nur den Fehler, sondern auch die Komplexität des Modells.

Später!

(9)

Nicht-lineare Daten

(10)

Nicht-lineare Daten

Neue SVM-Theorie entwickeln? (Neeee!) Lineare SVM benutzen?

If all you’ve got is a hammer, every problem looks like a nail

Transformation in lineares Problem!

(11)

Kernfunktionen Erinnerung:

L_D(α) =

n

X

i=1

α_i−1 2

N

X

i=1 N

X

j=1

y_iy_jα_iα_jhx~_i, ~x_ji

f(~x) =X

α_iy_ihx~_i, ~xi+β₀

SVM hängt von~xnur über Skalarprodukth~x, ~x⁰iab.

Ersetze TransformationΦund Skalarprodukt durch KernfunktionK(x~1, ~x2) =hΦ(x~1),Φ(x~2)i

X Z R

Φ ∗

K

(12)

Kernfunktionen II

Angabe vonφnicht nötig, einzige Bedingung: Kernmatrix (K(x~_i, ~x_j))_i,j=1...N muss positiv definit sein.

Radial-Basisfunktion:K(x~i, ~xj) = exp(−γkx~i−x~jk²) Polynom:K(x~i, ~xj) =hx~i, ~xji^d

Neuronale Netze:K(x~_i, ~x_j) = tanh(hα ~x_i, ~x_ji+b) Konstruktion von Spezialkernen durch Summen und Produkte von Kernfunktionen, Multiplikation mit positiver Zahl, Weglassen von Attributen

(13)

Polynom-Kernfunktionen

Kd(x~i, ~xj) =hx~i, ~xji^d Beispiel:d= 2, ~x_i, ~x_j ∈R².

K₂(x~_i, ~x_j) =hx~_i, ~x_ji²

= ((xi1, xi2)∗(xj1, xj2))²= (xi1xj1 +xi2xj2)²

=x²_i₁x²_j₁ + 2xi1xj1xi2xj2+x²_i₂x²_j₂

= (x²_i₁,√

2x_i₁x_i₂, x²_i₂)∗(x²_j₁,√

2x_j₁x_j₂, x²_j₂)

=:hφ(x~_i), φ(x~_ji

(14)

RBF-Kernfunktion

(15)

Kernfunktionen

Die Kernfunktionen werden nicht als Vorverarbeitungsschritt durchgeführt.

Man muss lediglich bei der Berechnung des Skalarprodukts die Kernfunktion berücksichtigen.

Allerdings kannβ~jetzt nicht mehr so einfach interpretiert werden als Bedeutung der Variablen (Merkmale)X_i.

(16)

Interpretation der SVM

Wenn das Skalarprodukt als Kernfunktion gewählt wird, entspricht jede Komponente desβ~ einem Gewicht des Merkmals und jedesα dem Gewicht eines Beispiels~x, φ(~x) =~x.

Wenn nicht, wie finden wir zu jedemφ(~x)den Ursprung~x?

f(~x) =

N

X

i=1

α_iK(x~_i, ~x)

=

s

X

i=1

αiφ(x~i)·φ(~x)

N !

(17)

Pre-Image Problem von Mika et al. 1998

Mika, Schölkopf, Smola, Müller, Scholz, Rätsch (1998) Kernel PCA and de-noising in feature spaces, in: NIPS, vol 11.

Rüping (2006) Learning Interpretable Models, Diss. TU Dortmund

Pre-Image Problem

Gegeben die Abbildungφ:X → X und ein Element aus dem Merkmalsraum,β~ ∈ X,

finde ein~x∈X, so dassφ(~x) =β.~ Approximatives Pre-Image Problem

Gegeben die Abbildungφ:X → X und ein Element aus dem Merkmalsraum,β~ ∈ X,

finde ein~x∈X mit minimalem Fehlerkβ~−φ(~x)k².

(18)

Den Ursprung im Merkmalsraum suchen

Weil wir die genaue Abbildungφnicht kennen, müssen wir den quadratischen Fehler im Merkmalsraum minimieren, um~xzu finden.

~

x = argminkβ~−φ(~x)k²

= argminhβ, βi − h2β, φ(~x)i+hφ(~x), φ(~x)i

= argminhβ, βi −2f(~x) +K(~x, ~x)

Minimum vonK(~x, ~x)−2f(~x)(Gradientenabstieg) kann das Pre-Image vonβ~ liefern (oder ein lokales Minimum).

(19)

Pre-Images lernen!

Wenn wir häufiger für den selben Merkmalsraum den Ursprung

~xvonφ(~x)bestimmen wollen, dann lohnt es sich, die umgekehrte AbbildungΓ :X →X zu lernen.

Allerdings müssen wir dann für den Merkmalsraum eine geeignete Basis finden, z.B. durch eine

Hauptkomponentenanalyse mit Kernfunktion.

Auf dieser Basis wird dann für eine kleinere Mengex~_i die AbbildungΓapproximiert.

Bair, Weston, Schölkopf (2003) Learning to find pre-images, in:

NIPS, vol. 16

(20)

Reduced Set Problem

Gegeben die Abbildungφ:X → X und eine natürliche Zahls, findez~₁, ..., ~z_s∈Xund Koeffizientenγ₁, ..., γ_s

so dasskβ~−Ps

i=1γ_iφ(~z_i)k² minimal ist.

Das gelernteβ~ =PN

i=1αiφ(x~i)ist eine Linearkombination der Stützvektoren. Diese sind die erste Lösung des Problems.

Wir wollen aber nicht alle Daten bearbeiten, sondern nur s << N!

Wir wollen~γ aus weniger Beispielen lernen. Das ist möglich, weil hier nicht die Nebenbedingungen gelten wie bei dem

(21)

Neues Optimierungsproblem

SVM liefertβ~ =PN

i α_iφ(x~_i)

Wir wollen die Distanz der Approximation zur originalen SVM minimieren:

k

N

X

i=1

α_iφ(x_i)−

N

X

i=1

γ_iφ(x_i)k²+λX

|γ_i|

undγ soll spärlich besetzt sein.λ >0gewichtet die Spärlichkeit gegen die Präzision.

Schölkopf, Mika, Burges, Knirsch, Müller, Rätsch, Smola (1999) Input space versus feature space in kernel-based methods.

IEEE Neural Networks Vol.10, No. 5

(22)

Iterativer Algorithmus – Skizze

1 k=:0;Zk=:{}

2 findez_k, so dass giltK^zxα=K^zγ KernmatrixK^zx=hφ(~zi), φ(x~i)i,

KernmatrixK^z=hφ(~z_i), φ(z~_j)ider neue Punkt~zmitγ verhält sich wie mitβbei allen Beispielen.

3 k=: k+1;Z_k=:Zk−1∪z_k

4 berechneγ = (K^z)⁻¹K^zxα

5 WennkPN

i=1αiφ(xi)−PN

i=1γiφ(xi)k² +λP

|γ_i|< θ, stop, sonst Schritt 2!

(23)

Reduced Set Approximation – Bild

Bei einem eindimensionalen Datensatz mit Klassen blau und rot, sieht man die Funktionswerte der tatsächlichen Funktion (grün), die Approximation lt. Schölkopf et al (1999) (lila) und die Approximation lt. Rüping (2006) (schwarz):

(24)

Was wissen Sie jetzt?

Lineare SVM sind leicht zu interpretieren:α gewichtet Beispiele,β gewichtet Merkmale.

Bei Kernfunktionen wissen wir für gegebene Wertφ(~x) nicht, welches~xdahinter steht.

Ansatz: zu einer SVM noch eine Approximation der SVM lernen!

Die gelernte SVM klassifiziert mit max margin.

Die Approximation gibt eine Vorstellung von der Funktion.

Das Reduced Set Problem findet eine Approximation für wenige Beispiele mitγstattβ auf der Grundlage eines

(25)

Was ist gutes Lernen?

Fauler Botaniker:

“klar ist das ein Baum - ist ja grün.”

Übergeneralisierung Wenig Kapazität Bias

Botaniker mit fotografischem Gedächtnis:

“nein, dies ist kein Baum, er hat 15 267 Blätter und kein anderer hatte genau so viele.”

Overfitting Viel Kapazität Varianz

Kontrolle der Kapazität!

(26)

Bias-Varianz-Problem

Zu kleiner Hypothesenraum:

Zielfunktion nicht gut genug approximierbar (Bias) Zu großer Hypothesenraum:

Zuviel Einfluss zufälliger Abweichungen (Varianz) Lösung: Minimiere obere Schranke des Fehlers:

R(α)≤_η R_emp(α) +V ar(α)

(27)

Risikoschranke nach Vapnik

Strukturelles Risiko

Gegeben eine unbekannte Wahrscheinlichkeitsverteilung P(~x, y), nach der Daten gezogen werden. Die Abbildungen

~x→f(~x, ~α)werden dadurch gelernt, dass~αbestimmt wird. Mit einer Wahrscheinlichkeit1−µist das RisikoR(~α)nach dem Sehen vonN Beispielen beschränkt:

R(~α)≤Remp(~α) + v u u tη

log

2N η

+ 1

−log ^µ₄ N

| {z }

VC confidence

Bevor wirη ergründen (Vapnik-Chervonenkis-Dimension), erst einmal festhalten, was die Bedeutung dieser Schranke ist!

(28)

Strukturelle Risikoschranke

Unabhängig von einer Verteilungsannahme. Alles, was die Schranke braucht, ist, dass Trainings- und Testdaten gemäß der selben Wahrscheinlichkeitsverteilung gezogen werden.

Das tatsächliche Risiko können wir nicht berechnen.

Die rechte Seite der Ungleichung können wir berechnen, sobald wirη kennen, die Vapnik-Chervonenkis-Dimension.

Gegeben eine Menge Hypothesen fürf(~x, ~α), wähle immer die mit dem niedrigsten Wert für die rechte Seite der Schranke (R oder VC confidence niedrig).

(29)

Strukturelle Risikominimierung

1. Ordne die Hypothesen in Teilmengen gemäß ihrer Komplexität.

2. Wähle in jeder Teilmenge die Hypothese mit dem geringsten empirischen Fehler.

3. Wähle insgesamt die Hypothese mit minimaler Risikoschranke.

(30)

Vapnik-Chervonenkis-Dimension Definition: Eine MengeH von Hypothesen zerschmettert eine MengeEvon Beispielen, wenn jede Teilmenge vonE durch ein h∈Habgetrennt werden kann.

Definition: Die VC-Dimension einer Menge von HypothesenH ist die maximale Anzahl von BeispielenE, die vonH zerschmettert wird.

Eine Menge von 3 Punkten kann von geraden Linien zerschmettert

(31)

ACHTUNG

Für eine Klasse von Lernaufgaben gibt es mindestens eine MengeE, die zerschmettert werden kann - NICHT jede MengeEkann zerschmettert werden!

Zum Beweis der VC Dimensionnmuss man also zeigen:

Es gibt eine MengeEausnPunkten, die vonH zerschmettert werden kann.V Cdim(H)≥n

Es kann keine MengeE⁰ ausn+ 1Punkten geben, die von H zerschmettert werden könnte.V Cdim(H)≤n

(32)

VC-Dimension von Hyperebenen

Satz: Die VC-Dimension der Hyperebenen imR^pistp+ 1.

Beweis:

V Cdim(R^p)≥p+ 1 :Wählex~₀ = 0und

~

x_i = (0, . . . ,0,1,0, . . .0). Für eine beliebige TeilmengeAvon(x~0, . . . , ~xn) setzey_i= 1, fallsx~_i ∈A,

sonsty_i=−1.

Definiereβ~ =P

ykx~kundβ0 = ^y₂⁰. Dann giltβ ~~x0+β0 = ^y₂⁰ und β ~~xi+β0 =yi+^y₂⁰.

Also:β~~x+β trenntA.

(33)

VCdim misst Kapazität

Eine Funktion mit nur 1 Parameter kann unendliche V Cdimhaben:Hkann Mengen vonnPunkten zerschmettern, egal wie großnist.

H kann unendlicheV Cdimhaben und trotzdem kann ich eine kleine Zahl von Punkten finden, dieHnicht

zerschmettern kann.

V Cdimist also nicht groß, wenn die Anzahl der Parameter bei der Klasse von FunktionenH groß ist.

(34)

VC-Dimension der SVM

Gegeben seien Beispielex~1, . . . , ~xN ∈ R^p mitkx~ik< Dfür allei. Für die VC-Dimension der durch den Vektorβ~ gegebenen optimalen HyperebeneHgilt:

V Cdim(H)≤min n

D²kβk~ ², p o

+ 1

Die Komplexität einer SVM ist auch durch die Struktur der Lösung begrenzt!

Die SVM minimiert nicht nur das empirische Risiko, sondern auch das strukturelle – Regularisierung.

(35)

Zusicherungen

Strukturelle Risikominimierung garantiert, dass die

einfachste Hypothese gewählt wird, die noch an die Daten anpassbar ist.

Strukturelle Risikominimierung kontrolliert die Kapazität des Lernens (weder fauler noch fotografischer Botaniker).

Die Strukturen von Klassen von Funktionen werden durch dieV Cdimausgedrückt. GroßeV Cdim→große

VC-confidence.

Wir haben nun also ein Verfahren, dass ohne zusätzlichen Aufwand die Komplexität regularisiert, wie wir es bei der Modellselektionfür lineare und lokale Modelle mal wollten.

(36)

Performanzschätzer

Welches erwartete RisikoR(α)erreicht SVM?

R(~α)selbst nicht berechenbar

Trainingsfehler (zu optimistisch - Overfitting) Obere Schranke mittels VC-Dimension (zu locker) Kreuzvalidierung / Leave-One-Out-Schätzer (ineffizient)

(37)

Performanzschätzer II

Satz: Der Leave-One-Out-Fehler einer SVM ist beschränkt durchR_l1o ≤ ^|SV_N^|

Beweis (Skizze):

Falsch klassifizierte Beispiele werden Stützvektoren (SV).

Also: Nicht-Stützvektoren werden korrekt klassifiziert.

Weglassen eines Nicht-Stützvektors ändert die Hyperebene nicht, daher wird es auch beiml1o-Test richtig klassifiziert.

Nur der Anteil der Stützvektoren an den Beispielen macht den Fehler aus.

(38)

Performanzschätzer III

Satz: Der Leave-One-Out-Fehler einer SVM ist beschränkt durchRl1o ≤ ^|{i:(2αiD²+ξi)≥1}|

N (D= Radius des Umkreises um die Beispiele im transformierten Raum).

Beweis: Betrachte folgende drei Fälle:

0≤ξ≤1,0≤α≤C ξ = 0, α= 0

(39)

Was wissen wir jetzt?

Kernfunktionen - eine Transformation, die man nicht erst durchführen und dann mit ihr rechnen muss, sondern bei der nur das Skalarprodukt gerechnet wird.

Idee der Regularisierung:

obere Schranke für das Risiko

Schrittweise Steigerung der Komplexität Formalisierung der Komplexität: VC-Dimension

Regularisierung als strukturelle Risikominimierung der SVM

Garantie für die Korrektheit der Lernstrategie