Concept learning -

Concept Learning Machine Learning– WS 2011/2012

Machine Learning

-

Concept learning

Vorlesung

Concept Learning Machine Learning– WS 2011/2012

• Lernen von Beispielen

• Lernen und Suchen

• Hypothesen erstellen

• Version Space und Candidate Elimination

• Beispiele auswählen

• Bias

Überblick

Übersicht

Concept Learning Machine Learning– WS 2011/2012

Trainingsbeispiele

•Wie lautet das allgemeine Konzept?

Concept Learning Machine Learning– WS 2011/2012

Trainingsbeispiele

•Wie lautet das allgemeine Konzept?

•Wann besuche ich die Vorlesung?

Vorlesung besuchen

Concept Learning Machine Learning– WS 2011/2012

Hypothesen

• Wie kann man solche Konzepte darstellen?

• Hier als Menge von Constraints.

• Jeder Constraint beschreibt:

• Einen genauen Wert (e.g.Temp = Warm)

• Keine Einschränkung (e.g. Temp = ?)

• Kein Wert erlaubt (e.g. Temp = Ø)

Concept Learning Machine Learning– WS 2011/2012

Hypothesen

Ein Beispiel für eine Hypothese:

Sky, Temp, Humid, Wind, Water, Forecast {<Sunny, ?, ?, Strong, ?, Same>}

Concept Learning Machine Learning– WS 2011/2012

Hypothesen

Damit gibt es eine Menge von Hypothesen

• Ein Konzept lernen kann man interpretieren als

“die richtige” Hypothese zu finden.

• Eine Hypothese finden, die passend zu allen Beispieldaten (Trainingsinstanzen) ist.

Concept Learning Machine Learning– WS 2011/2012

Hypothesen

Damit gibt es eine Menge von Hypothesen

• Ein Konzept lernen bedeutet also

“die richtige” Hypothese zu finden.

Concept Learning Machine Learning– WS 2011/2012

Prototypische Konzeptlernenaufgabe

Gegeben:

• Instanzen X: Mit Werten für Sky, Hummid etc.

• Zielfunktion c: Vorlesung besuchen: X → {0,1}

• Hypothesen H: E.g.:

• (?, Cold, High, ?,?,?)

• Trainingsbeispiele D: positive und negative Beispiele der Zielfunktion. (x, c(x), y,c(y), ...)

Gesucht:

• Eine Hypothese h in H mit h(x) =c(x) für alle x in D

Concept Learning Machine Learning– WS 2011/2012

Concept Learning Machine Learning– WS 2011/2012

Instanzen und Hypothesen

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Find-S Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Nachteile des Find-S Algorithmus

•Man kann nicht entscheiden:

• ob dass Konzept gelernt wurde.

•ob die Trainingsbeispiele inkonsistent sind.

•Find S wählt immer die maximal eingeschränkteste

Hypothese h, die mit allen positiven Beispielen konsistent ist.

Concept Learning Machine Learning– WS 2011/2012

Version Space

•Eine Hypothese ist konsistent mit einer Menge von Trainingsbeispielen, wenn h(x) = c(x) für alle

Trainingsbeispiele gilt.

•Der Version Space VS_H,D zu einer Hypothesenmenge H und Trainingsbeispielen D ist die Teilmenge von

Hypothesen in H, die konsistent zu D ist.

Concept Learning Machine Learning– WS 2011/2012

List-Then-Eliminate Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Version Space

Concept Learning Machine Learning– WS 2011/2012

Version Space

Concept Learning Machine Learning– WS 2011/2012

Candidate Elimination Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Candidate Elimination Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Candidate Elimination Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S : {<Ø, Ø,Ø,Ø,Ø, Ø>}

G: {<?,?,?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₁ : {<Sunny, Warm, Normal, Strong, Warm, Same>}

G₁: {<?,?,?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₂ : {<Sunny, Warm, ?, Strong, Warm, Same>}

G₂: {<?,?,?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₃ : {<Sunny, Warm, ?, Strong, Warm, Same>}

G₃ {<Sunny,?,?,?,?,?> <?,Warm, ?,?,?,?> <?,?,Normal,?,?,?> <?,?,?,Light, ?,?> <?,?,?,?, Cool,?> <?,?,?,?,?,Same>}

G₂: {<?,?,?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₃ : {<Sunny, Warm, ?, Strong, Warm, Same>}

G₃ {<Sunny,?,?,?,?,?> <?,Warm, ?,?,?,?> <?,?,?,?,?,Same>}

G₂: {<?,?,?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₃ : {<Sunny, Warm, ?, Strong, Warm, Same>}

G₃ {<Sunny,?,?,?,?,?> <?,Warm, ?,?,?,?><?,?,?,?,?,Same>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₄ : {<Sunny, Warm, ?, Strong, ?, ?>}

G₃ {<Sunny,?,?,?,?,?> <?,Warm, ?,?,?,?><?,?,?,?,?,Same>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

S₄ : {<Sunny, Warm, ?, Strong, ?, ?>}

G₄ {<Sunny,?,?,?,?,?> <?,Warm, ?,?,?,?>}

Concept Learning Machine Learning– WS 2011/2012

Beispiel

Concept Learning Machine Learning– WS 2011/2012

Klassifizieren bei Mehrdeutigkeit

(Rainy, Cold, Normal, Light, Warm, Same) (Sunny, Warm, Normal, Strong, Cool, Change)

Concept Learning Machine Learning– WS 2011/2012

Klassifizieren bei Mehrdeutigkeit

(Sunny, Warm, Normal, Light, Warm, Same) (Sunny, Cold, Normal, Light, Cold, Same)

Concept Learning Machine Learning– WS 2011/2012

Klassifizieren bei Mehrdeutigkeit

Selbst wenn keine Eindeutige Zuordnung möglich ist, kann eine Wahrscheinlichkeit angegeben werden.

Bias: Wir nehmen an, dass das Konzept c als Konjunktion von Literalen dargestellt werden kann.

Concept Learning Machine Learning– WS 2011/2012

Welches Trainingsbeispiel als nächstes?

Concept Learning Machine Learning– WS 2011/2012

Welches Trainingsbeispiel als nächstes?

(Sunny, Warm, Normal, Light, Warm, Same)

Concept Learning Machine Learning– WS 2011/2012

Wie gut ist Candidate Elimination?

Concept Learning Machine Learning– WS 2011/2012

Wie gut ist Candidate Elimination?

•Konvergiert gegen die richtige Hypothese!

•Gibt immer die verbleibende Mehrdeutigkeit (Ambiguität) an.

Concept Learning Machine Learning– WS 2011/2012

Wie gut ist Candidate Elimination?

•Konvergiert gegen die richtige Hypothese!

•Gibt immer die verbleibende Mehrdeutigkeit (Ambiguität) an.

Falls keine Fehler in den Trainingsdaten sind und die richtige Hypothese in H enthalten ist.

Concept Learning Machine Learning– WS 2011/2012

Bias

Wie garantieren wir, dass die richtige Hypothese in unserem Hypothesenraum enthalten ist?

Was ist mit (Sky = Sunny) or (Sky = Cloudy)?

Was mit (Sky = Sunny) or (Water = Cold)?

Concept Learning Machine Learning– WS 2011/2012

Bias

Wie garantieren wir, dass die richtige Hypothese in unserem Hypothesenraum enthalten ist?

Was ist mit (Sky = Sunny) or (Sky = Cloudy)?

Was mit (Sky = Sunny) or (Water = Cold)?

Die folgenden Überlegungen sind gültig für alle induktiven Lernverfahren!

Concept Learning Machine Learning– WS 2011/2012

Bias

Wie garantieren wir, dass die richtige Hypothese in unserem Hypothesenraum enthalten ist?

Was ist mit (Sky = Sunny) or (Sky = Cloudy)

Concept Learning Machine Learning– WS 2011/2012

Ein unvoreingenommener Lerner

Concept Learning Machine Learning– WS 2011/2012

An unbiased Learner

Concept Learning Machine Learning– WS 2011/2012

An unbiased Learner

Jede mögliche Hypothese ist im Hypothesenraum H enthalten.

Es gibt in dem Beispiel 96 verschiedene Belegungen für die sechs Attribute. (3*2*2*2*2*2=96)

Damit gibt es 2⁹⁶ verschiedene Hypothesen.

Concept Learning Machine Learning– WS 2011/2012

A unbiased Learner

Jede mögliche Hypothese ist im Hypothesenraum H enthalten.

Es gibt in dem Beispiel 96 verschiedene Belegungen für die sechs Attribute. (3*2*2*2*2*2=96)

Damit gibt es 2⁹⁶ verschiedene Hypothesen.

Wie viele Trainingsbeispiele werden benötigt um die richtige Hypothese zu ermitteln?

Concept Learning Machine Learning– WS 2011/2012

A unbiased Learner

Jede mögliche Hypothese ist im Hypothesenraum H enthalten.

Es gibt in dem Beispiel 96 verschiedene Belegungen für die sechs Attribute. (3*2*2*2*2*2=96)

Damit gibt es 2⁹⁶ verschiedene Hypothesen.

Wie viele Trainingsbeispiele werden benötigt um die richtige Hypothese zu ermitteln?

96 verschiedene (also alle Instanzen!)

Concept Learning Machine Learning– WS 2011/2012

Unbiased Learning

Mitchell:

„A learner that makes no a priori assumption regarding the identity of the target concept has no rational basis for

classifying any unseen instances“

Concept Learning Machine Learning– WS 2011/2012

Unbiased Learning

Kann man Wahrscheinlichkeiten für die unbekannten Instanzen angeben?

Concept Learning Machine Learning– WS 2011/2012

Candidate Elimination Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Candidate Elimination Algorithmus

Concept Learning Machine Learning– WS 2011/2012

Inductive Bias

Das Induktive Bias ist eine minimale Menge von Annahmen bezüglich der Zielfunktion c.

Concept Learning Machine Learning– WS 2011/2012

Inductive Bias

Concept Learning Machine Learning– WS 2011/2012

Three Learners with different Biases