Techniken zur Gesichtsdetektion

(1)

Detektion von Gesichtern

Uberblick¨

Gesichtsdetektion

Institut f ¨ur Informatik Mustererkennung und Bioinformatik

Angewandte Bildverarbeitung, SS 2007

(2)

Uberblick¨

Uberblick ¨

1 Techniken im ¨Uberblick

2 Principal Component Analysis

3 Eigenfaces

4 Realtime Detektion mit Viola-Jones

(3)

Techniken

PCA Eigenfaces Viola-Jones

Techniken zur Gesichtsdetektion

Modell-basiert:

explizite Modellierung der Gesichtsgeometrie Eigenfaces:

automatische Extraktion von statistisch relevanten Merkmalen von Gesichtern

Filter-Ans ¨atze:

Suche nach spezifischen Merkmalen im Bild

(Hautfarbe, ovale Formen, Nasenl ¨ocher, Augen, . . . )

(4)

Techniken

PCA Eigenfaces Viola-Jones

Eigenfaces - Motivation

1 Berechnung vongeeignetenGesichts-Merkmalen aus Mustervektoren

2 Training eines Klassifikators, z.B. NN-Klassifikator

3 Zuordnung unbekannter Merkmalsvektoren zu einer Klasse

⇒offene Frage: Wie findet man geeignete Merkmale zur Klassifikation?

f ¨ur Bilder als Mustervektoren bew ¨ahrt:

Hauptkomponentenanalyse (PCA)

(5)

Techniken PCA

Eigenfaces Viola-Jones

Principal Component Analysis

”Erm ¨ogliche Klassifikation durch Transformation der Mustervektoren in einen niedriger-dimensionalen Unterraum, in dem der Hauptteil der Datenvariation liegt.”

Annahme dabei:

Variation in den Daten entspricht einem hohen Informationsgehalt!

Trennebene

Klasse 1

Klasse 2 Klasse 1

Klasse 2

x y

Basistransformation

(6)

Algorithmus - I

gegeben seien mittelwert-freie Mustervektoren

~x^α, α=1. . .N, ~x^α∈R^d:

1 N

PN

α=1~x^α=0 Algorithmus:

1 berechne die AutokorrelationsmatrixC^xx der Datenmenge:

C_ij^xx = 1 N

N

X

α=1

~x_i^α~x_j^α (1)

2 berechne die Eigenwerteλ_i und die -vektorenˆv_i vonC^xx:

C^xx ·vˆ_i =λ_i ·vˆ_i (Eigenwertgleichung) (2)

⇒die Eigenvektoren bilden eine Orthonormal-Basis desR^d

(7)

Algorithmus - II

jeder Datenvektor~x^αbesitzt die Eigenvektorzerlegung

~x^α=

d

X

i=1

t_i^α·vˆi ⇐⇒ t_j^α=~x^α·vˆj

diet_i^αsind zentriert und paarweise unkorreliert die Eigenwerteλ_i liefern die Varianz in dent_i^α:

1 N

N

X

α=1

t_i^αt_j^α=λ_i·δ_ij ,

(8)

Interpretation

die Eigenvektorzerlegung beschreibt jeden Vektor~x^α durch einen neuen Parametervektor (Merkmalsvektor!)

~t^α= (t₁^α,t₂^α,· · · ,t_d^α)^T

t_i^αergibt sich durch lineare Transformation aus~x^α: t_j^α=~x^α·vˆ_j

die Eigenwerteλ_i liefern die Varianzen in den einzelnent_i^α

⇒Dimensionsreduktiondurch Auswahl einer Teilmenge der Basisvektoren bei der Transformation

(9)

Dimensionsreduktion

die Eigenwerte seien absteigend sortiert:

λ1≥λ2≥ · · · ≥λ_d

Abbruch der Eigenvektorzerlegung nach dem k-ten Term liefert Approximationx˜^α f ¨ur~x^α:

x˜^α=

k

X

j=1

t_j^α·ˆv_j

Approximationsfehlerδx˜^α:

δ˜x^α = ~x^α−˜x^α =

d

X

j=k+1

t_j^α·vˆ_j

⇒der mittlere Approximationsfehler ist gleich der Summe unber ¨ucksichtigter Eigenwerte!

(10)

Fazit - I

Mitnahme der k gr ¨oßten Eigenvektoren f ¨uhrt zu Minimierung des mittleren Approximationsfehlers Dimensionsreduktion auch bekannt als

Karhunen-Loeve-Entwicklung

Offene Frage: Wie w ¨ahlt man k geschickt?!

⇒anhand der Eigenwertverteilung vonC^xx

i i

Eigenwerte Eigenwerte

(11)

Fazit - II

Eigenwertanalyse gibt Aufschluß ¨uber intrinsische Datendimensionalit ¨at

PCA macht keine Aussage ¨uber semantischen Gehalt

⇒Achtung bei starkem Rauschen in den Daten!!!

der entstehende (niedrig-dimensionale) Datenraum beschreibt die Mustercharakteristik optimal

bei gew ¨ahlter Dimension k

(12)

Techniken PCA Eigenfaces Viola-Jones

Eigenfaces

Grundidee:

Repr ¨asentation der gesicht-spezifischen Merkmale von Bildern in einem geeigneten Unterraum

Klassifikation eines unbekannten Musters durch Auswertung seiner Projektion in den Unterraum Der Klassifikator unterscheidet zwei Modi:

1 Systeminitialisierung:

Training des Klassifikators auf einer Trainingsmenge

2 Arbeitsphase:

Klassifikation unbekannter Muster (mit optionalem Update)

(13)

Phase I - Training

gegeben eine Menge vonM Trainingsmustern

~x_α ∈R^N², α=1· · ·M

fasseN×N-dimensionales Bild alsN²-dimensionalen Vektor auf

berechne“Facespace“durch Auswahl vonL Eigenvektoren der

berechne Merkmalsvektoren~ω_α der Trainingsvektoren

~x_α als Repr ¨asentanten der einzelnen KlassenΩi

Berechnung der Eigenvektoren:

C^xx = 1 M

M

X

α=1

~x_α(~x_α)^T = 1

M A A^T mitA= [~x₁· · ·~x_M]

(14)

Phase I - Training

Beispiel-Eigenfaces:

(15)

Phase II - Klassifikation

Gegeben ein unbekanntes Muster~x.

berechne die Eigenvektorzerlegung des

Eingabemusters (Projektion in den“Facespace“)

t_k = ˆv_k ·(~x −x¯) mit x¯= 1 M

M

X

α=1

~x_α

klassifiziere ¨uber Distanzen zu den Repr ¨asentanten:

_i =k~t−~ω_i k²< θ₁mit~ω_i Repr ¨asentant der KlasseΩ_i Problem: auch Nicht-Gesichter werden unter

Umst ¨anden auf Merkmalsvektoren nahe den Repr ¨asentanten abgebildet!

(16)

Phase II - Klassifikation

R ¨uckweisungskriterium:

ψ =k~x−x˜ k²> θ₂ mit ˜x =

L

X

i=1

t_i^~^xˆv_i

Damit resultieren drei F ¨alle, die zu unterscheiden sind:

a) ψ > θ2: R ¨uckweisung

b) ψ < θ₂, > θ₁: unbekanntes Gesicht c) ψ < θ₂, < θ₁: bekanntes Gesicht

⇒Hauptproblem: Aufwand!

(17)

Grundidee: Merkmalsdetektion

Detektion mit ”einfachen” Merkmalen, die Gesichter von Nicht-Gesichtern unterscheiden k ¨onnen

⇒Merkmale oftmals flexibler als eine explizite Wissensmodellierung

⇒Merkmale schneller als pixelweise Detektion Hauptziele:

schnell in Real-Time, z.B. 15 Bilder pro Sekunde robust

⇒wenigfalse positives, aber hohe Erkennungsraten

(18)

Viola-Jones-Detektor

allgemein zur schnellen Detektion von Objekten entwickelt von Paul Viola & Michael Jones (2001) drei Grundprinzipien:

1 Integral Imagesf ¨ur eine schnelle Merkmalsberechnung

2 automatisches Lernen aussagekr ¨aftiger Merkmale

3 Kaskade von Klassifikatoren (insgesamt 32)

⇒Bild wird schrittweise auf interessante Regionen begrenzt (Regions of Interest - ROIs)

(19)

Merkmale

”schnell heisst, Merkmale d ¨urfen nicht zu komplex sein”

Viola-Jones: rectangle features

(motiviert durch Haar-Basisfunktionen und Wavelets)

2−rectangle 2−rectangle 3−rectangle 4−rectangle

24

”Faltung” des Bildes mit den Merkmalen:

Summe der Pixel in den schwarzen Regionen minus Summe der Pixel in weißen Regionen

Gr ¨oße des Operatorfensters: 24x24

(20)

Integral Images

erlauben eine schnelle Berechnung der Merkmale (. . . und k ¨onnen auch selbst schnell berechnet werden) Definition:

ii(x,y) = X

x⁰≤x,y⁰≤y

i(x⁰,y⁰)

Merkmale erfordern Berechnung von Differenzen zwischen Rechtecken

⇒konstanter Aufwand f ¨ur jedes Rechteck

A

1 2

3 4

B

C D

v(2) = X A+X

B v(3) = X

A+X C v(4) = X

A+X B+X

C+X D

⇒X

D = v(4) +v(1)−(v(2) +v(3))

(21)

Lernen von Merkmalen

es gibt insgesamt 45.396 (!) Merkmale Anwendung zumeist noch in verschiedenen Skalierungen

⇒Aufwand noch viel zu hoch!

Ansatz:

Verwendung von wenigen, aber aussagekr ¨aftigen Merkmalen

automatische Auswahl durchAdaBoost

(22)

AdaBoost

Kombination von einfachen (”dummen”) Klassifikatoren zu einem guten

Training durch Anwendung auf Sequenz von Klassifikationsproblemen:

1 Suche nach bestem Klassifikator aus einer gegebenen Menge durch Training & Test

(Schwellwert-Klassifikation)

2 Neugewichtung der Trainingsbeispiele

⇒falsch klassifizierte im folgenden ”wichtiger”

3 Suche nach n ¨achstem Klassifikator

4 . . .

Klassifikationsfehler geht exponentiell gegen Null Viola-Jones: jedes Feature ist ein Klassifikator

(23)

Lernergebnisse

erster und zweiter Klassifikator:

(24)

Klassifikationskaskade

in einem Bild sind die meisten Teilregionen uninteressant

⇒einfache Merkmale am Anfang, komplexe nur f ¨ur wenige Regionen

1 2 3

alle Regionen

weitere Verarbeitung

Rückweisung

finales System: 32 Schichten mit 4297 Merkmalen

(25)

Abschluss-Bemerkungen: Praktische Aspekte

Trainingsmenge:

mehrere 1.000 Gesichter und Nicht-Gesichter

⇒Trainingszeit urspr ¨unglich mehrere Wochen (!)

⇒OpenCV enth ¨alt vortrainierte Kaskade Normierung der Varianz in den Bildern

⇒Kompensation von ver ¨anderter Beleuchtung explizite Behandlung von Mehrfach-Detektionen (z.B. Positionsmittelung)