Tracking von Objekten

(1)

Tracking

Uberblick¨

Tracking von Objekten

Institut f ¨ur Informatik Mustererkennung und Bioinformatik

Angewandte Bildverarbeitung, SS 2007

(2)

Tracking

Uberblick¨

Uberblick ¨

1 Grundideen

2 Objektlokalisation

3 Kalmanfilter

4 Extended Kalmanfilter

(3)

Tracking

Grundideen

Lokalisation Kalmanfilter EKF

Tracking von Objekten

Zielsetzung:

Verfolgung der Bewegung eines Objektes in Bildfolgen (ggf. mit Hilfe einer aktiven Kamera)

Anwendungen:

Beobachtung des Straßenverkehrs Sicherheitsanlagen

autonome Fahrzeuge mobile Roboter

· · ·

(4)

Tracking

Grundideen

Allgemeiner Systemaufbau

gefunden

Objekt Objekt nicht

gefunden

Initialisierung

optional:

Prädiktion

Objektlokalisierung

Kamerajustierung

suche Zielobjekt gem äß Modell sch ätze Objektposition im n ächsten Bild:

Pr ¨adiktionsfilter

Condensation-Algorithmus

· · ·

lokalisiere Objekt im Bild:

Templates Active Contours

· · ·

positioniere Kamera neu

(5)

Tracking

Grundideen

Bemerkungen

Probabilistische / nicht-probabilistische Modelle:

eine absolute Position pro Zeitschritt vs. mehrere potenzielle Positionen

Single- und Multi-Objektverfolgung:

Tracking eines Objektes vs. paralleles Tracking mehrerer Objekte

Objektlokalisation anhand geeigneter Merkmale:

Farbe, Form, Struktur,· · ·

Pr ädiktion durch zeitliche Modellierung der Bewegung Nachf ührung der Kamera bei großen Bewegungsradien der Objekte: ”Halte Objekt m öglichst im Bildzentrum.”

(6)

Tracking

Grundideen Lokalisation

Kalmanfilter EKF

Objektlokalisation: Template-Matching

einfachster Ansatz zur Lokalisation:

”Gegeben ein Beispielmuster (Template S) des gesuchten Signals, suche in unbekanntem Musterf einen Ausschnitt, der zum Template passt!”

Signalfin der Regel direkt durch Bild- oder Audiosignal bzw. geeigneten Merkmalsvektor gegeben

TemplateSentspricht einem Signalausschnitt gleicher Dimension

(7)

Tracking

Template-Matching auf Bildern

Mx ×My-dim. Bildsignalf M_s_x ×M_s_y-dim. TemplateS im Allgemeinen gilt:

Mx >>Msx und My >>Msy

Matching:

suche Position(j,k)im Bildf mit gr ¨oßter ¨Ubereinstimmung (Faltungsoperation!)

1 k Mx

1

j

My

1 1

... ...

m

n

...... ......

Msx

Msy

... ...

Gesucht: geeignetesAbstandsmaß, das zu minimieren ist!

(8)

Tracking

Abstandsmaße

City-Block:

¹j,k =

M_sx

X

m=1 M_sy

X

n=1

|f(j+m,k+n)−Sm,n| (minimieren)

Quadratischer Abstand:

²_j,k =

M_sx

X

m=1 M_sy

X

n=1

(f(j+m,k+n)−Sm,n)² (minimieren)

Kreuzkorrelation:

Rj,k =

M_sx

X

m=1 M_sy

X

n=1

f(j+m,k+n)·Sm,n (maximieren)

normalisierte Kreuzkorrelation:

R⁰_j,k = Rj,k

q PM_sx

m=1

P^Msy

n=1f_(j+m,k+n)² q

PM_sx m=1

P^Msy n=1S²_m,n

(maximieren)

(9)

Tracking

Normalisierung & Verdeckungen

Template-Matching erfordert m ¨oglichst punktgenaue Ubereinstimmung!!!¨

⇒definierte Lichtverh ¨altnisse und Objektkonstanz Daher: Normalisierung

. . . von Energie von Bild und Template:

M_Sx

X

x=j M_Sy

X

y=k

f_(x²_,y) =1 bzw.

M_Sx

X

x=1 M_Sy

X

y=1

S²_(x,y)=1

. . . Lage und Ausrichtung bei partiellen Verdeckungen:

Zerlegung des Templates in Sub-Templates

⇒Match bei ¨Ubereinstimmung ink ≥θ_k Sub-Templates

(10)

Tracking

Aufwandsreduktion

Template-Matching entspricht einerFaltung

⇒Transformation in den Frequenzraum (FFT):

Faltung wird zu Multiplikation Aufl ¨osungspyramiden:

Subsampling von Bild und Template Suche nach Matches auf unterster Ebene

Beschr änkung des Matchings auf der n ächsten Ebene auf dienbesten Positionen aus vorherigem Schritt Pr ädiktionsfilter:

Beschr ¨ankung des Suchbereichs durch Sch ¨atzung/

Vorhersage der neuen Objektposition

(11)

Tracking

Grundideen Lokalisation Kalmanfilter EKF

Pr ¨adiktionsfilter - Kalman

Allgemeine Grundidee:

Modellierung eines mit einem Zufallsprozeß

¨uberlagerten linearen Systems, um aus dem Verhalten bis zum aktuellen Zeitpunkt Aussagen ¨uber das

zuk ¨unftige Verhalten machen zu k ¨onnen

”Features”:

Interpretation von verrauschten Meßdaten in Realzeit Implizite Modellierung von Zufallskomponenten f ¨ur sichere Vorhersagen

Absch ¨atzung von Vorhersagefehlern

(12)

Tracking

Modellierung

~x_k+1 = Φ_k ·~x_k +~ω_k

~z_k = H_k ·~x_k +~ν_k

~xk := Systemzustand zum Zeitpunktk (n×1-dimensional) Φ_k := Zustands ¨ubergangsmatrix~x_k →~x_k₊₁(n×n-dim.)

~

ω_k := stat. Systemanteil, weißes, unkorreliertes Rauschen bekannter Kovarianz

E{~ω_i~ω_k}=δ_ik·Qk

~z_k := Meßdaten des Zeitpunktesk (m×1-dimensional)

Hk := spezifiziert Zusammenhang zwischen~xk und~zk (m×n-dim.)

~

ν_k := Meßfehler (n×1-dimensionaler Zufallsvektor) E{~ν_i~ν_k} = δ_ik·Rk

E{ω~_kν~_i} = 0 ,∀k,i

(13)

Tracking

Modellierungsbeispiel - I

Beispiel: 1D-Bewegung eines PKW Systemgleichungen:

lineare Bewegungsgleichungen der Physik Messung: Abstand per Radar

Zufallsprozeß: Luftwiderstand

Messfehler: St ¨orsignale, Zeitmessung Also: ^~^x^k ⁼ ^[y^k^,

y·_k,^··y_k]^T

yk+1 = yk+ ∆t·y^·_k+∆t² 2 ·y^··_k y·_k₊₁ = y^·_k + ∆t·y^··_k

⇒Φk = 0

@

1 ∆t ^∆t₂²

0 1 ∆t

0 0 1

1 A

(14)

Tracking

Modellierungsbeispiel - II

Zufallsprozess: Wind Q=





1 0 0 0 1 0 0 0 1





messbarer Zustand~z_k:

Positiony_k des PKW ¨uber Radar, alsoH_k = (1 0 0) Messfehler:

N(0,1)· y_k 10

Frage jetzt: Wie arbeitet der Kalman-Filter?

(15)

Tracking

Arbeitsweise Kalmanfilter

Grundprinzip:

-

Vorhersage f ¨ur~x_k Korrektur der Sch ¨atzungxˆ_k⁻

Meßwert~zk

6

-verbesserte Sch ¨atzungxˆk

?

Vorhersagexˆ_k+1⁻

Notation:

~x_k := tats ächlicher Systemzustand (nicht bekannt!) xˆ_k⁻:= gesch ätzter Zustand vor Analyse (a-priori) xˆ_k := gesch ätzter Zustand nach Korrektur (a-posteriori)

(16)

Tracking

Herleitung der Filtergleichungen - I

gegeben a-priori Sch ¨atzfehler zum Zeitpunktk e⁻_k = (~x_k −xˆ_k⁻)

mit Kovarianzmatrix

P_k⁻=E{e_k⁻e_k⁻^T}=E{(~x_k −xˆ_k⁻)(~x_k−xˆ_k⁻)^T} Ziel: korrigiere Zustandssch ¨atzung und Kovarianz anhand des Messfehlers zur Vorhersage

ˆx_k = ˆx_k⁻+K_k·(~z_k −H·xˆ_k⁻) (1) der KorrekturfaktorK_k heisst auchKalmanfaktor

(17)

Tracking

Herleitung der Filtergleichungen - II

Ziel: finde optimalesK_k f ¨ur eine neue Zustandssch ¨atzungxˆ_k

⇒Minimierung des mittleren quadratischen Sch ¨atzfehlers P_k =E{e_ke_k^T}

Ansatz:

argmin

Kk

P_k =argmin

Kk

E{(~x_k−xˆ_k)(~x_k−xˆ_k)^T} Es gilt: ~z_k =H_k·~x_k+~ν_k

Aus Einsetzung in Gleichung (1) folgt dann xˆ_k = ˆx_k⁻+K_k ·(H_k~x_k +~ν_k −H_kxˆ_k⁻) Damit gilt schließlich:

Pk =E{(~xk−ˆx_k⁻−Kk·(Hk~xk+~νk−Hkˆx_k⁻))·(~xk−ˆx_k⁻−Kk·(Hk~xk+~νk−Hkˆx_k⁻))^T}

(18)

Tracking

Herleitung der Filtergleichungen - III

Umformung liefert nach diversen ”Rumrechnereien”... :-)

P_k = (I−K_kH_k)·P_k⁻·(I−K_kH_k)^T +K_kRK_k^T (2) Minimierung vonP_k durch Ableiten und Nullsetzen ergibt

K_k = P_k⁻·H_k^T H_kP_k⁻H_k^T +R_k

Einsetzen des Kalmanfaktors in Gleichung (2) liefert P_k = (I−K_kH_k)·P_k⁻

als korrigierte Fehlerkovarianz

analog: aus (1) folgt eine korrigierte Zustandssch ¨atzungˆx_k

(19)

Tracking

Arbeitsweise Kalmanfilter

Vorhersage des Systemzustandes f ¨ur den Zeitpunktt+1:

xˆ_k⁻₊₁ = Φ_k ·xˆ_k +~ω_k

P_k⁻₊₁ = E{(~x_k+1−xˆ_k+1⁻ )(~x_k+1−xˆ_k+1⁻ )^T}

= E{(Φ_k~x_k +~ω_k−Φ_kxˆ_k −~ω_k)²}

= E{Φ_ke_k +~ω_k²}

= Φk ·E{e²_k} ·Φ^T_k +E{~ω_k²}

= Φ_k ·P_k·Φ^T_k +Q_k

~

ω_k ist mittelwertfrei und unkorreliert und entf ¨allt daher

(20)

Tracking

Arbeitsweise Kalmanfilter: ¨ Uberblick

Berechnung der Vorhersage-Sch ¨atzungxˆ_k+1⁻ aus den Modellgleichungen

Berechnung eines verbesserten Sch ¨atzwertesˆxk”uber Minimierung des mittleren quadratischen Sch ¨atzfehlers

gesch ¨atzte Vorhersage

ˆ x_k⁻ -

verbesserter Sch ¨atzwert

ˆ xk

- Initialisierung~x0

Messwert~zk -

- Fehlersch ¨atzung P_k⁻₊₁= ΦkPkΦ^T_k +Qk

(21)

Tracking

Arbeitsweise Kalmanfilter: ¨ Uberblick

je mehr Zust ¨ande beobachtet werden, desto sicherer ist die Vorhersage

Filter erfordert passendes Modell (fehlerhaftes Modell wird nicht ausgeglichen!)

numerische Probleme bei langer Laufzeit m ¨oglich beschr ¨ankt auflineareSysteme→Extended Kalman

(22)

Tracking

Extended Kalmanfilter

Grundidee:

lokale lineare Approximation des nicht-linearen Modells (vgl. Taylor-Reihe)

Modellierung (analog zum Standard-Kalman):

~x_k = f(~x_k−1, ~ω_k−1)∈Rⁿ

~z_k = h(~x_k, ~ν_k)∈R^m

f,h nicht-lineare Funktionen der tats ¨achliche Zustand kann wiederum nur approximiert / gesch ¨atzt werden:

xˆ_k⁻ = f(ˆx_k−1,0) ˆz_k = h(ˆx_k⁻,0)

(23)

Tracking

Modellgleichungen - I

Lineare Approximation der Modellgleichungen:

~x_k ≈ f(ˆx_k−1) +A·(~x_k−1−xˆ_k−1) +W~ω_k−1

≈ ˆx_k⁻+A·(~x_k−1−ˆx_k−1) +W~ω_k₋₁

~z_k ≈ h(ˆx_k⁻) +H·(~x_k −xˆ_k⁻) +V~ν_k

≈ ˆz_k⁻+H·(~x_k−xˆ_k⁻) +V~ν_k mit den Jacobi-Matrizen

A_ij = ∂f_i

∂x_j(ˆxk−1,0) , W_ij = ∂f_i

∂ω_j(ˆx_k−1,0) H_ij = ∂h_i

∂x_j(ˆx_k⁻,0) , V_ij = ∂h_i

∂ν_j(ˆx_k⁻,0) (die Matrizen sind abh ¨angig vom jeweiligen Zeitschritt)

(24)

Tracking

Modellgleichungen - II

Ziel des Korrekturschrittes war Berechnung einer a-posteriori-Sch ¨atzung, die mittleren quadratischen Sch ¨atzfehler minimiert!

(a-priori) Sch ¨atzfehler:

eˆ⁻_x

k =~x_k −xˆ_k⁻ (a-priori) Messfehler:

eˆ_z⁻_k =~z_k −zˆ_k⁻

Sch ¨atz- und Messfehler k ¨onnen nur approximiert werden, Einsetzung der Modellgleichungen liefert:

ˆ e⁻

xk ≈ ˆx⁻

k +A·(~x_k−1−ˆx_k−1) +Wω~_k−1−ˆx⁻

k ≈A·(~x_k−1−xˆ_k−1) +_k ˆe⁻

zk ≈ ˆz_k⁻+H·(~x_k−ˆx⁻_k) +V~ν_k−ˆz⁻_k ≈H·(ˆe⁻ xk) +η_k (_kist mittelwertfreie Zufallsvariable mit KovarianzmatrixWQW^T,

η_kist mittelwertfreie Zufallsvariable mit KovarianzmatrixVRV^T)

(25)

Tracking

Modellgleichungen - III

Approximation ergibt zweiten Kalmanprozess, der Entwicklung des Sch ¨atzfehlers ¨uber die Zeit modelliert

minimiere diesen Sch ¨atzfehler

leite verbesserte Zustandssch ¨atzung ab:ˆx_k = ˆx_k⁻+ ˆe_x_k Annahmen zur Minimierung:

Verteilungen voneˆ⁻_x_k,_k undη_k

eˆxk =Kk ·eˆ_z⁻_k (analog zum Standard-Kalman) R ¨uckeinsetzung ergibt:

ˆx_k = ˆx_k⁻+ ˆex_k = ˆx_k⁻+K_k·ˆe⁻_z_k (K_k ergibt sich analog zum Standard-Kalman, mit angepasster Kovarianz)

(26)

Tracking

Algorithmus

Uberblick:¨ a) Pr ¨adiktion:

xˆ_k⁻ = f(ˆx_k−1,0)

P_k⁻ = A_kP_k−1A^T_k +W_kQ_k−1W_k^T b) Korrektur:

K_k = P_k⁻H_k^T

(H_kP_k⁻H_k^T +V_kR_kV_k^T) xˆ_k = ˆx_k⁻+K_k·(~z_k −h(ˆx_k⁻,0)) P_k = (I−K_kH_k)P_k⁻

(27)

Tracking

Zusammenfassung: EKF

Behandlung nicht-linearer Modelle durch lineare Approximation

Ansatz in impliziter Modellierung des Sch ¨atzfehlers:

sch ¨atze a-posteriori Fehler aus a-priori Sch ¨atzfehler, kombiniert mit aktuellen Messergebnissen

Kalmanfaktor- und Fehlermatrix-Berechnungen weitgehend analog zum Standard-Kalman (EKF ist ”lediglich” nicht-lineare Erweiterung) aktuelles Hauptanwendungsgebiet:

Visual Self-Localisation and Mapping