Grauwertänderungen
Bewegungs- detektion
Bewegung kann nur dort detektiert werden, wo sich Grauwerte verändern:
• Rauschen
• Veränderung der Beleuchtung
• Veränderung der Flächennormalen
• Verdeckungen
• Eigenbewegung der Kamera/des Auges
• Positionsveränderungen von Objekten
• Orientierungsänderungen von Objekten
• Verformung von Objekten
B e w e g u n g B ild v e rs c h ie - b u n g e n
Bewegungs- detektion
Grauwertänderungen
Bewegungs- detektion
Bewegung und Grauwertänderung
Deformierbare Fläche Periodische Struktur Nicht unterscheidbare Bildmerkmale
1. Es kann visuelle ohne physikalische Korrespondenz geben 2. Trotz physikalischer Korrespondenz fehlt die visuelle.
Korrespondenzproblem:
Aperturproblem:
?
? ?
?
Bewegungs- detektion
Mehrdeutigkeit der Bildverschiebung
T
X
Verzögerung, Tiefpass
Korrelation
Integration
,
,
Y
,
W ,
W
,
W ,
W
,
W
5
W
5
Y
Antwortcharakteristik Bewegungs- detektion
Korrelationsdetektor
Tiefpass: unterdrückt schnelle zeitliche Veränderungen bzw. hohe Frequenzen
z.B. zeitdiskreter, rekursiver Tiefpass 1. Ordnung:
s[n+1] =
Dx[n] + (1 -
D) s[n] , 0 <
D< 1
Korrelation: Maß für die Ähnlichkeit zweier Signale bzw.
,
W
,
W
∫
=
[ W \ W GW5[\
( ) ( ) = ∑
L
L L
[\ [ W \ W
5
( ) ( )
,
W
5
Bewegungs- detektion
Korrelation und Tiefpass
• Detektorantwort steigt monoton (nicht linear) mit der Mustergeschwindigkeit bis zu Maximalwert, sinkt dann wieder ab.
• Muster darf sich zeitlich nicht verändern, nur reine Translation erlaubt
• Detektorantwort hängt vom Musterkontrast ab (wg. Korrelation)
• misst nur die die Geschwindigkeitskomponente entlang der Vorzugsrichtung
• keine Detektorantwort für exakt entgegengesetzte Bewegung
• reagiert auch auf konstante Muster Erweiterungen:
• Ergänzung eines zweiten Halbdetektors in entgegengesetzter Richtung und Subtraktion beider Signale (=> bidirektionale Antwort, keine Reaktion auf konstante
Muster)
• 2D patch correlation:
(Bülthoff et al., 1989)
Ausschnitt aus Bild 1
2-D-Suche
Maximale Korrelation in Bild 2 Gradienten- verfahren
Korrelationsdetektor - Eigenschaften
Grauwerte werden analog einer strömenden Flüssigkeit behandelt =>
optischer Fluß
Kontinuitätsgleichung 1D (Erhaltung des Grauwertes):
=>
Kontinuitätsgleichung 2D:
Vorsicht! - Objekte ändern bei Drehung relativ zur Kamera ihre Helligkeit - Bei divergenter Beleuchtung (Punktlichtquellen) ist die
Objekthelligkeit abstandsabhängig
- Glanzlichter bewegen sich i.A. nicht mit dem Objekt
= 0
∂ + ∂
∂
∂
[ X J W J
[ J W
X J
∂
∂
∂
− ∂
=
= 0
∇
∂ +
∂
JW J X
Gradienten- verfahren
Kontinuität und optischer Fluß
Problem: Ableitungen können auf diskreten Gittern nur angenähert werden.
Rückwärtsgradient:
Vorwärtsgradient:
Symmetrischer Gradient:
Symmetrische Näherung 2. Ordnung:
Realisierung über diskrete Filteroperation:
( 1 1 0 )
] 1 [ ] [ ]
[
≈ − − ⇒ −∂
∂ [ J [ J [ [
J
( 0 1 1 )
] [ ] 1 [ ]
[
≈ + − ⇒ −∂
∂ [ J [ J [ [
J
−
⇒
−
− +
∂ ≈
∂
2 0 1 2 ] 1
1 2 [
] 1 1 2 [
] 1
[[ J [ J [
[ J
− −
12 1 3 0 2 3 2 12
∑
=− − 1∂ ≈
∂
2 /
2
/
[ ] * [ ]
] [
1 1
N ' N J [ N
[ [ J
Gradienten- verfahren
Ableitungsoperatoren
Bei zeitlich diskreten Ableitungsoperatoren entsteht bei schnellen Veränderungen sog. Aliasing
Reine Translation
Scherung + Rotation
Helligkeit + Dilation Translation
+ Diffusion
Beispiele für Bewegungs- modelle:
Gradienten- verfahren
Aliasing und Bewegungsmodell
Kontinuitätsgleichung ist unterbestimmt => nur die Normalkomponente des optischen Flusses ist bestimmbar (Aperturproblem!):
Lösung durch Ortsintegration, d.h. durch zusätzliche Annahmen über die Glattheit des Verschiebungsvektorfeldes.
Hier: Zusammenfassung mehrerer benachbarter Pixel unter der Annahme, daß sich die Bewegung innerhalb der Nachbarschaft nicht verändert:
(überbestimmtes lineares Gleichungssystem)
J W
X J ∇
∂
−∂
⊥ =
∂
∂
∂
∂∂
∂
−
=
∂
∂
∂
∂
∂
∂
∂
∂ ∂
∂
∂
∂
) (
) 2 (
) 1 (
) ( ) (
) 2 ( )
2 (
) 1 ( )
1 (
1 W J W J W J
X X
1
\ 1 J [ J
\ J [
J
\ J [
J
\ [
M M M
Gradienten- verfahren
Ortsintegration
Minimierung des gewichteten quadratischen Fehlers:
∑ ∂ ∂ + ∂ ∂ + ∂ ∂
=
L
\ [
L W
L X J
\ L X J
[ L Z J (
)
2( )
( )
(
Lösung:
∂
∂
∂
∂ ∂
∂
∂
∂
−
=
−
=
∑
−
∑
−
L L L
L
\ [
\ L J W
L Z J
[ L J W
L Z J
$ E
$ X
X
) ( ) (
) ( ) (
1 1
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
= ∑ ∑
∑
∑
L L
L L
L L
L L
\ L Z J
\ L J [
L Z J
\ L J [
L Z J [
L Z J
$ 2
2
) ( )
( ) (
) ( ) ( )
(
Gradienten- verfahren
Methode der kleinsten Quadrate
Bewegung
Fehlerbild
Gradienten- verfahren
Gradientenverfahren - Beispiele
Beleuchtungs- veränderungen
Verdeckungen
+ =>
Gradienten- verfahren
Grenzen des Translationsmodells
Hauptachsentransformation:
• Der Beitrag jedes Punktes im Fenster wird quadratisch mit dem Betrag der Ableitung gewichtet.
• Je steiler der Grauwertgradient, desto verlässlicher ist die Verschiebungs- schätzung
• Fehler ist umso kleiner, je besser die Gradientenrichtungen verteilt sind
• Fehler ist umso kleiner, je größer das Fenster ist
• Fehler ist umso kleiner, je geringer das Kamerarauschen ist
• Fehler wird groß bei Bewegungsdiskontinuitäten (Verletzung der Grundannahme)
• Verschiebung ist nur bestimmbar, wenn nicht alle Ableitungen 0 sind, d.h.
es darf keine konstante Grauwertfläche vorliegen
• Die Gradienten dürfen nicht alle in die gleiche Richtung zeigen (Aperturproblem)
• Allein die räumliche Struktur der Grauwerte bestimmt, ob und wie genau Verschiebungen detektiert werden können.h
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
∂
=
∑
∑
∑
∑
L L L L
L L L L
\ [
\ L Z J W
L J
\ L Z J
[ L Z J W
L J [
L Z J
X X
2 2
) ( )
( ) (
) ( )
( ) (
Gradienten- verfahren
Eigenschaften
Räumliche Ableitung -> symmetrischer Ableitungsoperator Dx oder Dy Zeitliche Ableitung -> Rückwärtsgradient Dt
Gewichtete Mittelung über Fenster -> Glättungsoperator G
Dy Dt
Dx
Dx2 Dx *Dy Dy2 Dx *Dt Dy *Dt
GDx2 GDx *Dy GDy2 GDx *Dt GDy *Dt
b A
Nichtlinearität:
Glättung:
Ableitung:
Gradienten- verfahren
Umsetzung in Bildoperatoren
Vor Invertierung von A werden beide Eigenwerte 1 > 2 > 0 bestimmt:
1. 1 > 2 > : Voller 2-D-Flussvektor aus Invertierung von A
2. 1 > > 2 : Aperturproblem => Bestimmung des Normalenflusses 3. > 1 > 2 : Kein Kontrast => Kein Flußvektor berechenbar
Konfidenzmaße:
1. Kleinster Eigenwert 2
2. Quadratischer Fehler der Kontinuitätsgleichung Fehlermaße:
1. Betragsquadrat des Geschwindigkeitsfehlers:
2. Fehlerwinkel:
2 2 2
2
1
1 arccos 1
\ [
\ [
\
\ [ [
X X
X
X
+ + +
+
+ +
2
X
−
Gradienten- verfahren
Sonderfälle, Konfidenz- und Fehlermaße
Testmuster 1 Testmuster 2
Konfidenz
Fluß ohne Maskierung
Fluß mit Maskierung Fluß mit Aperturkorrektur Gradienten- verfahren
Konfidenzmaß - Beispiele
Beispiel: Schwarze Fläche bewegt sich nach rechts
Geschwindigkeit ist charakterisiert durch den raumzeitlichen Orientierungsvektor des Musters:
Schätzfehler in der Geschwindigkeit können durch die Winkeldifferenz zwischen dem wahren und dem geschätzten raumzeitlichen Orientierungs- vektor beschrieben werden
(relatives Fehlermaß, d.h. unabhängig vom Absolutbetrag der Geschwindigkeit) t
x t
ux t
(
X[ X\)
vY= 1
Y Y
Y (UU Y
ˆ arccos ⋅ ˆ
=
Gradienten- verfahren
