Computer Vision: Stereo
D. Schlesinger – TUD/INF/KI/IS
– Geometrisches Stereo vs. andere Methoden – Geometrische Grundlagen
– Einfache diskrete Verfahren – Diskrete Energieminimierung – Statistische Modelle
– Optische Flüsse
D. Schlesinger () CV: Stereo 1 / 10
Geometrisches Stereo vs. andere Methoden
Shape from Texture
Shape from Shading
Stereo
Geometrische Grundlagen
(Zur Erinnerung)
Allgemeine Situation:
xlFxr = 0
(Bedingungen der Epipolargeometrie)
Paralleles (rektifiziertes) Stereo:
Die Menge der Korrespondenzpaare ist (xl,xr,y), d.h.∈R3
D. Schlesinger () CV: Stereo 3 / 10
Tiefenkarte (diskret)
Y
Z X
pl=Tl(X,Y,Z) pr=Tr(X,Y,Z)
k= 1 k= 2 . . . k=kmax
r r r r
r r
e e
e e
e
Definitionsbereich ist ein GraphV= (R,E),r∈Rein „Pixel“,R⊂Z2 Wertebereich ist eine (diskrete) MengeKder Label (Tiefenwerte) Tiefenkarte ist eine Abbildungy:R→K,
d.h. jeder Positionr∈Rwird ein Tiefenwertk∈K zugeordnet.
Jedes Paar (r,k) repräsentiert einen Punkt (X,Y,Z)∈R3
→wird auf das entsprechende Korrespondenzpaar (pl∈R2,pr ∈R2) abgebildet
Ähnlichkeitsmaße
r r r r
. . . k= 1 k= 2 k=kmax . . .
pl pr
Quadratische Differenz der Farbwerte:
A(pl,pr) = Il(pl)−Ir(pr)
2Rauschen unterdrücken:
A(pl,pr) =
X
4p∈F
[Il(pl+4p)−Ir(pr+4p)]2
Farbtransformationen erlauben:
A(pl,pr) = min
Cv
X
4p∈F
[Il(pl+4p) +Cv−Ir(pr+4p)]2
A(pl,pr) = min
Cv,Cs
X
4p∈F
[Il(pl+4p)·Cs+Cv−Ir(pr+4p)]2
G
Gl Gr
Geometrische Transformationen erlauben:
A(pl,pr) = min
Cv,Cs,Tr
X
4p∈F
Il(pl+4p)·Cs+Cv−Ir Tr(pr+4p)2D. Schlesinger () CV: Stereo 5 / 10
Block Matching
Gar kein a-priori Modell – unabhängige Entscheidungen für aller:
y(r) = arg min
k
A(r,k) ∀r
– sehr einfach
– sehr schnell (durch Integralbild)
– kann für die Schätzung „undichter“ Tiefenkarten verwendet werden – als eine Initialisierung für komplizierter Verfahren oft gut geeignet
Zeilenweise Ansätze
Bestimmte Kombinationen der Label in den (horizontal) benachbarten Knoten sind gar nicht möglich:
r r r
k= 1 k= 2
k=kmax . . . k= 3 . . .
Eine Funktion definieren, die alle Labelpaare bewertet:
r r0
k= 1 k= 2 . . . k=kmax
e
Für jede Zeile des Definitionsbereiches
y∗= arg min
y
h X
ni=1
qi(yi) +
n
X
i=2
g(yi−1,yi)
i
→Dynamische Programmierung
[Gimel’farb, sehr lange her]
D. Schlesinger () CV: Stereo 7 / 10
Energieminimierung
Es gibt Funktionengfür die Bewertung der Labelpaare sowohl in der horizontalen als auch in der vertikalen Richtung
y∗= arg min
y
hX
r∈R
qr(yr) +
X
rr0∈E
g(yr,yr0)
i
k= 1 k= 2 . . . k=kmax
r r r r
r r
e e
e e e
g(k,k0) =
n
0 wenn |k−k0| ≤δ∞ sonst g(k,k0) = c·(k−k0)2 g(k,k0) =
n
0 wenn k=k0a>0 sonst
[Boykov, Kolmogorov, Veksler, Zabih, um 2001]
Statistische Modelle – MRF-s
Die a-posteriori Wahrscheinlichkeitsverteilung der Labellings (Tiefenkarten):
p(y)∼exp
hX
r
qr(yr) +
X
rr0
g(yr,yr0)
i
Maximum a-posteriori Entscheidung:
y∗= arg min
y
hX
r
qr(yr) +
X
rr0
g(yr,yr0)
i
Minimum mean square error:
y∗r =
X
k
k·p(yr =k) ∀r
[Schlesinger, 2003]
D. Schlesinger () CV: Stereo 9 / 10
Optische Flüsse
Idee [Slesareva, Bruhn, Weickert, 2005]: der Optische Flussd(x) so einzuschränken, dass er die Bedingungen der (bekannten) EpipolargeometriexT·F·(x+d(x)) erfüllt.
Energiefunktional:
E(p) =ED(p) +βES(p)→min
p
ED(p) =
Z
Ω
ΨD |gr(x+d(p))−gl(x)|2+α|∇gr(x+d(p))− ∇gl(x)|2
dxdy
ES(p) =
Z
Ω
ΨS |∇p|2
dxdy
x– Position im linken Bild,ql,gr – Bilder,d– Flussfeld,
p– die Komponente des Flussfeldes entlang den entsprechenden Epipolarlinien, p(x) ist (im Gegensatz zud(x)) eine eindimensionale Größe.
Einsetzen, ableiten, mit Standardmethoden lösen ...
Erweiterung: die FundamentalmatrixF ist unbekannt, man schätze sie auch [Valgaerts, Bruhn, Mainberger, Weickert, 2010]
