Strukturelle Modelle in der Bildverarbeitung MinSum Probleme – „Suchtechniken“
D. Schlesinger – TUD/INF/KI/IS
– Iterated Conditional Modes – α-expansion,αβ-swap
Iterated Conditional Modes
MinSum Problem:
y∗= arg min
y
hX
r
qr(yr) +
X
rr0
grr0(yr,yr0)
i
Die Idee: wähle (lokal) immer wieder das energetisch günstigste Label bei fixiertem Rest [Besag, 1986].
Wiederhole oft für aller: yr= arg min
k
h
qr(k) +
X
r0:rr0∈E
grr0(k,yr0)
i
+ Extrem einfach, parallelisierbar.
− „Koordinatenweise“ Optimierung
→konvergiert nicht zum globalen Optimum selbst bei einfachen Modellen Beispiel: Ising Modell (Potts mitK=2) mit starker Glattheit.
D. Schlesinger () SMBV: MinSum – Suchtechniken 2 / 8
Iterated Conditional Modes
Erweiterung: fixiere nicht alle Variablen bis auf eine, sondern nur eine Teilmenge so, das der Rest einfach optimierbar ist (zum Beispiel eine Kette oder ein Baum).
Für Bilder – Zeilenweise/Spaltenweise Optimierung.
→durch Dynamische Programmierung exakt und effizient lösbar.
Suchtechniken – allgemeine Idee
Für jedes Labelling gibt es eine „Umgebung“ – eine Teilmenge der Labellings so, dass a) die Teilmenge ist konstruktiv beschreibbar
b) das aktuelle Labelling zu dieser Teilmenge gehört
c) das optimale Labelling in der Teilmenge einfach gefunden werden kann
Der Algorithmus besteht in der iterativen Such nach dem besten Labelling in der Umge- bung des aktuellen – konvergiert zum lokalen Optimum
Beispiel: ICM – die Umgebung eines Labellings sind diejenigen, die sich vom aktuellen nur durch das Label in einem Knoten unterscheiden.
Anwendungsbeispiel: Stereo –y0 ist das Ergebnis des Block Matching,
weiter (z.B.) – zeilen-/spaltenweise Dynamische Optimierung, solange sich etwas ändert.
D. Schlesinger () SMBV: MinSum – Suchtechniken 4 / 8
α-expansion
Die Umgebung eines Labellings – inallenKnoten wird dieLabelmenge eingeschränkt.
[Boykov et al., 2001]
α-expansion:
ein Labelαwird betrachtet,
in jedem Knoten werden maximal zwei Labels betrachtet – das aktuelle Label undα
somit entsteht einbinäres MinSum Problem
– unter Umständen durch MinCut exakt und effizient lösbar
Dies wird iterativ für alleα-s oft wiederholt (solange sich etwas ändert).
α-expansion
Wann sind die entstehenden binären MinSum Probleme exakt lösbar?
Auf jeden Fall (hinreichend) wenn die paarweisen Funktioneng(k,k0)Metrikensind, d.h.
a) g(k,k) = 0
b) g(k,k0) =g(k0,k)≥0 c) g(k,k0)≤g(k,k00) +g(k00,k0)
Dann sind die entstehenden binären MinSum Problemesubmodular:
g(α, α)+g(β0, β00) = 0+g(β0, β00)≤g(β0, α)+g(α, β00)
(Eigentlich braucht man keine Symmetrieg(k,k0) =g(k0,k)) Beispiele:
– Potts Modellg(k,k0) = 1I(k6=k0) – Segmentierung – Lineare Metrikg(k,k0) =|k−k0|– Stereo
– „abgeschnittene“ Metriken z.B.g(k,k0) = min(|k−k0|,C)
D. Schlesinger () SMBV: MinSum – Suchtechniken 6 / 8
αβ-swap
ein Labelpaarα, βwird betrachtet, in jedem Knoten
– ist der aktuelle Labelαoderβ, so sind sowohlαals auchβerlaubt, – ist der aktuelle Label kein von den beiden, so bleibt nur er erlaubt.
→in jedem Knoten darf der Label vonαzuβwechseln und umgekehrt.
somit entsteht wieder einbinäres MinSum Problem
– durch MinCut lösbar, wenng(k,k) = 0 undg(k,k06=k)≥0 (Semimetrik) Dies wird iterativ für alle Paareαundβoft wiederholt (solange sich etwas ändert).
Vergleich
ICM (einfach) ICM (zeil.) α-exp. αβ-swap
Die Anzahl der Label- lings im Suchbereich (bei n×n Gitter, K Labels, zufälliges Labelling)
K Kn 2n
2·(K−1)
K 2n
2·2 K
Die Anzahl der Umge- bungen
n2 2·n K K(K−1)2
Art derg-Funktion beliebig beliebig Metrik Semimetrik
Exakt bei nie Kette K=2 (?) K=2
– Alles gut parallelisierbar und frei kombinierbar.
– Können selbst bei exakt lösbaren Problemen benutzt werden (meist wegen Speicherkomplexität).
D. Schlesinger () SMBV: MinSum – Suchtechniken 8 / 8
