Bildverarbeitung: Diskrete Energieminimierung

Bildverarbeitung: Diskrete Energieminimierung

Entrauschung → Segmentierung

Beide Definitionsbereich und Wertebereich sind diskret.

R∈Z²– die Pixelmenge,E⊂R²– die Nachbarschaftstruktur (z.B. 4-Nachbarschaft) x :R →Z– das Ausgangsbild,y :R→K – die gesuchte Abbildung (das restaurierte Bild).k∈Krepräsentiert den „wahren“ Grauwert (Label).

Die Energieminimierung:

y^∗= arg min

y

z.B. arg min

y

hX

r∈R

(xr−yr)²+α

X

rr⁰∈E

(yr−yr⁰)²

i

Farben→semantische Bedeutungen (Werte eines Merkmals)...

Die Menge der Pixel ist auf „sinnvolle“ Teilmengen zu partitionieren.

D. Schlesinger () BV: Diskrete Energieminimierung 2 / 11

Segmentierung

Original

A possible segmentation

r r r r

r r

Data terms Compactness terms

Penalty Zero

k= 3: Shadow k= 2: Forest k= 1: Field

Dissimilarity measure Observed features

y^∗= arg min

y

hX

r

qr(yr) +

X

rr⁰

g_rr0(yr,y_r0)

i

Iterated Conditional Modes

y^∗= arg min

y

hX

r

qr(yr) +

X

rr⁰

g_rr0(yr,y_r0)

i

Die Idee: wähle (lokal) immer wieder das energetisch günstigste Label bei fixiertem Rest [Besag, 1986].

Wiederhole oft für aller: yr= arg min

k

h

qr(k) +

X

r⁰:rr⁰∈E

g_rr0(k,y_r0)

i

(ME: synchrone Dynamik in Hopfield-Netzen)

+ Extrem einfach, parallelisierbar.

− „Koordinatenweise“ Optimierung

→konvergiert nicht zum globalen Optimum selbst bei einfachen Modellen.

D. Schlesinger () BV: Diskrete Energieminimierung 4 / 11

Iterated Conditional Modes

Erweiterung: fixiere nicht alle Variablen bis auf eine, sondern nur eine Teilmenge so, das der Rest einfach optimierbar ist (zum Beispiel eine Kette oder ein Baum).

Für Bilder – Zeilenweise/Spaltenweise Optimierung.

→durch Dynamische Programmierung exakt und effizient lösbar.

Äquivalente Transformationen (Reparametrisierung)

Zwei AufgabenA= (q,g) undA⁰= (q⁰,g⁰) sind zu einanderäquivalent, wenn

hX

r

qr(yr) +

X

rr⁰

g_rr0(yr,y_r0)

i

=

hX

r

q_r⁰(yr) +

X

rr⁰

g⁰_rr0(yr,y_r0)

i

für alle Labellingsygilt.

A(A) – Äquivalenzklasse (alle zuAäquivalenten Aufgaben).

ÄquivalenteTransformationen:

Φ = ϕr(k)∀r,k, ϕrr⁰(k), ∀rr⁰,k

ϕr(k) +

X

r⁰:rr⁰∈E

ϕ_rr0(k) = 0 ∀r,k

D. Schlesinger () BV: Diskrete Energieminimierung 6 / 11

Äquivalente Transformationen

SeiA= (q,g) eine Aufgabe,A⁰= (q⁰,g⁰) = Φ(A) ist die Aufgabe nach der Anwendung der Äquivalenten Transformation Φ, d.h.

q_r⁰(k) =qr(k) +ϕr(k)

g⁰_rr0(k,k⁰) =g_rr0(k,k⁰) +ϕ_rr0(k) +ϕ_r0r(k⁰)

⇒AundA⁰ sind zu einander äquivalent.

Sind zwei AufgabenAundA⁰ äquivalent,

soexistierteine Äquivalente Transformation Φ so, dassA⁰= Φ(A).

Weitere Eigenschaften:

Φ Φ⁰(A)

= Φ⁰ Φ(A)

= (Φ⊕Φ⁰)(A) – Superposition.

Φ⁻¹ Φ(A)

=A, d.h. Φ⊕Φ⁻¹= Φ⁰– Inverse Transformationen.

Die Menge aller Φ bildet eineGruppe.

Scheinbare Qualität

Die Energie einer Aufgabe:

E(A) = min

y

hX

r

qr(yr) +

X

rr⁰

g_rr0(yr,y_r0)

i

Scheinbare Qualität einer Aufgabe:

man wähle von einander unabhängig für jede Kante (für jeden Knoten) das beste Labelpaar (den besten Label)

SQ(A) =

X

r

min

k qr(k) +

X

rr⁰

min

kk⁰ g_rr0(k,k⁰)

SQ(A) ist offensichtlich eineuntere SchrankefürE(A), d.h.SQ(A)≤E(A) Eine Aufgabe heißttrivial, wennE(A) =SQ(A) gilt.

D. Schlesinger () BV: Diskrete Energieminimierung 8 / 11

Scheinbare Qualität

Die Äquivalenten Transformationen ändern E(A)nicht,SQ(A) aberschon.

Die Idee – suche die Aufgabe größter Scheinbarer Qualität in der ÄquivalenzklasseA(A) – maximiere die untere Schranke der Energie:

X

r

min

k qr(k) +ϕr(k)

+

X

rr⁰

min

kk⁰ g_rr0(k,k⁰) +ϕ_rr0(k) +ϕ_r0r(k⁰)

→max

Φ

s.t.ϕr(k) +

X

r⁰:rr⁰∈E

ϕrr⁰(k) = 0 ∀r,k

eine konkave nicht überall differenzierbare Optimierungsaufgabe.

– Wie istSQ(A) (effizient) zu maximieren?

– Trivialität zu prüfen ist NP im Allgemeinen.

– Für welcheAgibt es einen trivialen Äquivalent?

Diffusion Algorithmus

Wiederhole oft für aller,k

1) Sammeln – gießen so viel wie möglich inqr(k):

4_rr0(k) = min

k⁰ grr⁰(k,k⁰) qr(k) =qr(k) +

X

r⁰:rr⁰∈E

4_rr0(k,k⁰)

grr⁰(k,k⁰) =grr⁰(k,k⁰)− 4_rr0(k,k⁰) 2) Verteile gleichmäßig auf inzidente Kanteng_rr0(k,k⁰):

4_r(k) =qr(k)/4 (bei 4-Nachbarschaft) grr⁰(k,k⁰) =grr⁰(k,k⁰) +4r(k) qr(k) = 0

Es ist nicht ganz klar, welche Aufgabe der Algorithmus eigentlich löst.

Im Allgemeinen wird SQ damit nicht global optimiert.

Praktisch funktioniert oft befriedigend.

Erweiterungen:

Message Passing Algorithmen – „ gezielte“ (nicht gleichmäßige) Verteilung, Subgradienten Verfahren ...

D. Schlesinger () BV: Diskrete Energieminimierung 10 / 11

Polynomiell lösbare Spezialfälle

Im Allgemeinen sind diskrete Energieminimierung Probleme NP-vollständig.

Bekannte polynomiell lösbare Fälle:

– Der Graph der Aufgabe ist einfach, zum Beispiel eine Kette.

– Die Funktionenghaben bestimmte Eigenschaften.

Submodulare Aufgaben:

r r⁰

k2

k1 k₁⁰

k₂⁰

Sei die Menge der LabelKvollständig geordnet, d.h.K={1,2, . . .|K|},

seik1≤k2undk₁⁰ ≤k₂⁰ in dieser Ordnung.

Die Funktiongrr⁰ heißt submodular, wenn g(k1,k₁⁰) +g(k2,k₂⁰)≤g(k1,k₂⁰) +g(k2,k₁⁰) für alle derartige viertuppelk1,k2,k⁰₁,k⁰₂.

Die Aufgabe heißt submodular, wenn alle Funktionen submodular sind.

Beispiele:

Entrauschung mit (yr−y_r0)² oder|yr−y_r0|, manche binäre Segmentierungen usw.

Es gibt auch gemischte polynomiell lösbare Fälle.