Fusion von Bildserien in der automatischen Sichtprüfung

Fusion von Bildserien in der automatischen Sichtpr¨ufung

Dr. Michael Heizmann

Fraunhofer IITB Institut f¨ur Informations- und Datenverarbeitung Fraunhoferstraße 1, 76131 Karlsruhe

heizmann@iitb.fraunhofer.de

Abstract: Die Erfassung von Bildserien mit variierten Szenen- oder Aufnahmepara- metern l¨asst sich als Satz von Sensordaten mit unterschiedlichen virtuellen Sensoren auffassen. Ziel einer Sensorfusion solcher Daten ist es, mehr ¨uber die interessierende Szene zu erfahren, als durch eine Einzelaufnahme m¨oglich w¨are. Dieser Beitrag zeigt Beispiele zur Fusion auf unterschiedlichen Ebenen aus dem Umfeld der automatischen Sichtpr¨ufung.

1 Einleitung

Bei vielen Aufgaben der automatischen Sichtpr¨ufung ist es nicht m¨oglich, mit Einzelauf- nahmen die gew¨unschte Szeneninformation zu erlangen. Typische Einschr¨ankungen sind bedingt durch die Eigenschaften des Objekts (Zug¨anglichkeit, Reflexionsverhalten) oder der Kamera (Fokusbereich, Dynamik, Aufl¨osungsverm¨ogen). In solchen F¨allen kann zu Strategien der Sensorfusion gegriffen werden, die man aus der humanen Wahrnehmung kennt: Ein Beobachter ¨andert so lange die Beleuchtung, seine relative Position usw., bis er aus einer Vielzahl von ”Aufnahmen“ die Szene befriedigend erfasst hat.

H¨aufig ist es ausreichend, Bildserien mit demselben ortsfesten Bildsensor zu erfassen, wo- bei die Beleuchtung variiert wird. Es handelt sich dann um virtuelle Sensoren, denen die Eigenschaften kolokiert (die Sensoren bleiben orts- und orientierungsfest relativ zur Sze- ne), homogen (die Sensorprinzipien sind identisch) und passiv zugeordnet werden kann.

Ziel ist, mit einer m¨oglichst geringen Bildanzahl die Szeneninformation in ausreichender Qualit¨at zu erfassen [HB05].

2 Fusionsverfahren in der Sichtpr¨ufung

Die in der automatischen Sichtpr¨ufung gebr¨auchlichen Verfahren der Sensorfusion lassen sich gem¨aß der Fusionsebenen einteilen, siehe Abb. 1 [CY90, Kle04, PB97, Pue02]: Die Fusion kann auf der Ebene der Signale (Datenfusion, Pixel-level fusion), der Merkma- le (Merkmalsfusion, Feature-level fusion) oder auf einer symbolischen Ebene (Entschei- dungsfusion, Decision-level fusion) durchgef¨uhrt werden.

Unterscheidungsmerkmal zwischen diesen Ebenen ist die Abstraktionsstufe, auf der die

Bildserie Merkmals- extraktion

Daten- fusion

Merkmals- fusion

Symbol- fusion Klassi-

fikation Einzelbild-

aufbereitung Bildfusion

Bildsignale

Merkmale

Symbole Fusionsergebnis

Abbildung 1: Fusion von Bildsignalen [Pue02]. Bildserien sind durch Mehrfachstriche, Einzelbilder durch einfache Striche gekennzeichnet.

Fusion stattfindet: Bei der Datenfusion soll aus mehreren Bildern wiederum ein Bild ge- wonnen werden, das sich durch eine h¨ohere Qualit¨at gegen¨uber den Einzelbildern der Serie auszeichnet. Bei der Merkmalsfusion findet die Fusion nach Extraktion relevanter Merk- male statt, um die Qualit¨at der Merkmale zu verbessern. Die Fusion auf symbolischer Ebene schließlich kombiniert die nach Klassifikation der Einzelbilder erhaltenen symbo- lischen Ergebnisse zu einem optimierten Entscheidungsergebnis.

Bei der Fusion von Sensordaten k¨onnen konkurrierende und komplement¨are Verfahren dif- ferenziert werden. Die konkurrierende Fusion zeichnet sich dadurch aus, dass die Einzelsi- gnale in gleicher Weise zum Ergebnis beitragen, z. B. durch punktweise Mittelwertbildung

¨uber alle Bilder der Serie, wenn die Bildinformation ¨uber alle Bilder verteilt vorliegt. Dem- gegen¨uber gewichtet die in diesem Beitrag dargestellte komplement¨are Fusion die Beitr¨age der Einzelbilder zum Resultat anhand geeigneter Merkmale. Sie hat dann Vorteile, wenn die Nutzinformation zumindest lokal Einzelbildern zugeordnet werden kann und aus dem optimalen Bild in das Ergebnis m¨oglichst unver¨andert ¨ubernommen werden soll.

2.1 Datenfusion zur Bildverbesserung

Im ersten Beispiel besteht die Aufgabe darin, von einer metallisch reflektierenden Ober- fl¨ache mit gekr¨ummten Riefen ein Bild mit ¨uberall hohem Kontrast zu erhalten [HP01, Pue02]. Da aufgrund der metallischen Reflexion nicht alle Riefen zugleich kontrastreich abgebildet werden k¨onnen, kann dazu nur ein synthetisches Bild erzeugt werden, z. B. aus einer Bildserie mit azimutal variierter Punktbeleuchtung, siehe Abb. 2. Es handelt sich demnach um eine Datenfusion, die sich auf das Merkmal Kontrast st¨utzt.

Zur L¨osung der Aufgabe wird in jedem Bild der Serie ein lokales G¨utekriterium f¨ur den Kontrast bestimmt. F¨ur jeden Ort des Bildes kann dann dasjenige Bild identifiziert werden, bei dem das G¨utekriterium maximiert wird und mit dem zugeh¨origen Beleuchtungsazimut ϕ(x)in die Beleuchtungskarteϕ(x)˜ eingetragen werden. Eine Nachbearbeitung durch ein

Beleuchtungs- seried(x;ϕi)

Fusion Glättung arg max

lokales Kriterium

Beleuchtungs-

karteϕ(x) geglättete Karteϕ(x)˜

Fusion- ergebnis lokaler

Kontrast

Abbildung 2: Datenfusion zur Bildverbesserung

zirkul¨ares Tiefpassfilter sorgt f¨ur glatte ¨Uberg¨ange in der Beleuchtungskarte, die dann als eine Art Bauplan f¨ur das Fusionsergebnis dient.

2.2 Merkmalsfusion zur Inspektion von Riefenstrukturen

Im zweiten Beispiel soll die Riefenstruktur einer Dichtfl¨ache auf Defekte untersucht wer- den, [XHKS04, Hei04a]. Auch hier sind nicht alle Bereiche der Dichtfl¨ache gleichzeitig mit gutem Kontrast zu erkennen. Ein L¨osungsansatz besteht darin, aus einer Bildserie mit variiertem Beleuchtungsazimut f¨ur jeden Bildpunkt den Verlauf der reflektierten Intensit¨at als ¨uber die Serie verteiltes Merkmal auszuwerten, siehe Abb. 3. Diese Methodik kann als datengest¨utzte Merkmalsfusion aufgefasst werden.

Die Implementierung bestimmt zun¨achst f¨ur jeden Bildpunkt die Fouriertransformierte bzgl. des Beleuchtungsazimutsϕ, die wiederum eine Bildserie f¨ur die Frequenzf_ϕdar- stellt. Im Frequenzbereich weisen Riefenpunkte Betragsmaxima f¨ur die zweite Harmo- nischef_ϕ = 2auf, da bei genau zwei gegen¨uberliegenden Beleuchtungsazimuten Licht von den Riefenflanken in die Kamera gespiegelt werden. Daraus l¨asst sich ein robustes Merkmal ableiten, aus dem in einer abschließenden Klassifikation Defektbereiche (weiß markiert) und der intakte Riefenbereich (grau markiert) erhalten werden.

2.3 Entscheidungsfusion zur Klassifikation von 3D-Strukturen

Die Aufgabe im letzten Beispiel besteht darin, eine Riefenstruktur aus einer weitgehend isotropen Hintergrundtextur zu segmentieren [Hei04a, Hei04b]. Weil die Riefenstruktur nicht bei beliebiger Punktbeleuchtung sichtbar ist, wird erneut eine azimutale Beleuch- tungsserie erfasst. Im Riefenbereich weist der Verlauf des lokalen Kontrasts charakteristi-

Beleuchtungs- seried(x;ϕi)

Merkmals-

extraktion Klassi-

fikation punktweise

Fouriertransf.

F{d(ϕ;x)}

F-Transformierte

hier:Dϕ(fϕ= 2;x) MerkmalM(x) = f Dϕ(fϕ= 2;x)

Fusion- ergebnis

Abbildung 3: Merkmalsfusion zur Inspektion von Riefenstrukturen

sche Maxima auf, die mittels zweier Merkmale klassifiziert und zu einer Segmentierungs- maske fusioniert werden. Dieses Strategie ist somit eine Fusion auf symbolischer Ebene.

Zur L¨osung wird zun¨achst in jedem Bild der lokale Kontrast in geeignet gew¨ahlten Umge- bungen bestimmt und in den Fourierbereich bzgl. des Beleuchtungsazimuts transformiert.

¨Ahnlich wie im letzten Beispiel dient die zweite Harmonische zur Formulierung zweier Merkmale f¨ur das lokale Vorliegen von Riefen: Mit der Phase der zweiten Harmonischen kann der lokale Riefenwinkel gesch¨atzt werden, ihr Betrag ist ein Maß f¨ur die Riefen- auspr¨agung. Damit werden nach Klassifikation zwei Segmentierungsmasken auf symboli- scher Ebene erhalten, welche das Segmentierungsergebnis durch Konjunktion ergeben.

3 Zusammenfassung

In diesem Beitrag werden Verfahren der Sensorfusion f¨ur die automatische Sichtpr¨ufung dargestellt. Die Fusion kann dabei zur Bildverbesserung eingesetzt werden (Datenfusion), der Gewinnung aussagekr¨aftiger Merkmale dienen (Merkmalsfusion) oder bei der Klas- sifikation eingesetzt werden (Entscheidungsfusion). Durch Kombination von Bildern mit variierten Aufnahmebedingungen lassen sich so Ergebnisse auf unterschiedlichem Ab- straktionsniveau qualitativ verbessern und robuster machen. Die hier vorgestellten Fusi- onsverfahren f¨ur Bildserien mit variierter Beleuchtung haben f¨ur die Praxis die wichtigen Vorteile, dass die Bildaufnahme mit mehreren Beleuchtungsquellen sehr schnell erfolgen und auf eine Ausrichtung der Bilder verzichtet werden kann.

Literatur

[CY90] James J. Clark und Alan L. Yuille. Data Fusion for Sensory Information Processing Systems. Kluwer Academic Publishers, Boston, 1990.

[HB05] Michael Heizmann und J¨urgen Beyerer. Sampling the Parameter Domain of Image

Beleuchtungs- seried(x;ϕi)

Klassi- fikation lokales

Kriterium

punktweise Fouriertransf.

F{var(ϕ;x)}

lokaler Kontrast var(x;ϕ)

Schätzung Riefenwinkel

Schätzung Riefendominanz

Klassi- fikation Fusion

Ergebnis Riefenwinkel

Riefendominanz

Abbildung 4: Entscheidungsfusion zur Segmentierung von Riefenstrukturen

Series. In Edward R. Dougherty, Jaakko T. Astola und Karen O. Egiazarian, Hrsg., Image Processing: Algorithms and Systems IV, Bd. 5672, S. 23–33. SPIE, 2005.

[Hei04a] Michael Heizmann. Auswertung von forensischen Riefenspuren mittels automatischer Sichtpr¨ufung. Dissertation, Universit¨at Karlsruhe (TH), Karlsruhe, 2004.

[Hei04b] Michael Heizmann. Segmentation of Striation Patterns Using Illumination Series. In T. Pfeifer und R. Tutsch, Hrsg., Photonics in Measurement, Bd. 1844, S. 461–470. VDI, 2004.

[HP01] Michael Heizmann und Fernando Puente Le´on. Model-based analysis of striation pat- terns in forensic science. In Simon K. Bramble, Edward M. Carapezza und Leonid I.

Rudin, Hrsg., Enabling Technologies for Law Enforcement and Security, Bd. 4232, S.

533–544. SPIE, 2001.

[Kle04] Lawrence A. Klein. Sensor and Data Fusion : A Tool for Information Assessment and Decision Making. SPIE Press, Bellingham (WA), 2004.

[PB97] Fernando Puente Le´on und J¨urgen Beyerer. Datenfusion zur Gewinnung hochwertiger Bilder in der automatischen Sichtpr¨ufung. Automatisierungstechnik, 45(10), S. 480–

489, 1997.

[Pue02] Fernando Puente Le´on. Komplement¨are Bildfusion zur Inspektion technischer Ober- fl¨achen. Technisches Messen, 69(4), S. 161–168, 2002.

[XHKS04] Binjian Xin, Michael Heizmann, S¨oren Kammel und Christoph Stiller. Bildfolgenaus- wertung zur Inspektion geschliffener Oberfl¨achen. Technisches Messen, 71(4), S. 218–

226, 2004.