Geometrische Assoziation ohne Strukturwissen

be-liebigen Zeitpunkten aus unterschiedlichen Kameras der gleichen bzw. ver-schiedener Aufnahmesequenzen. Hierbei ist angenommen, dass Kamerapo-senschätzungen zu den Kamerabildern gegeben sind, jedoch kein Wissen über die umgebende Struktur vorhanden ist. Dieser Fall deckt eine Vielzahl von möglichen Anwendungen ab und ist in dieser Arbeit insbesondere wichtig für die Assoziation von Merkmalen zwischen Bildern aus verschiedenen Aufnah-mesequenzen im Rahmen der Kartengenerierung.

Zuordnung von Vergleichsbildern

Für die Zuordnung von Vergleichsbildern zu einem KandidatenbildI_c wer-den im ersten Schritt Bilder bestimmt, die in der Nähe des Kandidatenbildes aufgezeichnet wurden. Dazu wird zunächst eine Radiussuche [65] in einem k-d-Baum, der alle Kamerapositionen umfasst, durchgeführt. Eink-d-Baum ist eink-dimensionaler unbalancierter Suchbaum zur Speicherung von Punkten aus demR^k. Er ermöglicht effiziente Gebietsanfragen wie beispielsweise ei-ne Radius- oder Nächste-Nachbarn-Suche. Wie in Abbildung 4.2 dargestellt, ermöglicht die Radiussuche imk-d-Baum (k=2) eine effiziente Bestimmung der Bilderϒnear={I₁, . . . ,I_n}, die innerhalb eines Umkreises mit Radius r um die zuI_c korrespondierende KameraposeC_c aufgezeichnet wurden. Die Suche erstreckt sich dabei über die zweidimensionale Befahrungsebene, die näherungsweise durch die Fahrzeugposen aufgespannt wird.

Darauffolgend wird für jedes BildI_k∈ϒnearder Blickwinkelunterschied

α_c,k=^(C_c,C_k) (4.2)

bestimmt, wobeiC_kdie zuI_kkorrespondierende Kamerapose ist. Istαc,k klei-ner als ein Grenzwert, wird das Bild zur Mengeϒcmpder Vergleichsbilder hin-zugefügt, zwischen denen nachfolgend Merkmale assoziiert werden. Durch diesen Schwellwertvergleich wird sichergestellt, dass sich die zu den Bildern korrespondierenden Sichtkegel hinreichend überlappen. Dies ist in Abbildung 4.2 illustiert.

Suchraumeinschränkung durch Epipolargeometrie

Nach der Bestimmung der Vergleichsbilderϒ_cmpwerden Merkmalsassoziatio-nen zwischen dem KandidatenbildI_cund den Bildernϒ_cmpbestimmt. Da zu jedem Bild Wissen über die korrespondierende Kamerapose gegeben ist, kann

... ...

r

C_c ... ...

Abbildung 4.2:Bestimmung der Vergleichsbilderϒcmpbei der geometrischen Assoziation ohne Strukturwissen. Die Bilderϒnearzu den in Grün und Rot dargestellten Kameras werden durch die Radiussuche bestimmt. Die Bilder der in Rot dargestellten Kameras werden zurückgewiesen, da diese keine ausreichende Sichtkegelüberlappung mit dem Sichtkegel (Blau) des Kandidatenbildes haben.

die KameraposendifferenzD_c,v=C⁻¹_c C_vzwischen der zum Kandidatenbild Ic korrespondierenden KameraposeC_cund der zum VergleichsbildIv∈ϒcmp

korrespondierenden KameraposeC_vbestimmt werden. Auf Basis der Kamera-posendifferenzD_c,vkann der Suchraum im VergleichsbildI_vunter Ausnutzung der Epipolargeometrie [64] beschränkt werden.

Die Suchraumeinschränkung durch Epipolargeometrie bestimmt einen Such-schlauch um die Projektion des Sichtstrahls des Kandidatenmerkmalsm_cins VergleichsbildI_v herum. Im Folgenden wird die Projektion des Sichtstrahls als Epipolarkurve bezeichnet. Da eine allgemeine Projektionsfunktion (3.5) und eine beliebige KameraposendifferenzD_c,vangenommen wird, ist die Epi-polarkurve i. A. gekrümmt. Abbildung 4.3 demonstriert dies beispielhaft an Epipolarkurven von Merkmalen zwischen zwei orthogonal zueinander ausge-richteten Weitwinkelkameras.

Abbildung 4.3:Oben: Epipolarlinien zwischen zwei orthogonal zueinander ausgerichteten Weit-winkelkameras. Unten: Flussvektoren von Korrespondenzen, für die eine Merkmalsassoziation zwischen den beiden Kameras erfolgreich bestimmt werden konnte.

Als Projektionsfunktion (3.5) wurde in diesem Fall eine sphärische Abbil-dungsfunktion [59] verwendet.

Die Umsetzung dieser Suchraumeinschränkung ergibt sich durch geometri-sche Betrachtungen im dreidimensionalen Raum. Zunächst wird einmalig ein Referenznormalenvektorn₀einer Referenzepipolarebene bestimmt. Der Nor-malenvektorn₀=r₀×r_epiergibt sich aus dem Kreuzprodukt eines beliebigen Sichtstrahlsr₀und dem Verbindungsvektorr_epider Epipole. Darauf basierend wird jedem detektierten MerkmalmausI_cundI_vder Winkel

αm=^(n₀,n_m) =arccos( n^T₀n_m

||n₀||||n_m||) (4.3) zwischen dem Referenznormalenvektorn₀und dem Normalenvektorn_m zu-geordnet. Der Normalenvektor n_m ergibt sich dabei aus dem Kreuzprodukt

αmc

α_mv

m_c

mv

r_epi r_mc

r_mv

I_c I_v

Abbildung 4.4:Geometrische Verhältnisse bei der Suchraumeinschränkung durch Epipolargeo-metrie.

des Verbindungsvektorsr_epi und des Sichtstrahlsr_mdes Merkmalsm. Durch dieses Vorgehen ergibt sich für das Kandidatenmerkmalm_c der Winkelα_mc und für ein Vergleichsmerkmalmvder Winkelαmv. Basierend auf diesen Win-keln kann durch einen skalaren Schwellwertvergleich|α_mc−αmv|<αmaxder Differenz der Winkel geprüft werden, ob beide Epipolarebenen eine ähnliche Orientierung im Raum haben. Das ist gleichbedeutend dazu, dassm_vinnerhalb des Suchschlauchs um die Epipolarkurve des Merkmalsαmc im Vergleichs-bildI_vliegt. Abbildung 4.4 stellt dieses Vorgehen schematisch dar. Die graue Ebene stellt die Referenzebene dar, die zum Referenznormalenvektorn₀ kor-respondiert. Die in Rot dargestellte Ebene korrespondiert zum Kandidaten-merkmalm_cund die in Blau dargestellte Ebene zu einem Vergleichsmerkmal m_vausI_v. Die Vergleichsmerkmale sind als farblich hervorgehobene Kreise im VergleichsbildI_v dargestellt. Alle Merkmale innerhalb des in Rot gestrichelt dargestellten Suchschlauchs um die in Rot dargestellte Epipolarkurve in I_v werden durch die epipolargeometrische Suchraumeinschränkung ausgewählt.

Das in Gelb dargestellte Merkmal entspricht der korrekten Korrespondenz zu mc. Die Breite des Suchschlauchs ist proportional zum Schwellwertαmax. Je ungenauer die Schätzung vonD_c,kist, desto größer wirdαmaxgewählt.

Der Vorteil der Verwendung eines Referenznormalenvektorsn₀im Vergleich zu einem direkten Vergleich der Normalenvektorenn_mcundn_mvder beiden zu vergleichenden Merkmalem_cundm_vist, dass die Winkelberechnung in

Glei-Abbildung 4.5:Exemplarische Auswahl von Bildpaarkombinationen, zwischen denen erfolg-reich Merkmale mit der epipolargeometrischen Suchraumeinschränkung bestimmt wurden. Die Bilder entspringen dabei jeweils aus unterschiedlichen Aufnahmesequenzen.

chung (4.3) nur ein einziges Mal pro Merkmal durchgeführt werden muss. Die paarweisen Vergleiche können darauffolgend durch eine einfache Differenz-bildung berechnet werden, wodurch Rechenzeit eingespart wird.

Evaluation

Die beschriebene Suchraumeinschränkung wurde im Rahmen der Arbeit in einem Monte-Carlo Experiment untersucht. Dazu wurden zufällig Kamera-bildpaare gewählt, deren Kameraposen ähnlich zueinander sind. Die abge-bildeten Szenen in diesen Experimenten umfassen innerstädtische Gebiete, Überlandstraßen und Walddurchfahrten aus insgesamt 10 verschiedenen Auf-nahmesequenzen. Das Experiment umfasst Aufnahmesequenzen, die sowohl mit MKS-A als auch mit MKS-B aufgezeichnet wurden (siehe Abschnitt 3.1).

Zu allen Kamerabildern existieren Kameraposen, die mit der in Abschnitt 6 beschriebenen Kartierungsmethode bestimmt wurden. Diese werden als Grundwahrheit bei der Evaluation verwendet. Für die Zuordnung von

Ver-0

Abbildung 4.6:Boxplots des Ausreißeranteils (Links) und der Anzahl erfolgreicher Korrespon-denzen (Rechts) für steigende Schwellwertwinkelαmax.

gleichsbildern wurde eine maximale euklidische Distanz von 5 m und ein maximaler Blickwinkelunterschied von 90^◦verwendet. Abbildung 4.5 zeigt verschiedene Bildpaarungen, zwischen denen Korrespondenzen mit der epi-polargeometrischen Suchraumeinschränkung bestimmt wurden. Alle Bilder wurden mit einem sphärischen Projektionsmodell entzerrt.

In dem Experiment wurden für jedes Kamerabildpaar Korrespondenzen be-stimmt, wobei die Assoziation pro Bildpaar mit verschiedenen Winkelschwell-wertenαmaxdurchgeführt wurde. Die finale Korrespondenz wurde durch den Deskriptorvergleich gemäß Abschnitt 4.2 bestimmt. Zur Entscheidung, ob ei-ne so bestimmte paarweise Korrespondenz korrekt ist, wurde eiei-ne Landmarke auf Basis der Grundwahrheitskameraposen trianguliert und in die Ursprungs-bilder der beiden Merkmale projiziert. Eine Korrespondenz wird als korrekt klassifiziert, wenn der Rückprojektionsfehler in beiden Bildern<2 Pixel ist.

Der Rückprojektionsfehler ergibt sich hierbei durch den Betrag der Differenz der Pixelpositionen des detektierten Merkmals und der Position der Landmar-kenprojektion im Kamerabild. Eine falsch klassifizierte Korrespondenz wird im Folgenden als Ausreißer (engl.outlier) bezeichnet. Abbildung 4.6 zeigt die Ergebnisse dieser Untersuchung. In Abbildung 4.6 ist links der Boxplot des Ausreißeranteils und rechts der Boxplot der Anzahl korrekter Korrespon-denzen für verschiedene Winkelschwellwerteαmaxdargestellt. Die Boxplots umfassen dabei die Ergebnisse aus allen paarweisen Merkmalsassoziationen zwischen zwei verschiedenen Bildern. Für sehr kleine αmax-Schwellwerte sinkt die Anzahl korrekter Korrespondenzen als auch der Anteil falscher

Kor-respondenzen. Für steigendeαmax-Schwellwerte bleibt die Anzahl gefunde-ner Korrespondenzen nahezu konstant, jedoch steigt der Ausreißeranteil an.

Für αmax≈1^◦ ist die Anzahl gefundener Korrespondenzen maximal, wo-bei der Ausreißeranteil kleiner ist als wo-bei größerenαmax-Werten. Zusätzlich steigt die Rechenzeit deutlich an, da aufgrund des breiteren Suchschlauchs mehr Deskriptoren von Vergleichsmerkmalen mit Deskriptoren der Kandida-tenmerkmale verglichen werden. Da eine möglichst hohe Anzahl korrekter Korrespondenzen, ein möglichst geringer Ausreißeranteil und eine möglichst geringe Laufzeit von Vorteil ist, stelltα_max≈1^◦die optimale Wahl in diesem Experiment dar.

Das Experiment zeigt, dass die epipolargeometrische Merkmalsassoziation unter Ausnutzung des geometrischen Vorwissens eine robuste und effiziente Merkmalsassoziation ermöglicht, da bei geeigneter Wahl des Parametersα_max die Anzahl gefundener Korrespondenzen maximal ist und gleichzeitig ein ge-ringerer Ausreißeranteil erzielt wird als bei größerenα_max-Werten. Ein Vorteil dieser Methode ist, dass sie unabhängig vom verwendeten Deskriptor und De-tektor ist – also in einem allgemeinen Sinne supplementär ist.