Entwicklung eines Softwaremoduls zur Mosaikbilderzeugung aus umfangreichen Bildserien

PROJEKTARBEIT II für die Prüfung zum

Bachelor of Science

des Studienganges Angewandte Informatik an der

Dualen Hochschule Baden-Württemberg Karlsruhe von

Robert Illner 16.09.2013

Bearbeitungszeitraum: 11 Wochen

Matrikelnummer: 8582612

Kurs: TINF11B2

Ausbildungseinrichtung: Institut für Angewandte Informatik, Karlsruher Institut für Technologie, Karlsruhe

Betreuer: Dr.-Ing. Bernd Köhler

Ich erkläre hiermit, dass ich die vorliegende Arbeit selbstständig und ohne Benutzung anderer als der angegebenen Hilfsmittel angefertigt habe. Aus den benutzten Quellen direkt oder indirekt übernommene Gedanken habe ich als solche kenntlich gemacht.

Diese Arbeit wurde bisher in gleicher oder ähnlicher Form oder auszugsweise noch keiner anderen Prüfungsbehörde vorgelegt und auch nicht veröentlicht.

Ort, Datum Unterschrift

Inhaltsverzeichnis

Abkürzungsverzeichnis 4

1 Einleitung 5

2 Mosaikbilderzeugung im DIPLOM-System 7

2.1 Aufnahmen des sub-basalen Nervenplexus . . . 7

2.2 CLSM-Aufnahmeverfahren . . . 10

2.3 Grenzen der bisher verwendeten Strategien . . . 12

3 Die neue erweiterte Strategie 14 3.1 Graphentheoretische Abbildung des Problems . . . 14

3.2 Verschiedene Ansätze . . . 15

3.2.1 Algorithmen für ungerichtete ungewichtete Graphen . . . 15

3.2.2 Zusätzliche Registrierungen durch Sektor-Auswahl . . . 17

4 Implementierung 19

5 Ergebnisse 22

6 Zusammenfassung und Ausblick 25

A Algorithmen APD, APSP, BPWM 26

Abbildungsverzeichnis 28

Literaturverzeichnis 29

Abkürzungsverzeichnis

IAI Institut für Angewandte Informatik KIT Karlsruher Institut für Technologie HRT II Heidelberg Retina Tomograph

CLSM konfokales Laser-Scanning-Mikroskop

RCM Rostock Cornea Module

DIPLOM Digital Image Processing Library for Microstructures

SNP Sub-basaler Nervenplexus

OVS Oscillating Volume Scan

APD All Pairs Distances

BPWM Boolean Product Witness Matrix

APSP All Pairs Shortest Paths

1 Einleitung

Am Institut für Angewandte Informatik (IAI) des Karlsruher Instituts für Technologie (KIT) untersucht eine Bildverarbeitungsgruppe in Zusammenarbeit mit der Universitäts- augenklinik Rostock Aufnahmen der Augenhornhaut (Kornea). Ziel der Forschung und Arbeit auf diesem Themengebiet ist die Entwicklung und Etablierung neuer Diagnosemög- lichkeiten für verschiedene Krankheiten auf Basis einer morphometrischen Charakterisie- rung von Nervenfasern der Kornea.

Zur Bildgewinnung werden der Heidelberg Retina Tomograph (HRT II) - ein konfokales Laser-Scanning-Mikroskop (CLSM) [1] - und der speziell dafür entwickelte Objektivaufsatz Rostock Cornea Module (RCM) eingesetzt [2]. Eine Einschränkung dieses bildgebenden Verfahrens besteht jedoch in dem verhältnismäÿig kleinen Bildfeld von 400 ×400 µm². Da die Nervenfasern teilweise sehr inhomogen über der Fläche der Kornea verteilt sind, reichen Einzelbilder nicht aus, um aussagekräftige morphometrische Kennzahlen erstellen zu können. Es müssen daher Bildserien aufgenommen werden, um ein Mosaikbild erzeu- gen zu können.

Mit einem neuen Aufnahmeverfahren beschäftigt sich das Projekt EyeGuidance. Dabei soll während das CLSM auf das eine Auge ausgerichtet ist, die Blickrichtung des Proban- den mit Hilfe einer rechnergesteuerten Fixationsmarke vor dem kontralateralen Auge so geführt werden, dass eine möglichst groÿe Fläche der Kornea erfasst werden kann. Durch dieses Verfahren liegt anschlieÿend eine gröÿere Anzahl Bilder vor, die es zu verarbeiten gilt.

Diese Bilder werden mit der am IAI entwickelten Digital Image Processing Library for Mi- crostructures (DIPLOM) weiterverarbeitet. Das Bildverarbeitungssystem DIPLOM stellt dafür Module speziell für die Nervenfaserbilder zur Verfügung. Mit dem System können sowohl Bildstapel (Aufnahmen mit unterschiedlicher Fokustiefe), als auch 2D-Sequenzen (Bilder einer Ebene) verarbeitet werden. Bevor aus den akquirierten Bildern ein Mosaik- bild rekonstruiert werden kann, muss der Versatz zwischen den einzelnen Bildern mittels einer Bildregistrierung bestimmt werden. Um eine Entscheidung zu treen, welches Bild wann mit welchem registriert wird, werden verschiedene Strategien eingesetzt, welche ebenfalls im DIPLOM-System implementiert sind. Inzwischen liegen Bildserien von meh- reren tausend Bildern vor, aus denen ein Mosaikbild erstellt werden soll. Jedoch ist keine

der verfügbaren Strategien in der Lage, die zu registrierenden Bildpaare so auszuwählen, dass nicht zu viele Registrierungen durchgeführt werden müssen (Laufzeit- und Speicher- probleme) und trotzdem ein Mosaikbild von guter Qualität entstehen kann. Daher ist es notwendig eine neue, den Anforderungen angepasste Strategie zu entwickeln.

In Kapitel 2 wird näher auf die Nervenfasern der Kornea eingegangen, sowie der gene- relle Bildverarbeitungsprozess erläutert. Darüber hinaus wird das bisherige Verfahren zur Bildakquisition und die neue Methode mit der Blicksteuerung beschrieben. Schlieÿlich wird nach der Vorstellung der bisherigen Strategien die Notwendigkeit einer neuen Stra- tegie aufgezeigt. Kapitel 3 bespricht die verschiedenen Ansätze zur Lösung des Problems, mit Hilfe der Graphentheorie. Die Implementierung sowie die Integration ins DIPLOM- System werden in Kapitel 4 erläutert. Nach Präsentation der Ergebnisse in Kapitel 5 wird diese Arbeit letztendlich zusammengefasst und ein kurzer Ausblick gegeben.

2 Mosaikbilderzeugung im DIPLOM-System

Der erste Teil des Kapitels behandelt den Aufbau der Kornea, sowie den Verarbeitungspro- zess der Bilder [3]. Anschlieÿend werden die beiden Verfahren zur Bildakquisition beschrie- ben. Der dritte Teil behandelt die bisher implementierten Strategien zur Bildregistrierung und zeigt die Notwendigkeit nach einer neuen Strategie für groÿe Bildserien auf.

2.1 Aufnahmen des sub-basalen Nervenplexus

Der sogenannte sub-basale Nervenplexus (SNP) ist eine Gewebeschicht der Kornea, in der sich die Nervenfasern benden. Der SNP ist wiederum von der Epithelschicht und dem Stroma umgeben. Wie in Abbildung 2.1 dargestellt, ist die Dicke des SNP im Vergleich zu den anderen beiden Schichten äuÿerst gering. Mit Hilfe der Lichtmikroskopie ist es aufgrund der Transparenz der Kornea möglich, Aufnahmen der Nervenfasern zu erstellen.

Da der SNP eine nahezu zweidimensionale, parallel zur Oberäche der Kornea liegende Ebene darstellt, ist die Konfokalmikroskopie ideal als bildgebendes Verfahren geeignet.

Abbildung 2.1: Gröÿenverhältnisse zwischen Epithel (grün), SNP (rot) und Stroma(blau)

Das CLSM ist in der Lage, sowohl 2D- als auch 3D-Serien zu erstellen. Als 2D-Serien können zum einen Einzelbilder aufgenommen werden, wobei das Objektiv für jedes wei- tere Bild neu positioniert wird. Zum anderen ist es möglich 2D-Sequenzen zu erstellen, indem das CLSM während der Aufnahme in X- und Y-Richtung bewegt wird. Nach der Aufnahme können 2D-Serien mit Hilfe des DIPLOM-Systems registriert und anschlieÿend ein Mosaikbild erstellt werden. Abbildung 2.2 zeigt ein aus einer 2D-Sequenz erzeugtes Mosaikbild und veranschaulicht das Gröÿenverhältnis zu einem Einzelbild.

Abbildung 2.2: Mosaikbild einer 2D-Sequenz: rot markiertes Einzelbild

Unter Umständen kann es jedoch vorkommen, dass beispielsweise durch Druck auf das Auge während des Aufnahmeprozesses faltenartige Verformungen (Abbildung 2.3) der ein- zelnen Gewebeschichten auftreten. Deshalb werden Aufnahmen verschiedener Fokustiefe (3D) erstellt.

Abbildung 2.3: Faltenartige Verformungen der Schichten

Für 3D-Serien stellt das HRT zwei verschiedene Aufnahme-Modi zur Verfügung. Der Mo- dus Volume Scan nimmt dabei einen Bildstapel durch Erhöhung oder Verringerung der Fokustiefe auf. Beim Oscillating Volume Scan (OVS) pendelt die Fokusebene kontinu- ierlich zwischen dem Epithel und dem Stroma durch den SNP. Dabei ist es möglich, die Position des Objektives mit den Stellschrauben zu ändern. Beim OVS-Modus werden folg- lich mehrere Bildstapel erfasst.

Der gesamte Verarbeitungsprozess der Bilder (systematisch in Abbildung 2.4 dargestellt) besteht aus mehreren Arbeitsschritten. Bei der Erstellung einer Fokusserie wird das erste Bild kurz vor dem höchsten Punkt der Falten aufgenommen, das letzte kurz nach Ende des SNP. Die Bilder werden im Abstand von 0,5 µmaufgenommen, sodass praktisch alle Ebenen erfasst werden, in denen Teile von Nervenfasern enthalten sind (siehe 1. in Abbil- dung 2.4).

Aufgrund unvermeidlicher Augenbewegungen müssen die einzelnen Bilder des Stapels noch durch eine elastische Bildregistrierung korrigiert werden (siehe 2. in Abbildung 2.4).

Nach dieser Bewegungskorrektur wird der Stapel zu einem Volumen rekonstruiert. Mit Hilfe der Schnittbilder des Volumens kann der Verlauf der Nervenfasern entlang der Z- Koordinate festgestellt und damit eine Tiefenkarte erstellt werden. Daraus lässt sich ein SNP-Bild erzeugen, welches die dreidimensional verlaufenden Nervenfasern durch eine Art Projektion in einer zweidimensionalen Bildebene darstellt (siehe 3. in Abbildung 2.4).

Abbildung 2.4: Verarbeitungsprozess der aufgenommenen Bilder

Die gesamte Augenhornhaut erstreckt sich über eine Fläche von>100mm². Aufgrund der unregelmäÿigen Verteilung der Nervenfasern auf der Hornhaut reicht deshalb ein einzelnes SNP-Bild für eine Diagnose nicht aus. Nach einem am IAI verwendeten Ansatz werden daher mehrere Fokusserien versetzt aufgenommen und bewegungskorrigiert, um durch ein Mosaik aus rekonstruierten SNP-Bildern eine gröÿere Fläche einbeziehen zu können. Für die Registrierung dieser rekonstruierten SNP-Bilder kann beispielsweise das hierarchisch blockbasierte Verfahren verwendet werden [3].

2.2 CLSM-Aufnahmeverfahren

Bei der bisherigen Methode wird für Aufnahmen nach und nach das am CLSM ange- brachte Immersionsobjektiv durch einen Augenarzt manuell über Stellschrauben in X- und Y-Richtung ausrichtet, um so eine möglichst groÿe Fläche der Kornea aufnehmen zu können.

Für das neue, rechnergesteuerte Verfahren wird das Immersionsobjektiv auf das eine Auge aufgesetzt und vor dem anderen ein Display positioniert. Während das Auge unter dem Display einer rechnergesteuerten Fixationsmarke folgt, nimmt das am Rechner angeschlos- sene Mikroskop Bilder vom sich synchron mitbewegenden anderen Auge auf. Diese Bilder werden schlieÿlich auf dem Computer abgespeichert. Abbildung 2.5 zeigt das CLSM und das vor dem anderen Auge montierte Display zur Blick-Steuerung.

Abbildung 2.5: auf dem Auge auiegendes CLSM (links) und montiertes Display (rechts) Bei einer Machbarkeitsstudie wurde die Realisierbarkeit der Verwendung von Fixations- marken getestet [4]. Das Ergebnis dieser Studie hat bestätigt, dass das Eye-Guidance- Verfahren grundlegend für das Erstellen von CLSM-Aufnahmen geeignet ist. Es wurde gezeigt, dass der Bereich, der so mit dem Mikroskop aufgenommen werden kann, groÿ genug ist um damit ein Mosaikbild zu erstellen. Im Rahmen ausgiebiger Tests wurden verschiedene Bahnen der Fixationsmarke, sowie Gröÿe und Geschwindigkeit der Marke auf ihre Eignung untersucht. Dabei zeigte sich, dass eine spiral-förmige Laufbahn besser geeignet ist als beispielsweise eine mäander-förmige Laufbahn mit eckigen, schlagartigen

Richtungswechseln. Dies lässt sich damit begründen, dass das menschliche Auge dem sanften, vorhersehbaren und kontinuierlichen Verlauf der Marke leichter folgen kann, als plötzlichen Richtungswechseln. Auÿerdem darf die Fixationsmarken-Geschwindigkeit we- der zu hoch, noch zu niedrig gewählt werden, da das Auge des Probanden bei zu hoher Markengeschwindigkeit versucht, die verpassten Markenpositionen aufzuholen, oder bei zu langsamer Geschwindigkeit sich eine Art Unterforderung einstellen kann. Diese Unter- forderung hat durch mangelnde Konzentration eine ungenauere Bahnverfolgung durch den Probanden zur Folge. Eine langsame, sich allmählich steigernde Anfangsgeschwindigkeit ist für den Probanden angenehmer und leichter zu verfolgen, als eine abrupt startende Marke. Derzeit werden bezüglich der Geschwindigkeit, sowie dem Windungsabstand der Spirale noch Untersuchungen durchgeführt.

Abbildung 2.6 veranschaulicht das Prinzip einer Aufnahme unter Verwendung einer spiral- förmigen Markenlaufbahn. Es ist zu erkennen, dass die hier rot dargestellten Bilder sich in der Regel alle sowohl mit ihrem Vorgänger- und Nachfolgerbild als auch mit Bildern der benachbarten Spiralwindungen überlappen (dunkler dargestellt). In der Praxis wer- den etwa 30 Bilder pro Sekunde aufgenommen, sodass sich mehrere aufeinanderfolgende Bilder überlappen sollten. Der Grad der Überlappung hängt von der Markengeschwin- digkeit, der Genauigkeit der Verfolgung durch den Probanden (Compliance), sowie dem Windungsabstand ab. Ist der Aufnahmeprozess abgeschlossen, muss der Versatz zwischen den erzeugten Bildern bestimmt werden. Erst nach der Registrierung ist die Erstellung eines Mosaikbildes möglich.

(a) (b) (c)

Abbildung 2.6: Aufnahmeprinzip bei spiral-förmiger Markenlaufbahn: Aufgenommene Bilder nach einer (a), zwei (b) und drei (c) Spiralwindungen

2.3 Grenzen der bisher verwendeten Strategien

Um eine Entscheidung zu treen, welches Bildpaar i, j der Bildserie als nächstes mit- einander registriert werden soll, wird nach verschiedenen Strategien vorgegangen, welche diese Entscheidung nach unterschiedlichen Kriterien treen. Derzeit gibt es insgesamt fünf Strategien, welche im Laufe der Zeit entworfen und implementiert wurden. Die Strategien Vorwärts, Rückwärts und eine Kombination dieser beiden wurden bereits in der Arbeit Optimierung der Strategien zur Erzeugung von Mosaikbildern [5] erläutert. Diese liefern allerdings alle keine redundanten Registrierungen. Je nach Anwendungsfall und Anzahl von zu registrierenden Bildern kommt eine andere Strategie zum Einsatz. Beispielsweise eignet sich zur Registrierung von Bildstapeln die Vor-Rückwärtsstrategie oder die so ge- nannte Fenster-Strategie mit einer Fenstergröÿe von 3.

Die Fenster-Strategie registriert unter Beachtung des Parameters w für die Fenstergröÿe jedes Bild mit den vorigen w Bildern und den folgenden w Bildern. In Abhängigkeit des Parameters w und Bildanzahln werden demnach bei dieser Strategie

(n−w)·w+

w−1

X

i=1

i (2.1)

Registrierungen durchgeführt. Bei einer Fenstergröÿe von 3 würde beispielsweise Bild 5 mit den Bildern 4, 3, 2 sowie 6, 7 und 8 registriert werden. Hat diese Serie 3000 Bilder, so entspricht dies einem Aufwand von 8994 durchzuführenden Registrierungen. Da nach Feststellung der Bildanzahl und der Fenstergröÿe eindeutig ist welche Bildpaare registriert werden sollen, ist dieser Prozess parallel implementiert, wodurch diese Aufgabe relativ schnell erledigt werden kann.

Eine weitere Strategie ist die Komplett-Strategie, bei der jedes Bild mit jedem anderen registriert wird. Bei einer Anzahl von n Bildern werden folglich

n²−n

2 (2.2)

Registrierungen durchgeführt. Die Komplett-Strategie liefert in jedem Fall das bestmög- liche Ergebnis, da das Gleichungssystem, dessen Lösung die letztendlichen Bildpositionen angibt maximal redundant ist. Durch diese maximale Redundanz gelingt es, die auf- summierten Fehler von Registrierergebnissen zu minimieren. Angenommen die Marken- laufbahn wäre kreisförmig und jedes aufgenommene Bild würde nur mit dem jeweiligen Nachfolger-Bild registriert werden (Vorwärts-Strategie), so würden sich die eigentlich zu vernachlässigenden Fehler in den berechneten Versatz-Werten nach und nach aufsummie- ren (Abbildung 2.7).

10 2 1 3 4 5 6

7

8 9 1112 1314

15 1617 18 2019 2221

...

deutlich sichtbarer Fehler!!

Abbildung 2.7: Entstehung deutlich sichtbarer Fehler im Versatz bei Vorwärts-Strategie Würde danach ein Mosaikbild erstellt werden, wäre ein deutlicher Fehler zwischen dem ersten und letzten Bild zu erkennen. Das Beispiel verdeutlicht, dass ein gewisses Maÿ an Redundanz notwendig ist, um Fehler möglichst gering zu halten. Dieser Eekt tritt ebenso bei der Fenster-Strategie, als auch bei allen anderen Strategien auf. Allerdings wird dieser am besten durch die Komplett-Strategie kompensiert.

Die Registrierung von zwei Bildern ist ein extrem aufwendiger Vorgang und je mehr Re- gistrierungen durchgeführt werden, umso länger dauert der Gesamtprozess. Somit ist klar, dass die Komplett-Strategie mit zunehmender Anzahl von Bildern schnell an ihre Grenzen kommt. Erfahrungsgemäÿ ist diese Strategie für Serien mit etwa 400 Bildern nicht mehr realistisch anwendbar, da bei dieser Anzahl bereits 79800 Registrierungen durchgeführt werden würden, obwohl die meisten Bildpaare sich nicht überlappen. Dieser Aufwand ist mit den heute verfügbaren Ressourcen nicht in akzeptablen Zeit zu bewältigen. Jedoch sollen künftig Serien mit bis zu 5000 Bildern verarbeitet werden. Aus diesem Grund ist es notwendig, eine neue Strategie zu entwickeln, um den Anforderungen gerecht zu werden.

Es muss eine Möglichkeit gefunden werden mit den verfügbaren Ressourcen einen ausrei- chenden Grad an Redundanz zu schaen, um den Fehler möglichst gering zu halten. Dies bedeutet, dass die Strategie nach einem bestimmten Vorgehen entscheiden muss, welche Registrierungen zusätzlich zu einem Anfangsdurchlauf durchgeführt werden sollen.

3 Die neue erweiterte Strategie

Dieses Kapitel führt zunächst das vorhandene Problem der Bilder und Registrierungen in ein graphentheoretisches Problem über. Es beschreibt zwei verschiedene Ansätze, welche im Rahmen dieser Arbeit auf ihre Eignung untersucht beziehungsweise entwickelt wurden.

Beide Verfahren haben das Ziel zusätzliche Bildpaare zur Registrierung auszuwählen.

Dabei werden die Vor- und Nachteile des jeweiligen Ansatzes dargestellt.

3.1 Graphentheoretische Abbildung des Problems

Um das Problem der Bilder und Registrierungen besser veranschaulichen zu können und die Thematik verständlicher zu vermitteln, wird dieses als Problem der Graphentheorie formuliert. Oft sind Aufgaben der verschiedensten Art mit graphentheoretischen Mitteln leicht zu lösen. Dazu werden von nun an Bilder auch als Knoten und erfolgreich durchge- führte Registrierungen als Kanten dargestellt. Dieses Problem wird in einen ungewichteten (keine Kante kann als geeigneter angesehen werden) und ungerichteten (i→j entspricht j →i) Graphen transformiert, da alle Registrierungen gleich wichtig sind und der Versatz zwischen den Bildern i und j gleich dem Versatz zwischen j und i ist. Sind demnach die Knoten i und j mit einer Kante verbunden, so wurde die Registrierung der Bilder i und j durchgeführt und der Versatz zwischen den Bildern ist folglich bekannt. Abbildung 3.1 zeigt einen Graphen, der die Registrierungen von sechs Bildern mit der Komplett-Strategie veranschaulicht. In diesem Fall wurden alle Registrierungen erfolgreich durchgeführt.

0 1 2 3 4 5

Abbildung 3.1: Graph für Komplett-Strategie: Bildindizes als Knoten, Registrierungen als Kanten

Redundante Registrierergebnisse bedeuten graphentheoretisch, dass Registrierungen i↔ j über mehrere Wege (Folge von mit Kanten verbundenen Knoten) erreicht werden kön- nen. Beispielsweise kann der Versatz zwischen Bild 1 und 5 nicht nur über die direkte Registrierung 1↔5 bestimmt werden, sondern auch über die aufsummierten Ergebnisse der Registrierungen 1↔2 und 2↔5.

3.2 Verschiedene Ansätze

Die hier vorgestellten Algorithmen verfolgen beide das Ziel, zusätzlich zu einem grundle- genden Registrierdurchlauf mit wenigen redundanten Registrierungen weitere Bildpaare zu registrieren, damit der Eekt der bereits beschriebenen Aufsummierung der Fehler ver- ringert wird. Graphentheoretisch gesehen ist die Wahrscheinlichkeit eines gröÿeren Fehlers des Versatzesi↔j höher, je länger der Weg zwischen diesen Knoten ist, beziehungsweise je mehr Kanten zwischen diesen liegen. Das bedeutet, je mehr Versatzwerte aufsummiert werden müssen, um den Versatz voni↔j zu bestimmen, umso höher ist die Wahrschein- lichkeit eines gröÿeren Fehlers in diesem Versatz. Um diesen Fehler zu verringern, müssen daher die Wege zwischen den Knoteniundj verkürzt werden. Das heiÿt es ist notwendig, die Anzahl der Versatzwerte die zur Versatzbestimmung von i ↔j aufsummiert werden müssen, zu verringern. Dazu müssen zusätzliche Registrierungeni↔k durchgeführt wer- den.

Der erste Ansatz basiert auf dem so genannten Kürzeste Wege Problem der Graphen- theorie, wobei es grundsätzlich um die Fragestellung geht, welcher Weg der schnellste von Knoten A nach Knoten B ist. Das zweite, selbst entwickelte Verfahren nutzt eine ähnliche Idee wie der erste Ansatz, jedoch geht dieses Verfahren intuitiver vor und terminiert für groÿe Bildserien schneller.

3.2.1 Algorithmen für ungerichtete ungewichtete Graphen

Da es sich bei der Darstellung von Bildregistrierungen um einen ungewichteten und un- gerichteten Graphen handelt, kann man in diesem Falle beim Kürzeste Wege Problem auch nach dem Weg von i nachj mit den wenigsten Kanten fragen. Um dieses Problem zu lösen, können die in der Graphentheorie bekannten Algorithmen All Pairs Distan- ces (APD), Boolean Product Witness Matrix (BPWM) und All Pairs Shortest Paths (APSP) genutzt werden [6]. Diese Algorithmen sind im Anhang in Form von Pseudo-Code aufgeführt.

Nach einem grundlegenden Registrierdurchlauf mit verhältnismäÿig wenigen Registrierun- gen (z.B. Fenster-Strategie mit Fenstergröÿe 10), werden die bisher erfolgreich durchge- führten Registrierungen in eine Adjazenzmatrix eingetragen. Eine n × n Matrix A heiÿt

Adjazenzmatrix, falls A_ij =A_ji = 1 für alle Kanten i↔j, ansonsten 0 gilt. Wurde zum Beispiel Bild 8 mit Bild 12 registriert, so wird in der Adjazenzmatrix sowohl in Zeile 8 Spalte 12, als auch in Zeile 12 Spalte 8 eine 1 eingetragen.

Nun berechnet der APD-Algorithmus mit Hilfe der Adjazenzmatrix die Anzahl der Kanten (Distanzen) zwischen allen Knotenpaaren und speichert diese in dern×n-Distanzmatrix.

Es wird also zu jedem Bildpaar angegeben, über wie viele Registrierungen deren Versatz zueinander bestimmt ist. Anschlieÿend werden durch APSP die kürzesten Wege an sich bestimmt. Das heiÿt APSP liefert die Information, welche genaue Knotenfolge durchlau- fen werden muss, um von Knoten i nach Knoten j zu gelangen, beziehungsweise wel- che expliziten Versatzwerte aufsummiert werden müssen. Die Laufzeit für APD beträgt O(M(n)log(n)), wobeiM(n)die Zeit ist, die für die Multiplikation zweiern×n-Matrizen mit kleinen Zahlen aus N nötig ist. Diese Zeit ist momentan mit etwaO(n^2,376) bekannt.

Beim randomisierten Algorithmus APSP wird eine sogenannte n × n-Successor-Matrix (Nachfolgermatrix) berechnet, die als Einträge für ein Knotenpaar(i, j)den ersten Nach- folgerk voniauf diesem kürzesten Weg enthält. Wird zum Beispiel der Versatz von5↔9 über (5↔ 7) + (7 ↔ 8) + (8 ↔ 9) bestimmt, so erhält das Feld in Zeile 5 Spalte 9 der Nachfolgermatrix den Wert 7. Durch rückwärtiges Verfolgen dieser k können die Wege leicht ermittelt werden. Zur Berechnung dieses Algorithmus APSP wird der zusätzliche Algorithmus BPWM benötigt, der die oben genannten Nachfolger für alle Wege bestimmt und in einer sogenanntenn ×n-Witness-Matrix (Zeugenmatrix) ausgibt. Mit Hilfe dieser drei Algorithmen ist es nun möglich, nicht nur die kürzeste Distanz zwischen zwei Knoten zu bestimmen, sondern auch den Weg an sich mit allen Knoten darauf.

Dieses Wissen kann nun genutzt werden, um zusätzliche Bildpaare zur Registrierung aus- zuwählen. Dazu wird das Bildpaar mit dem gröÿten Wert in der durch APD berechneten Distanzmatrix registriert, wenn der durch den kürzesten Weg aufsummierte Versatz zwi- schen den zwei Bildern nicht gröÿer als Bildbreite oder Bildhöhe ist. Anschlieÿend ndet eine Aktualisierung der Adjazenzmatrix statt und die Matrizen werden durch APD, APSP und BPWM neu berechnet. Dieser Vorgang wird so lange wiederholt, bis die Distanzma- trix keine Werte mehr über einem festgelegten Schwellwert besitzt. Durch dieses Verfahren wird der maximale Fehler am besten verringert.

Tests haben gezeigt, dass der Aufrufbaum des rekursiven APD-Algorithmus mit steigen- der Bildanzahl gröÿer wird. Bereits beim erstmaligen berechnen der Distanzmatrix mit kleineren Serien von wenigen hundert Bildern ist dieses Verfahren nicht mehr anwend- bar, da die vielen rekursiven Aufrufe insgesamt extrem viel Zeit für ihre Abarbeitung von mehrerenn ×n-Matrix-Multiplikationen benötigen. Aus diesem Grund wurde dieser Lösungsansatz nicht mehr weiter verfolgt.

3.2.2 Zusätzliche Registrierungen durch Sektor-Auswahl

Ein anderer Ansatz geht intuitiver vor als die bekannten Algorithmen der Graphentheorie.

Zunächst wird ebenfalls ein grundlegender Registrierdurchlauf durchgeführt, bei dem die Fenster-Strategie verwendet wird. Anschlieÿend wird versucht die Versatzwertei↔(i+1), die nicht durch den vorigen Durchlauf bestimmt werden konnten zu schätzen. Diese Schät- zung erfolgt durch Addition von 2 oder 3 bereits bestimmten Versatzwerten. Angenommen alle Versatzwertei↔(i+ 1)konnten bestimmt beziehungsweise geschätzt werden, so kön- nen alle anderen Versatzwerte i ↔ j durch Addieren von i ↔ (j −1) und (j −1) ↔ j geschätzt werden.

Jedoch kann es unter Umständen vorkommen, dass nicht alle Versatzwerte i ↔ (i+ 1) bestimmt oder geschätzt werden können. Damit anschlieÿend dennoch möglichst vie- le Versatzwerte i ↔ j geschätzt werden können, muss ein k gefunden werden, damit (i ↔k) + (k ↔ j) berechnet werden kann. Dafür wird k zunächst auf j−1 gesetzt und überprüft, ob die Versatzwertei↔k undk ↔j bereits bestimmt oder geschätzt wurden.

Ist dies der Fall, so wird i ↔ j durch (i ↔ k) + (k ↔ j) berechnet. Falls dieser Fall nicht eintritt, wird k so lange dekrementiert, bis diese Voraussetzung erfüllt wird, oder die Schätzung des Versatzwertes wird abgebrochen, wenn k den Wert i erreichen würde.

Soll beispielsweise die Schätzung des Versatzes von (2↔8)durchgeführt werden, so wer- den nacheinander die Schritte (2↔7) + (7↔8), (2↔6) + (6↔8), (2↔5) + (5↔8), (2↔4) + (4↔8) und (2↔3) + (3↔8) überprüft und bei vorhandenen Versatzwerten wird die Schätzung durchgeführt.

Anhand dieser geschätzten und tatsächlichen Werte können nun die Entfernungen (in Pi- xeln) zwischen jedem Bildpaar mit Hilfe des Pythagoras-Satzes grob bestimmt werden.

Sowohl die Versatzwerte, als auch die Entfernungen zwischen den Bildern werden in einer n × n-Versatzmatrix, beziehungsweise Distanzmatrix gespeichert. Nach Festlegung des Wertes für die Sektorgröÿe s wird die Distanzmatrix sukzessiv für jede Zeile i so durch- laufen, dass immer das Minimum der nächsten s Spalten gefunden wird. Dabei werden die Felder für bereits durchgeführte Registrierungen übersprungen. Wurde an der Stelle j das Minimum innerhalb des aktuellen Sektors gefunden, wird die Registrierung i ↔ j durchgeführt, vorausgesetzt das Bildpaar überlappt sich laut den geschätzten Versatzwer- ten.

Abbildung 3.2 veranschaulicht das Prinzip der Strategie mit Hilfe eines Minimalbeispiels anhand der Distanzmatrix. In diesem Fall liegt eine Serie von 16 Bildern vor und es wurde zu Beginn ein Registrierdurchlauf mit Fenstergröÿe 3 durchgeführt (orange). Die grünen Felder stellen die zuvor geschätzten Entfernungen der jeweiligen Bildpunkte dar.

Die schwarzen Punkte kennzeichnen als Orientierung die Diagonale der Matrix. Die Hälfte unterhalb der Diagonalen ist nur angedeutet, da nur der obere Teil der Matrix verwendet wird. Für jede Zeile i wird nun jeder (rote) Sektor der maximalen Sektorgröÿe s = 4 nach seinem Minimum durchsucht und bei wahrscheinlicher Überlappung wird i mit j registriert.

Abbildung 3.2: Veranschaulichung des Prinzips der neuen Strategie anhand der Distanz- matrix: bereits registrierte Bildpaarei, j (orange), Aufteilung in Sektoren (rot)

Durch dieses Vorgehen wird versucht, Bilder auf benachbarten Spiralwindungen mitein- ander zu registrieren, um die Aufsummierung von Fehlern möglichst gering zu halten.

Unter der Annahme, dass für jeden Sektor eine weitere Registrierung durchgeführt wird, so werden durch diese Strategie zusätzlich

n−w−1

X

i=1

n−w−i s

(3.1) Registrierungen durchgeführt, wobei für n die Bildanzahl, für w die zuvor verwendete Fenstergröÿe und für s die Sektorgröÿe zu setzen sind. In der Realität wird diese Anzahl jedoch nie erreicht, da es zum einen Sektoren geben kann, in denen das naheliegendste Bild j keine Überlappung mit Bezugsbild i aufweist. Bei solchen Sektoren wird keine Registrierung durchgeführt und es wird mit dem nächsten Sektor fortgefahren.

4 Implementierung

Bisher wurden alle Algorithmen und Funktionen zur Erstellung von 2D-Nervenfaserbildern in der Klasse C2DNerveFiberMapping implementiert. In dieser benden sich alle Funk- tionen zur Verarbeitung von Nervenfaserbildern, wie beispielsweise die in Kapitel 2.3 beschriebenen Strategien zur Registrierung von Bildserien. Im Laufe der Zeit wurde diese Klasse sehr unübersichtlich, da immer weitere Funktionen hinzukamen.

In Anbetracht dessen werden die bereits hier implementierten als auch die neuen Strategi- en ausgelagert, da diese eine eigene Klasse von Algorithmen darstellen. Am Ende werden die jeweiligen Strategien nur noch von C2DNerveFiberMapping aufgerufen, implementiert werden diese allerdings in einer eigenen Klasse. Abbildung 4.1 zeigt ein Diagramm der geplanten Klassenstruktur unter Verwendung des so genannten Strategy-Patterns.

CStrategy

+GetNextPair() +SetSuccess()

CStrategyWindow

+GetNextPair() +SetSuccess()

CStrategyComplete

+GetNextPair() +SetSuccess()

CStrategyExtensive

+GetNextPair() +SetSuccess() Und weitere Strategien

Client

Abbildung 4.1: Neue Klassenstruktur: abstrakte Basisklasse CStrategy und einzelne Strategie-Klassen

Durch das Strategy-Pattern entsteht eine abstrakte Strategie-Klasse sowie für jede Stra- tegie eine eigene, von der Basis-Klasse erbende Klasse. Jede Registrier-Strategie dient dazu, die Indizes der als nächstes zu registrierende Bilder zu liefern. Um diese Entschei- dung treen zu können, benötigen manche Strategien ein Feedback, ob die vorige Regis- trierung erfolgreich war oder nicht. Aus diesen zwei Gründen stellt die Basis-Klasse die zwei abstrakten Methoden GetNextPair() und SetSuccess() zur Verfügung, welche von den einzelnen Strategie-Klassen implementiert werden. Die Methode GetNextPair() gibt

einen boolschen Wert zurück, welcher aussagt, ob ein weiteres Bildpaar registriert werden kann oder nicht. Die Indizes der als nächstes zu registrierenden Bilder werden durch die Methode als Rückgabewert zurück gegeben. SetSuccess() bekommt je nach Erfolg be- ziehungsweise Misserfolg einer durchgeführten Registrierung einen boolschen Wert über- geben, anhand dessen die Strategien entsprechend reagieren kann.

Abbildung 4.2: SNP-Fusion Dialog im DIPLOM- System und Parameter für die erweiterte Strategie

Die neue Strategie wurde in den be- reits existierenden Dialog zur Mosa- ikbilderzeugung (SNP-Fusion Dialog) des DIPLOM-Systems integriert (sie- he Abbildung 4.2). Über diese Ober- äche können sämtliche Strategien zur Bildregistrierung ausgewählt, und mit den gewünschten Parametern auf die entsprechenden Bildserien angewendet werden, um ein Mosaikbild zu er- stellen. Die Quellbilder werden dabei über eine Textdatei, in der die Pfa- de zu den Bildern enthalten sind ge- laden. Je nach ausgewählter Strategie sind unterschiedliche Parameter not- wendig. Diese können über die ver- schiedenen Eingabefelder gesetzt wer- den. Während des gesamten Vorgangs werden dem Benutzer Statusmeldun- gen über den Ausgabebereich mitge- teilt. Bei den für die erweiterte Stra- tegie (siehe 1 in Abb. 4.2) notwendi- gen Parametern handelt es sich um die Schrittweite (siehe 2 in Abb. 4.2) für die zu Beginn stattndende Fenster- Strategie, sowie die Sektorgröÿe (siehe 3 in Abb. 4.2) für die Auswahl zu- sätzlicher Registrierungen. Standard- mäÿig ist für die Schrittweite der be-

ginnenden Fenster-Strategie der Wert 3 eingestellt, wobei Werte von 3 bis 10 als empfeh- lenswerte Einstellungen gelten. Höhere Werte für die Schrittweite haben nahezu gar keinen Einuss auf die Qualität des Ergebnisbildes, wodurch der Aufwand durch die zusätzlichen Registrierungen der beginnenden Fenster-Strategie nicht gerechtfertigt wäre. Würde der

Nutzer die Schrittweite auf die Anzahl der Bilder setzen, so entspräche diese Strategie der Komplett-Strategie. Die Sektorgröÿe wird vom System zunächst auf 30 gesetzt. Dieser Parameter darf nicht zu klein gewählt werden, da ansonsten zu viele zusätzliche Regis- trierungen durchgeführt werden würden und die Laufzeit dadurch erheblich beeinträchtigt wird. Für die Sektorgröÿe haben sich Werte zwischen circa 30 und 60 bewährt, da so ge- währleistet ist, dass Bilder auf kleineren und gröÿeren benachbarten Spiralwindungen miteinander registriert werden.

5 Ergebnisse

In diesem Kapitel wird das Ergebnis der reinen Fenster-Strategie mit dem der neuen er- weiterten Strategie verglichen. Dabei wurde bei beiden Strategien die selbe Bildserie mit 3800 Einzelbildern verwendet, welche mit dem EyeGuidance-Verfahren unter Verwendung einer spiralförmigen Markenbahn aufgenommen wurden. Für die Schrittweite wurde je- weils der Wert 10 gewählt. Die maximale Sektorgröÿe der erweiterten Strategie ist in diesem Fall auf 30 festgelegt. Abbildung 5.1 zeigt die Mosaikbilder der beiden Strategien im Vergleich.

(a) (b)

Abbildung 5.1: Ergebnisvergleich Fenster-Strategie (a) und neue erweiterte Strategie (b)

Folgende Tabelle fasst Einzelheiten der beiden durchgeführten Verfahren zusammen:

reine Fenster-Strategie erweiterte Strategie

# Einzelbilder 3800 3800

Schrittweite (Fenster-Strategie) 10 10

Sektorgröÿe - 30

# durchgeführter Registrierungen 37945 201550

Betrachtet man die Mosaikbilder der reinen Fenster-Strategie und der neuen erweiterten Strategie, so ist eine erhebliche Verbesserung der Qualität durch die zusätzlichen Regis- trierungen der erweiterten Strategie zu erkennen. Während unter Verwendung der reinen Fenster-Strategie nahezu überall der bereits in Kapitel 2.3 beschriebene Fehler auftritt, ist dieser beim Mosaikbild der erweiterten Strategie kaum mehr zu erkennen. Durch die erweiterte Strategie wurden zusätzlich zur reinen Fenster-Strategie 163605 Bildpaare zur Registrierung ausgewählt.

In der detaillierteren Abbildung 5.2 ist der Unterschied der Qualität deutlich sichtbar. Bei der reinen Fenster-Strategie (links) kann kaum eine Aussage darüber getroen werden, bei welchen Nervenfasern es sich um durch den Fehler entstandene Doppelungen handelt und bei welchen nicht. Vergleicht man diesen Ausschnitt mit dem gleichen Bereich aus dem Er- gebnisbild der erweiterten Strategie, so sind Ähnlichkeiten im Verlauf der Nervenfasern zu erkennen. Jedoch wird deutlich, dass die vielen Doppelungen, welche durch Verwendung der reinen Fenster-Strategie entstanden sind, bei der erweiterten Strategie nicht mehr auftreten und es können die einzelnen Fasern klar voneinander unterschieden werden.

(a) (b)

Abbildung 5.2: Detaillierter Ergebnisvergleich Fenster-Strategie (a) und neue erweiterte Strategie (b)

Abbildung 5.3 zeigt einen Vergleich der (maximalen) Anzahl von durchgeführten Regis- trierungen bei der Komplett-Strategie und der erweiterten Strategie in Abhängigkeit der Bildanzahl n. In diesem Beispiel sind für die erweiterte Strategie die Schrittweite auf 10 und die Sektorgröÿe auf 30 gesetzt. Es wird deutlich, dass die erweiterte Strategie unter Verwendung der beispielhaften Parameter mit steigender Bildanzahl deutlich weniger Re- gistrierungen durchführen wird als die Komplett-Strategie. Da die Mosaikbilder der neuen erweiterten Strategie von guter bis sogar sehr guter Qualität sind, ist der zusätzliche Re- gistrieraufwand der Komplett-Strategie nicht gerechtfertigt. Es zeigt sich, dass es durch die neu entwickelte Strategie möglich ist, den Aufwand im Vergleich zur bisher verwen- deten Komplett-Strategie um ein Vielfaches zu verringern und gleichzeitig ein Mosaikbild von guter Qualität zu erhalten.

0 10000 20000 30000 40000 50000 60000 70000 80000 90000 100000

0 100 200 300 400 500

Komplett-Strategie neue Strategie

Abbildung 5.3: Anzahl Registrierungen der Komplett-Strategie (rot) und maximale An- zahl Registrierungen der erweiterten Strategie (Schrittweite=10, Sektor- gröÿe=30) (grün) in Abhängigkeit von der Bildanzahl

6 Zusammenfassung und Ausblick

Im Laufe dieser Arbeit hat sich herausgestellt, dass die in der Graphentheorie bekannten Algorithmen zwar generell eine gute Lösung für diese Art Problem darstellen, jedoch für die hier vorhandenen Problemgröÿen nicht anwendbar sind. Stattdessen wurde ein neues intuitives Verfahren entwickelt, welches für umfangreiche Bildserien ein qualitativ gutes Mosaikbild in akzeptabler Zeit liefern kann. Auÿerdem wurden die Vor- und Nachteile der neuen Strategie gegenüber anderen Strategien kritisch abgewägt.

Bei der Implementierung wurde auf eine nachhaltige Klassenstruktur Wert gelegt, um den Quellcode übersichtlicher zu gestalten und zukünftige Arbeiten zu erleichtern. Die neue Strategie zur Bildregistrierung wurde in den entsprechenden Dialog des DIPLOM-Systems integriert.

Um diese Strategie weiter zu verbessern, wäre es vorteilhaft eine Möglichkeit zu nden, die Schätzung der noch nicht bestimmten Versatzwerte so vollständig wie möglich durch- führen zu können.

Die Wahl der benötigten Parameter kann unter jeweiliger Berücksichtigung der Geschwin- digkeit der Fixationsmarke und des Abstands der Spiralwindungen ebenfalls noch opti- miert werden.

A Algorithmen APD, APSP, BPWM

All Pairs Distances:

Algorithmus 1 APD-Algorithmus

1: procedure APD(Adjazenzmatrix A)

2: Z ←A²;

3: berechne A⁰ mit

4: A⁰_ij = 1 gdw. i6=j und (A_ij = 1 oder Z_ij >0);

5: if A⁰_ij = 1∀i6=j then

6: return Distanzmatrix D= 2A⁰−A; . Rekursionsabbruch

7: end if

8: D⁰ =AP D(A⁰); . Rekursion

9: S =A·D⁰;

10: return Distanzmatrix D mit D_ij =

2D_ij⁰ f allsS_ij ≥D_ij⁰ Z_ii 2D_ij⁰ −1 f allsSij < D_ij⁰ Zii

;

11: end procedure

All Pairs Shortest Paths:

Algorithmus 2 APSP-Algorithmus

1: procedure APSP(Adjazenzmatrix A)

2: D ←AP D(A);

3: for s={0,1,2} do

4: berechne D^(s), so dassD^(s)_kj = 1 genau dann, wenn D_kj + 1≡s(mod3).

5: berechne Zeugenmatrix W^(s) =BP W M(A, D^(s)).

6: end for

7: return Nachfolgermatrix S, so dassS_ij =W_ij^(Dijmod3).

8: end procedure

Boolean Product Witness Matrix:

Algorithmus 3 BPWM-Algorithmus

1: procedure BPWM(Adjazenzmatrix A, M atrix B)

2: W ← −AB;

3: for t= 0, ...,blognc do

4: r←2^t;

5: for 0, ...,d3,77 lognedo

6: wähle willkürliches R ⊆ {1, ..., n} mit |R|=r;

7: Z ←A^RB^R;

8: for all (i, j) do

9: if W_ij <0 und Z_ij ist ein Zeuge then

10: W_ij ←Z_ij;

11: end if

12: end for

13: end for

14: end for

15: for all (i, j)do

16: if W_ij <0 then

17: nde einen Zeugen W_ij durch Ausprobieren.

18: end if

19: end for

20: end procedure

Abbildungsverzeichnis

2.1 Gröÿenverhältnisse zwischen Epithel, SNP und Stroma . . . 7

2.2 Mosaikbild einer 2D-Sequenz . . . 8

2.3 Faltenartige Verformungen der Schichten . . . 8

2.4 Verarbeitungsprozess der aufgenommenen Bilder . . . 9

2.5 CLSM und montiertes Display (Testreihe Eye-Guidance II) . . . 10

2.6 Aufnahmeprinzip bei spiral-förmiger Markenlaufbahn . . . 11

2.7 Entstehung deutlich sichtbarer Fehler im Versatz bei Vorwärts-Strategie . . 13

3.1 Graph für Komplett-Strategie . . . 14

3.2 Prinzip der neuen Strategie . . . 18

4.1 Neue Klassenstruktur . . . 19

4.2 SNP-Fusion Dialog im DIPLOM-System . . . 20

5.1 Ergebnisvergleich Fenster-Strategie und neue erweiterte Strategie . . . 22

5.2 Ergebnisvergleich Fenster-Strategie und neue erweiterte Strategie (Detail) . 23 5.3 Vergleich (maximale) Anzahl Registrierungen bei Komplett- und erweiter- ten Strategie . . . 24

Literaturverzeichnis

[1] Heidelberg Engineering Heidelberg Retina Tomograph; 2013;

http://www.heidelbergengineering.com/germany/produkte/hrt/

hrt-kornea/ (zuletzt besucht: 19.08.2013).

[2] R. F. Gutho / C. Baudouin / J. Stave; Atlas of Confocal Laser Scanning In- vivo Microscopy in Opthalmology; Springer Verlag Berlin Heidelberg; 2006.

[3] Robert Illner; Entwicklung eines Softwaremoduls zur hierarchischen block- basierten Registrierung; Projektarbeit an der Dualen Hochschule Karlsruhe;

2013; S. 6f.

[4] Daniel Roÿmann; Eye-Guidance Software zur Steuerung der Augenbewe- gung durch eine rechnergesteuerte Fixationsmarke; Bachelorarbeit an der Dualen Hochschule Karlsruhe; 2011.

[5] Klaus-Martin Reichert; Optimierung der Strategien zur Erzeugung von Mo- saikbildern; Projektbericht an der Dualen Hochschule Karlsruhe; 2009.

[6] Daniela Baldauf; Handout Kürzeste Wege Algorithmen; 15.05.2006;

http://optimierung.mathematik.uni-kl.de/~krumke/Teaching/

SS2006/seminar/APSP-Handout.pdf (zuletzt besucht: 12.09.2013).