2.1 Datenakquise und Vorbereitung der Punktwolken
Dreidimensionale Punktwolken von fünf Tomatenpflanzen, sowie Ausschnitte einer Weinrebenreihe wurden mittels der kommerziellen MVS-Software Pix4Dmapper (Pix4D SA, 1015 Lausanne, Schweiz) erstellt. Die Tomatenpflanzen wurden im Frühjahr 2014 unter identischen Laborbedingungen mittels der handelsüblichen Spiegelreflexkamera Canon EOS 450D von Hand bildlich erfasst (ROSE et al. 2015). Die Pflanzen konnten durch eine umschließende Aufnahmetrajektorie verdeckungsfrei rekonstruiert werden
Abbildung1: Aufnahmetrajektorien für Tomaten und Weinreihen, (Grafik (A) aus ROSE et al. 2015)
(Abbildung 1 A). Die Weinrebenreihen wurden im Sommer des Jahres 2015 mittels des RGB-Kamerasystems der mobilen Sensorplattform PHENObot (KICHERER et al.
2015) erfasst. Der PHENObot bewegte sich dabei zwischen zwei Weinrebenreihen, das Ka-merasystem zeigte auf die in Fahrtrichtung rechts liegende Laubwand. Daher wird eine Weinrebenreihe lediglich von einer Seite aufgenommen. Die Aufnahme geschah nachts, wobei ein mit dem Auslöser synchronisierter Blitzrahmen homogene Lichtver-hältnisse in jeder Aufnahme schuf. Jede Laubwand wurde insgesamt dreimal mit unter-schiedlichen Kamerahöhen durchfahren, um eine vollständige Abdeckung der Weinrei-he zu gewährleisten (Abbildung 1 B). Aus der rekonstruierten Punktwolke werden zwei Ausschnittsbereiche betrachtet. Ausschnitt 1 stellt einen blattgestutzten, luftigen Ab-schnitt dar, AusAb-schnitt 2 enthält hingegen Blätter, Äste und Trauben.
Beide Punktwolken enthalten komplexe Objekte, deren wahre Geometrie entweder nur grob aufgelöst werden konnte oder die vielfältige Formen und Farben annehmen kön-nen, bspw. Äste und Stamm der Tomaten und das Laubwerk der Weinreben. Wir
berei-nigen die Punktwolken vor der Klassifikation, um ihre geometrische Genauigkeit zu er-höhen. Die Punktwolken wurden mittels der Software Geomagic Studio 12 (Raindrop Geomagic Inc., Morrisville, NC, USA) manuell von Ausreißern und irrelevanten Objek-ten bereinigt. Sie wurden anschließend mittels eigener Softwareroutinen farbgefiltert, um Mischpixel an Objekträndern zu entfernen. Mittels der Open Source Software CloudCompare (http://danielgm.net/cc/) bereinigten wir die Punktwolken anschließend semiautomatisch von verbliebenen Ausreißern und isolierten Punktregionen unterhalb einer gewissen Pixelanzahl mittels einer Connected-Components-Methode. Im An-schluss werden zufällige Abweichungen durch ein Moving-Least-Squares (MLS) Verfah-ren reduziert. Wir verringern die Punktdichte zuletzt auf einen gleichmäßigen Punktab-stand von 1 mm. Abbildung 2 zeigt exemplarisch eine Tomate und Ausschnitt 2 der rekonstruierten Weinreihe. Die Tomaten bestanden aus durchschnittlich 30.000 Punk-ten, die Weinreihenausschnitte aus ca. 90.000 Punkten.
Abbildung 2: Originale Punktwolken für Tomaten (A) und Ausschnitt 2 der Weinreben (B)
Rose, Kuhlmann 80
2.2 CSHOT: Oberflächengeometrie- und Farbmerkmale
Zur Klassifikation müssen die verschiedenen Klassen durch Merkmale beschrieben werden. Jeder Punkt besitzt zunächst lediglich die Koordinaten X, Y, Z als Merkmale.
Diese sind jedoch für eine Klassifikation von komplexen Objekten wie Pflanzen unzu-reichend. Wir nutzen daher den lokalen Punkt-Deskriptor CSHOT (TOMBARI et al. 2011), um jedem Punkt weitere Merkmale zuzuweisen. Wir nutzen die Implementation in der Point Cloud Library (http://pointclouds.org/). Zunächst werden alle Nachbarn, die in ei-nem Umkreis von 𝒓𝑵 um einen zu betrachtenden Quellpunkt liegen, zur Normalenbe-rechnung mittels Hauptkomponentenanalyse herangezogen. Die Normale jedes Punk-tes wird auf diese Weise berechnet. CSHOT berechnet anschließend iterativ für jeden Punkt die schließlichen Merkmale. Dafür werden die Nachbarn eines betrachteten Quellpunktes in einem Umkreis 𝒓𝑯 herangezogen. Der Winkel zwischen der Normalen eines Nachbarn und der Normalen des Quellpunktes wird berechnet. Dies geschieht für alle Nachbarpunkte. Farbe von Quellpunkt und Nachbarpunkt wird über Anwendung der L1-Norm im Farbraum verglichen. Alle Informationen über die Oberflächengeometrie, sowie die Farbe werden zuletzt in einem Histogramm mit 1344 Bins codiert. Dabei be-schreiben die ersten 352 Bins die Geometrie und die übrigen Bins die Farbe. Das His-togramm wird zuletzt dem Quellpunkt zugewiesen. Abbildung 3 skizziert diesen Vor-gang. Charakteristische Oberflächengeometrie und Farbe verschiedener Klassen resul-tieren in distinktiven Histogrammen, die als Klassenmerkmale mittels Machine-Learning zur Klassifikation genutzt werden können.
Abbildung 3: Berechnung und Belegung der CSHOT Histogramme (Grafik aus TOMBARI et al. 2011)
2.3 Referenz- und Trainingsdaten
Für die Tomaten wählten wir die Klassen „Blatt“ und „Stamm“, für die Weinreben „Laub“
und „Traube“ aus. „Stamm“ umfasst Stamm und Äste, „Laub“ Blätter und Äste. Punkte einer jeden Klasse wurden aus unabhängigen eigens ausgesuchten Trainingsdaten
manuell in Geomagic separiert. Die Menge der Trainingsdaten pro Klasse wurde dabei möglichst gleich groß gehalten, um eine Überanpassung des Modells an die größere Trainingsmenge zu verhindern. Die Merkmale der ausgesuchten Trainingsdaten wurden im Anschluss mit CSHOT berechnet und zur Generierung des Klassifikationsmodells mit IVM herangezogen. Referenzdaten zur Genauigkeitsvalidierung wurden auf gleiche Weise erzeugt, indem wir sämtliche zu klassifizierenden Punktwolken vollständig in ihre Klassen separierten und allen Punkten der jeweiligen Klasse zuwiesen. Abbildung 4 zeigt exemplarisch zwei Histogramme für die Klassen „Blatt“ und „Stamm“ einer Toma-tenpflanze. Die Belegung der Histogrammbins unterscheidet sich für beide Klassen deutlich.
2.4 Klassifikation mit Import-Vector-Machines
Zur Klassifikation verwenden wir inkrementelle Import-Vector-Machines (ROSCHER et al.
2012) in einer frei verfügbaren Matlab Software (The MathWorks Inc., Natick, MA, USA). IVMs sind direkt auf den Multiklassen-Fall anwendbar und hinsichtlich ihrer Effi-zienz gleich- oder höherwertig wie die häufig verwendeten SVMs (BRAUN et al. 2011).
Basierend auf Kernelfunktionen wird ein diskriminatives probabilistisches Modell zur Differenzierung der Klassen erzeugt. Ergebnis der Klassifikation eines Quellpunktes 𝑥 sind Konfidenzwerte (A-Posteriori Wahrscheinlichkeiten) 𝑥 = (𝑃1 … 𝑃𝑖), 𝑖 = #𝐾𝑙𝑎𝑠𝑠𝑒𝑛 für die Zugehörigkeit des Punktes zu allen Klassen. Ein Punkt wird schließlich derjeni-gen Klasse mit der höchsten Konfidenz zugewiesen. IVMs unterscheiden sich darin von den SVMs, die direkte Klassenzuweisungen vornehmen und lediglich Pseudo-Wahrscheinlichkeiten (PLATT 2000) erzeugen können.
Abbildung 4: Mittlere Klassenhistogramme für Blatt (A) und Stamm (B)
Rose, Kuhlmann 82
2.5 Klassenglättung mit Conditional-Random-Fields
Die Klassifikation mit IVMs geschieht individuell für jeden Punkt, ohne kontextuelle Be-ziehungen zu nutzen. Dadurch entstehen heterogen klassifizierte Regionen. Benach-barte Punkte stehen jedoch miteinander in Beziehung und gehören wahrscheinlich der-selben Klasse an. Conditional-Random-Fields (CRF) sind ungerichtete graphische Mo-delle, in welchen diese lokalen Beziehungen bei der Klassifikation mitberücksichtigt werden. Wir nutzen die Implementation GCO von DELONG et al. (2010) zur räumlichen Glättung der initialen Klassifikationsergebnisse aus den IVMs. Ein Quellpunkt und seine Nachbarn in einem festgelegten Radius bilden die verbundenen Knoten eines Graphen, wobei jedem Knoten ein Datenkostenterm zugeordnet ist, welcher den Konfidenzwerten der Klassenzugehörigkeit entspricht. Zudem werden sog. Glättungskosten definiert, welche die Änderung einer Klasse zu anderen Klassen sanktionieren. Datenkosten der Punkte der betrachteten Nachbarschaft und Glättungskosten addieren sich zu einer Energiefunktion, welche GCO minimiert. Durch die Glättung entstehen homogene Klas-senregionen, die Klassifikationsgenauigkeit wird erhöht.