Optimale Radien 𝒓𝑵 und 𝒓𝑯 für die Berechnung der CSHOT-Merkmale wurden über Kreuzvalidierung ermittelt. Wir nutzen die Metriken „Recall“ und „Präzision“ zur Evaluie-rung der Klassifikationsergebnisse. Sie berechnen sich nach folgenden Gleichungen:
Präzision: #𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒
wobei „True Positive“ Übereinstimmung von wahrer und zugewiesener Klasse 1 be-zeichnen, „False Positive“ hingegen eine Zuweisung zur Klasse 1, obwohl die wahre Klasse eine andere ist und „False Negative“ die inkorrekte Zuweisung eines Punktes der wahren Klasse 1 zu einer anderen Klasse. „Recall“ bezeichnet also den Anteil ge-fundener Punkte an der wahren vorhandenen Menge einer Klasse. Die Präzision be-schreibt den Anteil korrekt einer Klasse zugewiesenen Punkte an der Menge aller Punk-te, die dieser Klasse zugeordnet wurden.
Abbildung 5: Originale Daten einer Tomate (A), initiale Klassifikationsergebnisse (B) und finale Klassen nach der Glättung (C). Rot korrespondiert mit „Blatt“, Grün mit „Stamm“.
Tabelle 1 zeigt die Klassifikationsresultate für alle fünf Tomatenpflanzen auf. Die initiale Klassifikation der fünf Tomatenpflanzen erreicht danach einen durchschnittlichen Recall von 86% und eine durchschnittliche Präzision von 68%. Während die Klasse „Blatt“ ini-tial durchgehend hohe Präzisionswerte von ~98% aufweist, liegt ihr Recall etwas niedri-ger bei durchschnittlich 82%. Die Klasse „Stamm“ erreicht initial einen vergleichsweise hohen Recall von 91%, jedoch ist ihre Präzision mit 38% sehr gering.
Nach der Glättung der Ergebnisse (Abbildung 5 B & C) erhöhen sich die Durch-schnittswerte für Recall und Präzision auf 91% bzw. 80%. Der Recall der Klasse Stamm verringert sich jedoch um rund 3 Prozentpunkte auf rund 87%. Ihre Präzision kann je-doch um knapp 25 Prozentpunke auf durchschnittlich 62% gesteigert werden. Der Re-callverlust resultiert vor allem aus Regionen, wo Blatt und Stamm dicht beieinander lie-gen oder die Blätter sehr klein sind. Die voluminösere Punktverteilung am Stamm wird bei der Vorbereitung der Punktwolken durch die MLS-Glättung verebnet, wodurch sich die Klasse „Stamm“ geometrisch vom „Blatt“ nur noch durch Farbe und Breite abheben kann. An besagten Regionen verschwimmen diese Unterschiede. Insbesondere bei der Nachbarschaftsbetrachtung in GCO führt die Nähe beider Klassen zu einer Überglät-tung. Dies ist in erster Linie ein Problem der Rekonstruktion, bei der die distinktive zy-lindrische Form von Stamm und Ästen nicht aufgelöst werden konnte.
Rose, Kuhlmann 84
Tabelle 1: Recall und Präzision für fünf Tomatenpflanzen vor und nach der Klassenglättung Recall [%] Precision [%] Recall smooth [%] Precision smooth [%]
Tomate 26
Blatt 82,6 97,2 94,2 96,8
Stamm 79,4 34,4 73,5 60,0
Tomate 27
Blatt 80,9 98,1 95,2 99,1
Stamm 91,5 35,5 92,8 68,1
Tomate 28
Blatt 77,4 99,3 89,9 99,1
Stamm 95,6 34,8 93,0 51,8
Tomate 29
Blatt 81,7 99,3 95,0 98,6
Stamm 94,6 36,5 87,7 64,9
Tomate 30
Blatt 86,0 98,2 94,5 98,7
Stamm 92,5 47,0 89,8 66,7
Mittel Blatt 81,7 98,4 93,8 98,5
Mittel Stamm 90,7 37,6 87,4 62,3
Mittel Gesamt 86,2 68,0 90,6 80,4
Abbildung 6: Originale Daten der Weinrebe aus Ausschnitt 1 (A), initiale Klassifikationsergeb-nisse (B) und finale Klassen nach der Glättung (C). Rot korrespondiert mit „Laub“,
Grün mit „Traube“.
Die initiale Klassifikation der Weinreben erreicht einen durchschnittlichen Recall von 80% und 71% für die Präzision. Nach der Glättung steigern sich die Werte auf 86%
bzw. 77%. Die Präzision der Klasse „Traube“ erhöht sich um rund 9 Prozentpunkte auf
59% (s. Tabelle 2) und ist damit bedeutend niedriger als die Erhöhung im Falle der To-maten. Eine Steigerung auf 81% erfährt auch der Recall der Klasse „Laub“. Es fällt auf, dass der Recall der Klasse „Traube“ um 10 Prozentpunkte höher liegt, als der der Klas-se „Laub“ und damit deutlich überschätzt wird. Es war zu erwarten, dass insb. die ebe-ne Geometrie und die distinktive Färbung der Blätter, wie auch die brauebe-ne Färbung der Äste zu einem deutlichen Merkmalsunterschied im Vergleich zu Trauben führt. Offenbar ergeben sich jedoch bzgl. der Farbe Ähnlichkeiten zwischen Trauben und Ästen, die zu einer Überschätzung der Klasse „Traube“ führen und durch den geometrischen Unter-schied beider Klassen nicht vollständig kompensiert werden können. Hier sind weitere Untersuchungen notwendig.
Tabelle 2: Recall und Präzision der Weinreihenausschnitte vor und nach der Klassenglättung Recall [%] Precision [%] Recall smooth [%] Recision smooth [%]
CSHOT schneidet im Vergleich mit den ausschließlich geometriebasierten Deskriptoren SHOT (TOMBARI et al. 2010) und FPFH (RUSU et al. 2009) besser ab. Für Tomate #26 ergibt sich mit SHOT nach der Glättung mit GCO ein Recall von 92% bzw. 75% für die Klassen „Blatt“ und „Stamm“. Die Präzision beträgt 97% bzw. 53% (vgl. Tabelle 1). Bei der Klassifikation des Weinrebenausschnitts 2 mit SHOT ergibt sich nach der Glättung ein Recall von 80% bzw. 92% für „Laub“ bzw. „Traube“ und eine Präzision von 99% und 43% (vgl. Tabelle 2). Mit FPFH wird für Tomate #26 nach der Glättung ein Recall von 77% bzw. 92% für „Blatt“ und „Stamm“, sowie eine Präzision von 98% bzw. 34%. Für den Weinrebenausschnitt 2 ergibt sich für die Klassen „Laub“ und „Traube“ ein Recall von 93% bzw. 71% und eine Präzision von 99% bzw. 33%. Die initiale Klassifikation mit CSHOT ist deutlich sensibler für Unsicherheiten in der Klassifikation, was vermutlich auf die höhere Deskriptivität der CSHOT-Merkmale durch Einbeziehung der Farbinformati-on zurück zu führen ist. Abbildung 7 demonstriert diesen Zusammenhang. A und B illustrieren eine nach den höchsten initialen Konfidenzen farbcodierte Tomatenpunkt-wolke, im Folgenden Heatmap genannt.
Rose, Kuhlmann 86
Abbildung 7: Heat Maps der höchsten Konfidenzen mit SHOT / CSHOT (A, B) und initiale Klassifikationsergebnisse (C, D)
Rote Töne korrespondieren dabei mit einer niedrigen, gelbe mit einer mittleren und grü-ne mit eigrü-ner hohen Konfidenz. C und D zeigen die initialen Klassenzuweisungen bei SHOT bzw. CSHOT. Während die initialen Klassenzuweisungen zwischen SHOT und CSHOT kaum Unterschiede aufweisen, korrespondieren die geringen Konfidenzen bei CSHOT mit falsch klassifizierten Punkten, während SHOT auch bei falsch klassifizierten Punkten in den meisten Fällen hohe Konfidenzen aufweist. Konfidenzen mit CSHOT können daher als verlässlicher betrachtet und zur Identifikation falscher oder unsicherer Klassenzuweisungen genutzt werden.
GCO nutzt die probabilistischen Konfidenzen der IVMs als zu minimierende Energie-funktion. Je höher die Konfidenz der Zuweisung eines Punktes und seiner Nachbarn zur Klasse a ist, desto eher wird ein ebenfalls in dieser Nachbarschaft liegender Punkt der Klasse b, der jedoch eine niedrigere Konfidenz besitzt, durch GCO der Klasse a zuge-ordnet. Abbildung 8 demonstriert diesen Zusammenhang anhand einer Tomatenpflan-ze. Abbildung 8 A zeigt eine Heatmap der höchsten initialen Konfidenz des Punktes. In B werden die initialen Klassen dargestellt. In A befinden sich links an im unteren Be-reich viele Punkte der wahren Klasse „Blatt“ mit initialer Klasse „Stamm“, die jedoch nur
niedrige Konfidenzen besitzen (siehe B). Diese werden durch die hohen Konfidenzen für die wahre Klasse „Blatt“ ihrer Nachbarpunkte korrigiert (siehe C).
Abbildung 8: Heatmap mit Konfidenzniveaus (A), initiales Klassifikationsergebnis (B) und finale Klassenlabel nach der Glättung (C)
Falsche Klassenzuweisungen sind jedoch auch noch nach der Glättung vorhanden.
Diese treten insb. an Regionen einer wahren Klasse a auf, deren Merkmale Klasse b jedoch sehr ähnlich sehen. Sind hier initial bereits hohe Konfidenzwerte für die falsche Klasse b vorhanden, wirken diese Regionen während der Glättung u. U. mächtiger auf benachbarte Punkte der wahren Klasse a mit niedriger Konfidenz ein. Dieses Verhalten ist in Abbildung 8 am kleinen Blatt im oberen rechten Bereich zu beobachten, welches sowohl farblich als auch geometrisch der Klasse „Stamm“ sehr ähnelt. Die dominieren-den initial hohen Konfidominieren-denzwerte für die falsche Klasse „Stamm“ verhindern eine Kor-rektur der nur wenigen Punkte der wahren Klasse „Blatt“. Lediglich ein kleiner rechter Bereich besitzt eine entsprechend hohe Menge korrekt klassifizierter Punkte mit initial hoher Konfidenz. Denkbar wäre an dieser Stelle ein weiterer Klassifikationsschritt unter der Nutzung von Vorwissen, wie bspw. der Bedingung einer ununterbrochenen Konnek-tivität der Äste und des Stamms der Tomate, welche Stammesregionen an Blattspitzen ausschließen kann.
4 Fazit
Es wurde eine Pipeline zur Klassifikation von farbigen Punktwolken aus einem MVS Verfahren im Kontext der Phänotypisierung von Pflanzen vorgestellt. Die Nutzung von Merkmalen aus Oberflächengeometrie und Farbe durch CSHOT erlaubt die Generie-rung distinktiverer Klassifikationsmodelle mit IVM als mit lediglich geometriebasierten Deskriptoren. Eine Steigerung der Klassifikationsgenauigkeit kann durch Verwendung eines graphischen Modells zur Energieminimierung der Konfidenzwerte aus den IVMs erreicht werden. Der hier vorgestellte Ansatz eignet sich insbesondere für High-Throughput-Phänotypisierung unter erschwerten Bedingungen, die zugunsten hoher Geschwindigkeit MVS Methoden dem hochgenauen, aber zeitaufwändigem und farblo-sen Nahbereichsscanning vorziehen.
Rose, Kuhlmann 88
Danksagungen
DieseArbeit wurde innerhalb des Projektes NoViSys (FKZ: 031A349) in der Projektiniti-ative IPAS durch das BmBF gefördert.
Literaturverzeichnis
BEHLEY J.,STEINHAGE V.,CREMERS A.B. (2012): Performance of Histogram Descriptors for the Classification of 3D Laser Range Data in Urban Environments, Proc. of the IEEE Interna-tional Conference on Robotics and Automation (ICRA), 4391–4398
BRAUN A.C.,WEIDNER U.HINZ S.(2011): Support vector machines, import vector machines and relevance vector machines for hyperspectral classification — a comparison, Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, 1-4
DELONG A.,OSOKIN A.,ISACK H.N.,BOYKOV Y.(2010): Fast Approximative energy minimization with label costs, CVPR, 333
DORNBUSCH T., LORRAIN S., KUZNETSOV D., FORTIER A.,LIECHTI R., XENARIOS I.,FANKHAUSER
C.(2012): Measuring the diurnal pattern of leaf hyponasty and growth in Arabidopsis a nov-el phenotyping approach using laser scanning. Funct. Plant Biol. 39, 860–869
FURBANK R.T.,TESTER M. (2011): Phenomics – technologies to relieve the phenotyping bottle-neck, Trends in plant science, Vol. 16, Issue 12, 635-44
HARTLEY R.I., ZISSERMAN A. (2004): A. Multiple View Geometry in Computer Vision, 2nd ed.;
Cambridge University Press: Cambridge, UK
KICHERER A.,HERZOG K.,PFLANZ M.,WIELAND M.,RÜGER P.,KECKE S.,KUHLMANN H.,TÖPFER
R. (2015): An Automated Field Phenotyping Pipeline for Application in Grapevine Research.
MDPI Sensors 15, 4823-4836
KIZMA W.,FOIX S., ALENYÀ G.(2012): Plant leaf analalysis using Time of Flight camera under sun, shadow and room conditions. In Proceedings of the IEEE International Symposium on Robotic and Sensors Environments, Magdeburg, Germany
KRAFT M., REGINA S., FREITAS D., MUNACK A. (2010): Test of a 3D time of flight camera for shape measurements of plants. In Proceedings of the CIGR Workshop on Image Analysis in Agriculture, Budapest, Hungary, 26–27
OMASA K.,HOSOI F.,KONISHI A.(2007): 3D lidar imaging for detecting and understand-ing plant responses and canopy structure. Journal of experimental Botany 58: 881-98
PAPROKI A., SIRAULT X., BERRY S., FURBANK R., FRIPP J. (2012): A novel mesh processing based technique for 3D plant analysis. BMC Plant Biology
PAULUS S.,DUPUIS J.,MAHLEIN A-K.,KUHLMANN H. (2013): Surface feature based classification of plant organs from 3D laserscanned point clouds for plant phenotyping, BMC Bioinformat-ics, Volume 14, (1) S. 238-251
Paulus,S.,BEHMANN J., MAHLEIN A.-K.,PLÜMER L.KUHLMANN H. (2014a): Low-Cost 3D Sys-tems: Suitable Tools for Plant Phenotyping. MDPI Sensors, 14, 3001-3018
PAULUS S,SCHUMANN H,KUHLMANN H,LÉON J. (2014b): High-precision laser scanning system for capturing 3D plant architecture and analysing growth of cereal plants, Biosystems Engi-neering, Volume 121, 1–11
PLATT J.C.(2000): Probabilistic outputs for support vector machines and comparisons to regu-larized likelihood methods, Advances in Large Margin Classifiers, 10 (3): 61–74, MIT Press, Cambridge, MA
REMONDINO F.,SPERA M.G.,NOCERINO E.,MENNA F.NEX F.(2014): State of the art in high den-sity image matching. The Photogrammetric Record, 29: 144-166
ROSCHER R., FÖRSTNER W.,WASKE B. (2012): I2VM: Incremental import vector machines, Im-age and Vision Computing, Vol. 30(4-5), 263-278
ROSE J.C., PAULUS S., KUHLMANN H. (2015): Accuracy Analysis of a Multi-View Stereo Ap-proach for Phenotyping of Tomato Plants at the Organ Level. MDPI Sensors 15, 9651-9665 RUSU R.B., MARTON Z.C., BLODOW N., BEETZ M. (2008): Persistent Point Feature Histograms
for 3D Point clouds. Proceedings of the 10th International Conference on Robotics and Au-tomation (ICRA), Kobe, Japan, 3212-2317
RUSU R.B.,BLODOW N.,BEETZ M. (2009): Fast Point Feature Histograms (FPFH) for 3D Regis-tration. IEEE International Conference on Robotics and Automation (ICRA), Kobe, Japan, 3212-3217
SANTOS T., OLIVEIRA A. (2012): Image-based 3D digitizing for plant architecture analysis and phenotyping. In Proceedings of the Workshop on Industry Applications (WGARI) in SIB-GRAPI 2012 (XXV Conference on Graphics, Patterns and Images), Minas Gerais,
SEITZ S.M.,CURLESS B.,DIEBEL J.,SCHARSTEIN D.,SZELISKI R.(2006): A comparison and eval-uation of multi-view stereo reconstruction algorithms. Proc. IEEE Conf. Compu. Vis. Pattern Recogn. 1, 519–528
TOMBARI F.,SALTI S.,DI STEFANO L.(2010): Unique Signatures of Histograms for Local Surface Description", 11th European Conference on Computer Vision (ECCV), September 5-11, Hersonissos, Greece
TOMBARI F.,SALTI S.,DI STEFANO L.(2011): A combined texture-shape descriptor for enhanced 3D feature matching, IEEE International Conference on Image Processing (ICIP), Septem-ber 11-14, Brussels, Belgium
WEINMANN M.,SCHWARTZ C.,RUITERS R.,KLEIN R.(2011):A Multi-Camera, Multi-Projector Su-per Resolution Framework for Structured Light, Proceedings of 3D Imaging, Modeling, Pro-cessing, Visualization and Transmission (3DIMPVT), 397-404, IEEE Computer Society's Conference Publishing Services
Kraft, Oldenburg 90