T_Stein T_Wiese
zeichnet, in denen auf den jeweiligen Einzelbildern ein Referenzschachbrettmuster mit bekannter Anzahl und Größe an Quadraten abgebildet ist (siehe Abbildung 4). Daraus wird ein Stereokameramodell berechnet, mit dem die Bilder für die spätere Analyse ent-zerrt und rektifiziert werden (OELZE et al. 2015).
Abbildung 4: Kamerakalibrierung mit Schachbrettmuster
Stereokamera und NDVI
Durch ihre zwei getrennten Bildsensoren, die synchronisiert Bilder aufnehmen, eignet sich diese Kamera sehr gut für stereoskopische Einsatzzwecke wie z.B. die Distanz-messung oder das Erstellen von Indizes auf Basis von Aufnahmen in verschiedenen Frequenzbereichen.
Abbildung 5: Aufnahme mit IR-Durchlassfilter (NIR, links) und mit IR-Sperrfilter (Rot, rechts)
Eine häufig genutzte Anwendung in den Agrarwissenschaften ist die Berechnung des sog. Normalized Differenced Vegetation Index (NDVI) (WEIER &HERRING 2000). Mit die-sem Index lassen sich Wachstumsaktivitäten von Pflanzen beurteilen. Für die Berech-nung dieses Indexes benötigt man Bilddaten sowohl im sichtbaren als auch im Nahinf-rarotbereich (siehe Abbildung 5). Die Formel für die Berechnung des NDVI vergleicht die Intensität des Rot- mit dem Nahinfrarotbereich. Es gilt: 𝑁𝐷𝑉𝐼 = 𝑁𝐼𝑅−𝑅𝑜𝑡𝑁𝐼𝑅+𝑅𝑜𝑡 (NIR = Nah-infrarot 720-900 nm, Rot = sichtbarer/roter Bereich 620-700 nm).
Oelze, Schmidsberger, Stolzenburg 46
Entfernungsmessung mit der Stereokamera
Trotz der Unterschiede in den Bildern der beiden Frequenzbereiche ist es möglich, ge-meinsame Punkte für die Entfernungsberechnung zu bestimmen. Diese Art der Dual-analyse mit einem Nahinfrarotdurchlassfilter eignet sich grundsätzlich nur für den Au-ßeneinsatz, da hier genug Licht im Nahinfrarotbereich vorhanden ist. Da beide Verfah-ren gleichzeitig auf der Kamera durchgeführt werden, kann auf einen zusätzlichen Sen-sor verzichtet werden und es ergibt sich eine Gewichtsersparnis.
Abbildung 6: Stereobild mit Objektversatz im linken und rechten Einzelbild
Über den horizontalen Versatz einzelner Objekte in den Stereobildern (siehe Abbil-dung 6) können gleichzeitig zur AnwenAbbil-dung im Nahinfrarotbereich die Entfernungen der Objekte zur Kamera bestimmt werden (HARTLEY &ZISSERMAN 2003). Diese Entfer-nungen werden mit Hilfe des Stereokameramodells berechnet. Durch die manuelle Ka-librierung der Stereokamera und der dabei auftretenden kleinen Abweichungen ist es notwendig, die berechnete Entfernung noch einmal zu korrigieren. Die dafür erforderli-chen Parameter werden in unseren Projekten durch zwei Methoden ermittelt:
Für eine hohe Genauigkeit in einem bestimmten Messbereich werden nach der Stereo-kalibrierung zum einen manuell die tatsächlichen Entfernungen von verschiedenen Messpunkten zusammen mit den berechneten Entfernungen erfasst. Die Korrekturfak-toren werden anschließend mit Hilfe der linearen Regression bestimmt (siehe Abbil-dung 7).
Abbildung 7: Lineare Regression zur Bestimmung der Korrekturfaktoren der Entfernungsberechnung
Für eine höhere Genauigkeit über den gesamten Messbereich der Stereokamera wird zum anderen eine automatische Distanzkalibrierung durchgeführt. Hierbei werden nach der Stereokalibrierung nochmals bis zu 50 weitere Bilder des Referenzschachbrettmus-ters aufgenommen und analysiert. Aus allen in jeweils einem Stereobild detektierten Ecken des Schachbretts, für die eine 3D-Koordinate bestimmt werden kann (in Abbil-dung 8 grün markiert), wird eine 3D-Punktewolke berechnet, die mit dem 3D-Referenz-modell des Schachbrettes zu einem mittleren Korrekturfaktor verrechnet wird. Eine ma-nuelle Entfernungsmessung ist bei diesem Verfahren nicht notwendig.
Die Algorithmen zur Kalibrierung der Kamera, zur Bildanalyse und zur Entfernungsbe-stimmung wurden mit Hilfe der C++-Bibliothek OpenCV implementiert (BRADSKI &K AEH-LER 2013). Die Abweichungen der berechneten Distanzen betragen verfahrens- und kamerabedingt 1,5% bis 10% der tatsächlichen Entfernung in einem Bereich von 0,5 m bis 70,0 m. Diese Genauigkeit reicht aus, um Multikopter in einer bestimmten Entfer-nung über dem Boden fliegen zu lassen, um Hindernisse zu erkennen oder zu beflie-gende Objekte autonom anzusteuern. In Abbildung 9 sind für das linke Teilbild aus Abbildung 6 die Entfernungen farblich markiert, vom Nahbereich rot (unter 1,5 m), über grün (3,5 m), blau (6,0 m) bis weiß (35,0 m). Distanzen über 35,0 m und Pixel, für die keine Entfernung bestimmt werden konnte, sind nicht markiert.
Oelze, Schmidsberger, Stolzenburg 48
Abbildung 8: Referenzschachbrettmuster zur automatischen Distanzkalibrierung
Abbildung 9: Distanzmessungen im Stereobild
4 Flugassistenzsystem
Für den Einsatz von Multikoptern in den Agrarwissenschaften ist eine (teil-)autonome, koordinierte Befliegung größerer Flächen aber auch spezieller Objekte erforderlich. Im Projekt InspektoKopter wurde ein Flugassistenzsystem entwickelt, das den Piloten am Boden in diesen Bereichen unterstützt und mit einem Computer (Embedded-System) auf dem Multikopter kommuniziert. Das Embedded-System wertet die aktuellen Sensor- und Positionsdaten des Mulikopters aus und kann selbst neue Zielpunkte und Weg-punktlisten berechnen bzw. vom Flugassistenzsystem empfangen und an den Multikop-ter übermitteln. An das Embedded-System können exMultikop-terne Sensoren, z.B. die SMultikop-tereo- Stereo-kamera zur Entfernungsmessung, angeschlossen werden. In Abbildung 10 ist das Hauptfenster des Flugassistenzsystems dargestellt. Hier werden u.a. verschiedene Sensorwerte wie Position, Multikopterausrichtung, Flugrichtung, Lage, Geschwindigkeit, Flughöhe und Steigrate visualisiert, zusammen mit dem Live-Bild einer Kamera am Mul-tikopter.
Da im Drittmittelprojekt InspektoKopter die Inspektion von Windenergieanlagen (teil-) automatisiert werden soll, wurde im Embedded-System das Modul Visual Docking zur autonomen Befliegung von Rotorblättern integriert, dessen Zustände im Flugassistenz-system dargestellt und gesteuert werden können. Dieses Modul berechnet anhand von Entfernungsmessungen mit der Stereokamera und den aktuellen Positionsdaten des Multikopters während der Befliegung neue Wegpunkte, um in einem optimalen Abstand am Rotorblatt entlang zu fliegen.
Abbildung 10: Flugassistenzsystem
Oelze, Schmidsberger, Stolzenburg 50
Im Fenster zur allgemeinen Befliegungsplanung (Schaltfläche Way Points, unten in Ab-bildung 10) können Wegpunkte frei positioniert werden. Aus diesen wird dann eine Flugroute berechnet (siehe Abbildung 11). Eine weitere Möglichkeit ist die Angabe ei-ner zu befliegenden Fläche, die auch auf mehrere Multikopter aufgeteilt werden kann (siehe Abbildung 12). Auch hier werden optimierte Flugrouten berechnet (MARKS et al.
2014), die an das Embedded-System weitergeleitet werden.
Abbildung 11: Freie Wegpunktplanung im Flugassistenzsystem
Abbildung 12: Flächenbefliegungsplanung im Flugassistenzsystem für mehrere Multikopter
5 Zusammenfassung
In diesem Artikel wurden einige der vielfältigen Anwendungsmöglichkeiten von Multi-koptern zusammen mit Infrarottechnologie gezeigt. Diese umfassen die Landwirtschaft, die Archäologie (LIEBERWIRTH et al. 2014) und zahllose weitere Anwendungen. Der technologische Fortschritt auf diesen Gebieten ist enorm. Die Entwicklung eines Flug-assistenzsystems erleichtert hierbei jedoch die Integration und erfolgreiche Anwendung der verschiedenen Komponenten.
Oelze, Schmidsberger, Stolzenburg 52
Danksagung
Die Arbeiten wurden teilweise durch das Bundesministerium für Wirtschaft und Energie (BMWi) im Zentralen Innovationsprogramm Mittelstand (ZIM) in den Projekten InfraKop-ter (Zusammenführung von mit MultikopInfraKop-tern aufgenommenen Infrarotaufnahmen) und InspektoKopter (Inspektion von Windenergieanlagen durch Multikopter) gefördert (För-derkennzeichen KF2488210LF2 bzw. 16KN021923). Wir danken auch unseren studen-tischen Kräften an der Hochschule Harz, Fachbereich Automatisierung und Informatik, insbesondere Matthias Körschens, Pouya Payrow, Janet Richter und Wolfgang Werner.
Literaturverzeichnis
BRADSKI G.R., KAEHLER A. (2013): Learning OpenCV – Computer Vision in C++ with the OpenCV Library. O’Reilly, 2nd edition, Early Release Ebook
FLIR(2016):FLIRTAU2,URL:http://www.flir.com/cores/display/?id=54717
HARTLEY R., ZISSERMAN A. (2003): Multiple View Geometry in Computer Vision. Cambridge University Press, Cambridge, UK, 2nd edition
LIEBERWIRTH U., FRITSCH B., METZ M., NETELER M., KÜHNLE K. (2014): Applying Low Budget Equipment and Open Source Software for High Resolution Documentation of Archaeological Stratigraphy and Features. In: CAA 2013 Proceedings of the 41st Conference in Computer Application and Quantitative Methods in Archaeology, Perth, Australia, 25-28 March 2013, p. 390-405
MARKS M.,SCHMIDSBERGER F., STOLZENBURG F.(2014): Optische Sensorik an Multikoptern. In MANUELA ZUDE-SASSE and MARTIN KRAFT, editors, Proceedings 20. und 21. Workshop Computer-Bildanalyse in der Landwirtschaft und 3. Workshop Unbemannte autonom fliegende Systeme (UAS) in der Landwirtschaft, Bornimer Agrartechnische Berichte, Heft 88, pages 151-158, Hochschule Osnabrück
OELZE M., SCHMIDSBERGER F., STOLZENBURG F. (2015): Smart-Kamera-basierte Online-Bild-analyse von Infrarot- und Stereobildern an Multikoptern. In MANUELA ZUDE-SASSE and MARTIN KRAFT, editors, Proceedings 20. und 21. Workshop Computer-Bildanalyse in der Landwirtschaft und 3. Workshop Unbemannte autonom fliegende Systeme (UAS) in der Landwirtschaft, Bornimer Agrartechnische Berichte, Heft 88, pages 124-128, Thünen-Institut, Braunschweig
VISION COMPONENTS (2016): VCSBC quadro Smart-Kamera,
URL: http://www.vision-components.com/produkte/oem-smart-kameras-dspvcrt/oem-boardcams/vcsbc-multi-sensor/
WEIER J.,HERRING D.(2000): Measuring Vegetation (NDVI & EVI),
URL: http://earthobservatory.nasa.gov/Features/MeasuringVegetation/