Matthias Oelze, Falk Schmidsberger, Frieder Stolzenburg
Hochschule Harz, Fachbereich Automatisierung und Informatik, Friedrichstraße 57-59, D-38855 Wernigerode, Germany
Email: {moelze,fschmidsberger,fstolzenburg@hs-harz.de}
Zusammenfassung: Bei der Befliegung von Agrarflächen, Gebäuden und Windenergie-anlagen durch Multikopter werden meist viele Bilder aufgenommen, die im Anschluss dann offline ausgewertet werden. Durch die Verwendung von Smart-Kameras kann ein Großteil der Bildauswertung schon online während des Fluges geschehen. Dadurch erge-ben sich neue Anwendungsfelder, z.B. eine Online-Abstandsmessung zur Kollisionsver-meidung.
Deskriptoren: Smart-Kamera, Multikopter, Computer Vision, Nahinfrarot
Abstract: During the aerial survey of agricultural crop land, buildings, and wind power plants by multicopters, often a lot of pictures are taken. Usually they are evaluated offline afterwards. By using smart cameras, much of the image analysis can already be done online during the flight. As a result, new applications arise, for example, online distance measurement for collision avoidance.
Keywords: smart camera, multicopters, computer vision, near-infrared
1 Überblick
Im Labor Mobile Systeme an der Hochschule Harz werden in verschiedenen Projekten Multikopter eingesetzt. Ein Schwerpunkt liegt hier bei der Nutzung verschiedener Kame-rasysteme. Neben der klassischen Digitalkamera und einer Wärmebildkamera kommt da-bei eine sogenannte Smart-Kamera der Firma Vision Components (VISION COMPONENTS 2014) zum Einsatz (Abbildung 1). Diese Kamera ist mit einem Mikroprozessor bestückt, so dass die Bilder direkt in der Kamera verarbeitet und analysiert werden können. Für den Einsatz an einem Multikopter bedeutet dies, dass eine Online-Bildanalyse während des Flugs erfolgen kann.
Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314
Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)
21. Workshop Computer-Bildanalyse in der Landwirtschaft und
3. Workshop Unbemannte autonom fliegende Systeme in der Landwirtschaft 125
Abbildung 1: Multikopter der Hochschule Harz mit montierter Smart-Kamera
Das Kameragehäuse wurde an der Hochschule Harz entwickelt und ermöglicht eine flexib-le Nutzung der Kamera. Durch die Benutzung verschiedener Filter können Bilder sowohl im sichtbaren als auch im Nahinfrarotbereich aufgenommen werden. Abbildung 2 zeigt die Rückansicht des geöffneten Gehäuses. Unten befinden sich die Kameraköpfe mit ei-ner Auflösung von jeweils 2048x1088 Pixeln, direkt darüber wird die Prozessorplatine der Smart-Kamera platziert. Außerdem wird ein Raspberry Pi (oben im Bild) zur Ansteuerung der Videofunkstrecke genutzt.
Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314
Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)
Oelze, Schmidsberger, Stolzenburg 126
Abbildung 2: Smart-Kamera in selbst entwickeltem Gehäuse
Der Gehäuseaufbau erlaubt unterschiedliche Anordnungen der Kameraköpfe. Sie können entweder eng beieinander oder mit einem Abstand voneinander montiert werden. Die bei-den verschiebei-denen Anordnungen der Kameraköpfe lassen sich in Abbildung 3 erkennen.
Links sind die Köpfe eng montiert (5 cm Abstand), rechts beträgt der Abstand 8,5 cm. Der Öffnungswinkel der verwendeten Objektive beträgt 57,32° horizontal und 44,29° vertikal.
Abbildung 3: Smart-Kamera mit unterschiedlichen Basisbreiten
2 Nahinfrarotkamera
Werden die beiden Kameraköpfe der Smart-Kamera direkt nebeneinander montiert (Abbildung 3 links), zeigen beide (bis auf einen kleinen Versatz) das gleiche Bild.
Durch Verwendung eines Infrarot-Durchlassfilters in einem der beiden Köpfe lassen sich so zwei Bilder derselben Szene in verschiedenen Frequenzbereichen (Nahinfrarot und sichtbarer Bereich) erstellen. Auf Grundlage dieser Bilder lässt sich z.B. der
„Nor-Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314
Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)
21. Workshop Computer-Bildanalyse in der Landwirtschaft und
3. Workshop Unbemannte autonom fliegende Systeme in der Landwirtschaft 127
malized Differenced Vegetation Index“ (NDVI) (WEIER &HERRING 2000) bestimmen. Ab-bildung 4 zeigt eine Aufnahme des Campus in Wernigerode. Im NDVI-Bild lässt sich die Vegetation (hell) sehr gut erkennen.
Abbildung 4: Luftaufnahme im sichtbaren Bereich (links) und das NDVI-Bild (rechts)
3 Stereokamera
Durch die breitere Anordnung der beiden Kameraköpfe (Abbildung 3 rechts) lässt sich die Smart-Kamera auch als Stereokamera zur Entfernungsmessung einsetzen (Abbil-dung 5). Die beiden Live-Bilder der Kameraköpfe werden (Abbil(Abbil-dung 5 oben) mit einem vorher berechneten Stereo-Kameramodell zueinander ausgerichtet (Abbildung 5 links unten: rectified) und aus dem horizontalen Versatz der Bildinhalte wird deren jeweilige Entfernung zur Kamera berechnet (LAUTERBACH 2013). Im Beispiel (Abbildung 5 rechts unten: disparity) wurde das Bild des linken Kamerakopfes mit den jeweils ermittelten Ent-fernungen eingefärbt. Die Auflösung der Bilder beträgt 640x360 Pixel und es werden im Messbereich von 1-10 m ein Fehler von unter 10% erreicht. Die Algorithmen wurden mit Hilfe der C++-Bibliothek OpenCV (BRADSKI &KAEHLER 2013) implementiert.
Abbildung 5: Entfernungsmessung mit Stereo-Kamera
Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314
Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)
Oelze, Schmidsberger, Stolzenburg 128
4 Zusammenfassung und Ausblick
Der Einsatz einer Smart-Kamera an einem Multikopter ermöglicht interessante Anwen-dungen. Durch die Verarbeitung und Analyse der Bilder direkt in der Kamera können Pro-zesse wie Entfernungsmessung deutlich beschleunigt werden, da eine langsame und feh-leranfällige Kommunikation zwischen Fluggerät und Bodenstation minimiert werden kann.
Ein Ziel ist es, durch die weitere Verlagerung von Berechnungen in die Kamera diese Kommunikation weiter zu reduzieren.
Bei der Entfernungsmessung soll die Genauigkeit weiter verbessert und auf einen größe-ren Messbereich ausgedehnt werden. Durch die Live-Bild-Verarbeitung soll damit eine automatische Positionierung des Multikopters erreicht werden (Visual Docking). Außer-dem ist eine Integration in das in der Entwicklung befindliche Flugassistenzsystem (MARKS et al. 2014) geplant.
Danksagung
Die laufenden Arbeiten werden teilweise durch das Bundesministerium für Wirtschaft und Technologie im Zentralen Innovationsprogramm Mittelstand (ZIM) in den Projekten InfraKopter (Zusammenführung von mit Multikoptern aufgenommenen Infrarotaufnah-men) und InspektoKopter (Inspektion von Windenergieanlagen durch Multikopter) ge-fördert (Förderkennzeichen KF2488210LF2 bzw. 16KN021923). Wir danken auch unse-ren studentischen Kräften an der Hochschule Harz, Fachbereich Automatisierung und Informatik, insbesondere Wolfgang Werner, Moritz Rabe und Matthias Körschens.
Literaturverzeichnis
BRADSKI G.R.,KAEHLER A.(2013): Learning OpenCV – Computer Vision in C++ with the OpenCV Library, O’Reilly, 2nd edition, Early Release Ebook
LAUTERBACH H.A.(2013): Stereo-Optische Abstandsmessung für einen autonomen Quadrocop-ter, Bachelorarbeit, Universität Würzburg
MARKS M.,SCHMIDSBERGER F.,STOLZENBURG,F.(2014):Optische Sensorik an Multikoptern. In Proceedings 20. Workshop Computer-Bildanalyse in der Landwirtschaft, Seiten 1-8, Hoch-schule Osnabrück, 2014. Bornimer Agrartechnische Berichte.
VISION COMPONENTS (2014): VCSBC quadro Smart-Kamera,
URL: http://www.vision-components.com/produkte/smart-kameras/vc-board-cam/
WEIER J.,HERRING D.(2000): Measuring Vegetation (NDVI & EVI),
URL: http://earthobservatory.nasa.gov/Features/MeasuringVegetation/
Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314
Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)
21. Workshop Computer-Bildanalyse in der Landwirtschaft und
3. Workshop Unbemannte autonom fliegende Systeme in der Landwirtschaft 129