Mai 2014, Osnabrück

Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314

Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)

20. Workshop Computerbildanalyse und Sensorik in der Landwirtschaft 151

Optische Sensorik an Multikoptern

Matthias Marks, Falk Schmidsberger, Frieder Stolzenburg

Hochschule Harz, Fachbereich Automatisierung und Informatik, Friedrichstraße 57-59, 38855 Wernigerode

Email: mmarks@hs-harz.de, fschmidsberger@hs-harz.de, fstolzenburg@hs-harz.de

Zusammenfassung: Der erfolgreiche Einsatz von Multikoptern zur Bildverarbeitung in der Landwirtschaft und darüber hinaus stellt hohe Anforderungen an die Hard- und Software, die den Einsatz komplexer Sensorik nach sich zieht: Die Sensoren können zum einen die Navigation des Flugroboters unterstützen; hierzu zählen Lage-, Be-schleunigungs- und GPS-Sensoren sowie eine Stereokamera. Zum anderen dienen Sensoren zur Messung und Erfassung von Umweltdaten; dazu zählen Thermal-, Nah-Infrarot-, Foto- und Videokameras. Durch eine Kombination der verschiedenen Sensor-daten lassen sich eine automatische Flugplanung, eine genaue Positionsbestimmung und die Erkennung und Verortung bekannter Objekte realisieren. Für die Messung und Datenerfassung sind verschiedene komplexe Sensoren nutzbar, die im Folgenden nä-her erläutert werden.

Deskriptoren: Multikopter, Computer Vision, Wärmebild, Nahinfrarot

Abstract: The successful use of multicopters for image processing in agriculture and be-yond sets high demands on the hardware and software, which leads to the use of complex sensor systems: There are sensors which support navigation of a flying robot; this includes position, acceleration and GPS sensors and a stereo camera. In addition, sensors can be used to measure and record environmental data; these include thermal, near-infrared, photo and video cameras. The combination of different sensor data lays the basis for an automatic flight planning, realizing accurate position determination and the recognition and localization of known objects. For measuring and data collection, various complex sensors are used, which are described in more detail in this paper.

Keywords: multicopters, computer vision, thermal imaging, near-infrared

1 Überblick

Das Labor Mobile Systeme an der Hochschule Harz setzt in Projekten verschiedene Sen-soren an Multikoptern ein. Der GPS-Sensor zum Beispiel wird benötigt, um die aktuelle Position zu bestimmen und somit koordiniertes Fliegen zu ermöglichen. Des weiteren werden verschiedene Kamerasysteme eingesetzt: Neben einer gewöhnlichen Digitalka-mera sind dies eine StereokaDigitalka-mera und InfrarotkaDigitalka-meras für Wärmebild- bzw. Nahinfrarot-aufnahmen.

Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314

Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)

Marks, Schmidsberger, Stolzenburg 152

Mit Hilfe der Stereokamera können Entfernungsmessungen während des Flugs erfolgen und Höhenprofile erstellt werden. Zum Einsatz kommen hier einfache Webcams und sogenannte Actionkameras. Um Ungenauigkeiten im Aufbau und die Abbildungsfehler der Linsen der einzelnen Kameras zu korrigieren, ist es notwendig, diese zu kalibrieren und ein Modell der Stereokamera zu erstellen. Aus den Abständen der korrespondie-renden Punkte in beiden Bildern wird durch Triangulation die Entfernung zwischen der Kamera und den jeweiligen Punkten berechnet.

Als weiterer Sensor kommt eine Wärmebildkamera vom Typ FLIR Tau2 336 (FLIR 2013) zum Einsatz. Die einzelnen Aufnahmen müssen zu einem Gesamtbild zusam-mengesetzt werden, bevor eine Bildanalyse erfolgen kann. Für Anwendungen in der Landwirtschaft werden Nahinfrarot-Kameras eingesetzt. Diese können sehr erfolgreich zur Vegetations- und Wachstumsanalyse von Agrarflächen sowie im Precision Farming eingesetzt werden. Die Technologie dieser Kameras ist ähnlich wie die von Digitalka-meras für den sichtbaren Bereich. Darum ist es mit derartigen hochwertigen KaDigitalka-meras bei vertretbarem Aufwand gut möglich, durch das Zusammenfassen der Nahinfrarot-Einzelbilder zu einem Orthofoto (durch Stitching) sich einen Überblick auch über größe-re Flächen zu verschaffen.

2 Stereokamera

Mit Stereokameras können live Entfernungsmessungen während des Flugs erfolgen und Höhenprofile erstellt werden. Zum Einsatz kommen hier sogenannte Actionkameras (Bild 1) sowie einfache Webcams (Bild 2). Die Kameras sind mit jeweils unterschiedli-chen Basisbreiten für verschiedene Entfernungsbereiche angeordnet. Ungenauigkeiten im Aufbau der Stereokamera und die Abbildungsfehler der Linsen (Linsendistorsionen) der einzelnen Kameras werden durch eine Kalibrierung korrigiert und beide Bilder je-weils rektifiziert. Aus den Unterschieden in den beiden korrespondierenden Bildern wird durch Triangulation die Entfernung zwischen der Stereokamera und den jeweiligen Ob-jekten im Bild berechnet und in einer Tiefenmap gespeichert (LAUTERBACH 2013). In Bild 2 ist die Tiefenmap mittels Graustufen visualisiert. Je heller die Darstellung, desto näher ist das Objekt an der Kamera. Mit der Tiefenmap und der bei der Kalibrierung der Stereokamera berechneten Reprojektionsmatrix werden für jeden Pixel die 3D-Koordinaten berechnet und in einer 3D-Punktewolke gespeichert. Mittels einer Serie von Stereobildern und den daraus resultierenden 3D-Punktewolken können schließlich 3D-Objektmodelle, 3D-Umgebungsmodelle und Höhenprofile erstellt werden.

Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314

Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)

20. Workshop Computerbildanalyse und Sensorik in der Landwirtschaft 153

Bild 1: Multikopter der Hochschule Harz mit montierter Stereokamera (2 Actionkameras)

Bild 2: Stereokamera realisiert mit Webcams, Darstellung der Entfernung durch Graustufen Mit Hilfe der Semantischen Objekterkennung werden schließlich Objekte in digitalen Bildern anhand gelernter Modelle detektiert (SCHMIDSBERGER & STOLZENBURG 2013A

und B). Die Kombination von Stereo-Sehen und Objekterkennung ermöglicht die ge-naue Befliegung bekannter Objekte (Gebäude, Grundstücke, Felder, Windräder, Fahr-zeuge etc.) aus definierten Abständen durch das sogenannte Visual Docking.

3 Wärmebildkamera

Aufnahmen einer Wärmebildkamera unterscheiden sich grundsätzlich von Bildern, die mit gewöhnlichen Kameras gemacht wurden, da hier für das menschliche Auge nicht sichtbare Strahlung dargestellt werden muss. Der Sensor der Wärmebildkamera erfasst die Wärmestrahlung im Bereich von 7.500 bis 13.500 nm Wellenlänge. Die Darstellung der verschiedenen Temperaturen erfolgt entweder in Falschfarben oder in Graustufen.

Die verwendete Kamera kann Bilder mit einer Auflösung von 320x240 Pixeln aufneh-men. Da herkömmliche Verfahren der Bildverarbeitung (z.B. Kantendetektion) sich bei Infrarotaufnahmen aufgrund der weniger scharfen Konturen weniger gut eignen, sind hier Verfahren der Photogrammetrie und Semantischen Bildanalyse (Objekterkennung)

Bornimer Agrartechnische Berichte • Heft 88 ISSN 0947-7314

Leibniz-Institut für Agrartechnik Potsdam-Bornim e.V. (ATB)

Marks, Schmidsberger, Stolzenburg 154

mit Methoden der Künstlichen Intelligenz, insbesondere dem Maschinellen Lernen (BERRY &LINOFF 2011), zu kombinieren, um verknüpfte Aufnahmen zu erstellen.

Bild 3 zeigt die Wärmebildkamera im Einsatz am Multikopter. Neben der Kamera wurde ein Raspberry Pi angebracht, um die Aufnahme zu steuern und die aufgenommenen Bil-der zu speichern.

Bild 3: Multikopter der Hochschule Harz mit montierter Wärmebildkamera

Bild 4 (Auflösung 1099x436 Pixel) zeigt eine Wärmebildaufnahme eines Parkplatzes der Hochschule Harz. Zur Erzeugung dieses zusammengesetzten Bildes wurden ca. 300 Ein-zelbilder verwendet. Aufgrund der geringen Auflösung der Kamera benötigt man diese große Anzahl an Einzelbildern. Der Temperaturverlauf folgt hier dem Schema schwarz (kalt) bis weiß (warm).

Bild 4: Zusammengesetztes Wärmebild eines Parkplatzes