Computer Vision in autonomen Systemen
Matthias O. Franz
Max-Planck-Institut für biologische Kybernetik Tübingen
Autonome Systeme
Grundbegriffe
Autonomes System (Agent): steuert selbst sein Verhalten mit eigener Sensorik in einer dynamischen, unvorhersagbaren Umwelt.
Mobile Systeme
Situierte Systeme
Autonome Systeme
Mobile, autonome,situierte Systeme:
• Mobile Roboter
• Autonome Straßenfahrzeuge
• Frei bewegliche Organismen
Mobile, autonome, nichtsituierte Systeme:
• Simulierte Organismen
• Simulierte mobile Roboter
Mobile, autonome Systeme zeigen
räumliches Verhalten.
Basisverhalten:
• Orientierungsstabilisierung:
Beibehaltung einer räumlichen Orientierung bzgl. der Umgebung (Taxis)
• Kursstabilisierung:
Kompensation von Verdriftungen (z.B. Seitenwind, Schräglage)
• Hindernisvermeidung
Komplexes Raumverhalten:
• Navigation:
Bestimmung und Aufrecht- erhaltung einer Trajektorie zu einem ortsfesten Ziel
• Verfolgung:
Bestimmung und Aufrecht- erhaltung einer Trajektorie zu einem beweglichen Ziel
• Exploration:
Durchsuchen eines Raum- gebietes nach relevanten Resourcen oder Informationen Grundlage für
Räumliches Verhalten
Grundbegriffe
Berechnungstheorie des Sehens:
Klassischer Ansatz (Marr, 1982; Poggio et al., 1985), auch Rekonstruktionsparadigma oder passives Sehen:
• Sehen ist „inverse Optik“, Extraktion einer symbolischen Beschreibung der Umgebung aus optischen Reizen.
• Bilder werden als gegeben betrachtet, passiver Beobachter
• Ziel ist die möglichst vollständige Beschreibung der abgebildeten Szene, Nutzen und Verhaltenskontext ist unerheblich
Aktives Sehen:
seit Anfang der 90er, basierend auf der ökologischen Theorie des Sehens (Gibson, 1950):
• Aktionen werden nicht nur aus der Szenenrekonstruktion abgeleitet, sondern dienen dem Sehen, System erzeugt sich die relevanten Stimuli selbst („schauen statt sehen“)
• Rekonstruktion ist nicht Ziel, sondern wird nur dort eingesetzt, wo es dem Verhalten dient, und nur so weit wie nötig (Teilrekonstruktion)
• Selektion relevanter Stimuli, Benutzung des zeitlichen Zusammenhangs
• keine festgelegt Verarbeitungssequenz, sondern variabel verknüpfbare, oft parallel laufende Verhaltensweisen
Grundbegriffe
Passives und aktives Sehen
Computer Vision: Maschinelles oder technisches Sehen, Rechnersehen
• räumliche Helligkeitsgradienten:
- Orientierungs- und Kursstabilisierung
• Kontraste:
- Orientierungs- und Kursstabilisierung
- Erkennung von Objekten für Hindernisvermeidung
- Erkennung von Orten oder Zielen für Navigation, Verfolgung und Exploration
• Bildbewegung: - Eigenbewegungsinformation für Orientierungs- und Kurs- stabilisierung und komplexere Raumverhalten
- Abstandsinformation für Hindernisvermeidung und Objekterkennung - Detektion von bewegten Objekten für Hindernisvermeidung, Verfolgung und Exploration
• Stereo:
- Tiefeninformation für Hindernisvermeidung Objekt- und Ortserkennung Grundbegriffe
Visuelle Information für räumliches Verhalten
2. Messung von Korrespondenzen in Bildern: - Einführung in die Systemtheorie und Fourieranalyse - Filteroperationen in der Bildverarbeitung
- Messung von Bildkorrespondenzen - Korrelations- und Gradientendetektor
- Qualitätsmaße für Korrespondenzmessungen 3. Hindernisvermeidung mit optischem Fluß: - Optischer Fluß und Objektdistanzen
- Die künstliche Fliege
- Autonome Roboter im Korridor
- Detektion von Kollisionsgefahren durch bewegliche Objekte
4. Schätzung der Eigenbewegung aus
Flußfeldern: - Eigenbewegung aus visueller Information
- Tangentialneuronen in der Fliege - Matched Filters
- Ein Roboter mit Tangentialneuronen 5. Einführung in Stereo: - Distanz aus Disparitäten
- Epipolarengeometrie - Kalibrierung
- Korrespondenzverfahren
Einführung
Übersicht
6. Homing mit Schnappschüssen: - Einführung in Navigation
- Visuelles Homing: Biologische Vorbilder - Näherungslösungen
- Anwendungen in der Robotik
7. Kalmanfilter: - Das Schätzproblem
- Qualitätsmaße für Schätzer - Dynamische Signalmodelle - Kalmanfilter
8. Anwendung und Erweiterung des Kalmanfilters: - Fahrspurerkennung für Fahrerassistenz- systeme
- Visuelles Tracking on beweglichen Objekten
- Kondensationstracker
Übersicht
Einführung
Allgemein:
• Jähne, B.: Digitale Bildverarbeitung, Springer Verlag, Heidelberg, 1993
• Mallot, H.A.: Sehen und die Verarbeitung visueller Information, Vieweg, Braunschweig, 1998
• Horn, B.K.P.: Robot Vision, MIT Press, Cambridge Ma., 1986
• Gonzalez, R.C., Woods, R.E.: Digital Image Processing, Addison-Wesley, Reading Ma., 1992
• Haralick, R.M., Shapiro, L.G.: Computer and Robot Vision, 2 Bände, Addison-Wesley, Reading Ma., 1992, 1993
Bewegungsanalyse:
• Grundlagen s.o. Jähne 1993, Mallot 1998
• Jähne, B.: Spatiotemporal Image Processing, Lecture Notes in Computer Science, Vol. 751, Springer, Heidelberg, 1993
• Zanker, J.M, Zeil, J.: Motion Vision, Springer, Heidelberg, 2001 Statistische Signalverarbeitung, Schätztheorie:
• Oppenheim, A.V., Willsky, A.S.: Signale und Systeme, VCH, Weinheim, 1992
• Brammer, K., Siffling, G.: Kalman-Bucy-Filter, Oldenbourg, München, 1994
• Papoulis, A.: Probability, random variables, and stochastic processes, McBraw-Hill, Boston, 1991
• McKay, S.M.: Statistical Signal Processing, Prentice Hall, Upper Saddle River NJ, 1993
• Brown, R.G., Hwang, P.Y.C.: Introduction to random signals and applied Kalman filtering, Wiley, New York, 1997
• Grewal, S.G., Andrews, A.P.: Kalman Filtering, Prentice Hall, Upper Saddle River NJ, 1993
• Blake, A., Isard, M.: Active Contours, Springer Verlag, Heidelberg, 1998
Literatur
Einführung
Navigation:
• Borenstein, J., Everett, H.R., Feng, L.: Where am I? Sensors and method for mobile robot positioning, University of Michigan Report (CD), 1996
• Kortenkamp, D., Bonasso, R.P., Murphy, R.: Artificial Intelligence and mobile robotics, MIT Press, Cambridge Ma, 1998
• Papi, F.: Animal Homing, Chapman & Hall, London, 1992
• Shufeldt, H.H., Dunlap, G.D.: Piloting and dead reckoning, Naval Institute Press, Annapolis MD, 1991
