Masterarbeit
Modellierung von Emotionen mittels assistiver Roboter
eingereicht von Maximilian Feigl
geboren am 30.12.1990 in Regensburg
Technische Universität Dresden
Fakultät Informatik
Institut für Angewandte Informatik Lehrstuhl Mensch-Computer-Interaktion
Betreuer:
David Gollasch, M. Sc.
Dr.-Ing. Limin Zeng Hochschullehrer:
Prof. Dr. rer. nat. habil. Gerhard Weber
Erklärung
Ich erkläre, dass ich die vorliegende Arbeit mit dem TitelModellierung von Emotionen mittels assistiver Roboterselbständig unter Angabe aller Zitate angefertigt und dabei ausschließlich die aufgeführte Literatur und genannten Hilfsmittel verwendet habe.
Dresden, 22. Februar 2018
Maximilian Feigl
Kurzfassung / Abstract
Kurzfassung
In Zeiten von dringend benötigtem Pflegepersonal sind Roboter als Pflegekräfte der Zukunft ein interessantes Forschungsgebiet. Um das Zusammenleben zwischen Menschen und Robotern zu verbessern ist es wichtig, dass Roboter Emotionen darstellen können. Da eine neue Emotions- implementierung, für jeden neu entwickelten Roboter, mit sehr großem Aufwand verbunden ist soll im Rahmen dieser Arbeit ein Universalmodell entstehen, mit dem Emotionen automati- siert auf Robotern mit unterschiedlichen Fähigkeiten und Einschränkungen dargestellt werden können. Dazu wird zunächst die bestehende Literatur über Emotionen gesichtet um Emotionen bestimmte Körperbewegungen und Gesichtsausdrücke zuzuordnen. Anschließend wird über- prüft welche Anforderungen ein Emotionsmodell erfüllen muss um für möglichst viele Roboter erkennbare Emotionen produzieren zu können. Dabei wird erkennbar, dass Feature-Modelle ei- nen Großteil der benötigten Notation bereits abbilden, weshalb die vorgestellten Emotionsmo- delle sich an dieser Notation anlehnen. Um zu überprüfen, ob die erstellten Modelle erkennbare Emotionen produzieren können wird eine Android Bibliothek entwickelt, die anschließend im speziellen Anwendungsfall auf dem Roboter Loomo von Segway Robotics eingesetzt wird. Mit diesem Roboter wird dann ein Nutzertest durchgeführt, bei dem sich herausstellt, dass das Mo- dell erkennbare Emotionen liefert und bei grundlegenden Emotionen mit 80 % Erkennungsrate sehr gute Ergebnisse liefert, andere Emotionen aber aufgrund des fehlenden Kontext allerdings nur schlecht erkannt werden.
Abstract
In times of need for care personal their robotic counterparts are an interesting and striving research topic. To improve the coexistence of robots and humans it is important for robots to be able to display emotions. Because the current development process of specific models for each robot is very expensive, the objective of this thesis is to develop a universally usable model which can automatically display emotions for robots with different capabilities and limitations.
Therefore the first step is to sight the literature about emotions to map specific movements and facial expressions to specific emotions. Afterwards the specific needs, to enable as many robots as possible to display emotions, for such a model are reviewed. This review shows that feature models already have the capability to display most of the needed notation, which leads to them beeing used as the basis of the here introduced emotion models. To check wether said models have the ability to create recognizable emotions an android library is created which is used to enable the robot Loomo of Segway Robotics display emotions. The performed user study shows that basic emotions are easily distinguishable and have 80 % recognition rate, while other emotions lacked behind because of the missing context that is needed to identify them.
Inhaltsverzeichnis
Kurzfassung / Abstract I
1 Motivation 1
2 Hintergrund zu Emotionen 3
2.1 Überblick über verschiedene Emotionsdefinitionen . . . 3
2.2 Bestandteile von Emotionen . . . 5
2.3 Erkennung von Emotionen . . . 9
2.4 Emotionen bei Robotern . . . 10
2.5 Zusammenfassung . . . 15
3 Modell zur Übertragung von Emotionen auf Roboter 17 3.1 Universelle Emotionsmodelle als Hilfe für Entwickler . . . 17
3.2 Anforderungen an ein Emotionsmodell . . . 17
3.3 Feature-Modelle als Notationsansatz . . . 19
3.4 Erweiterung des Feature-Modells zum Emotionsmodell . . . 21
3.5 Modelle der einzelnen Emotionen . . . 21
3.5.1 Wut (grundlegende Emotion) . . . 22
3.5.2 Angst (grundlegende Emotion) . . . 23
3.5.3 Beklemmung . . . 23
3.5.4 Freude (grundlegende Emotion) . . . 23
3.5.5 Ekel (grundlegende Emotion) . . . 23
3.5.6 Traurigkeit (grundlegende Emotion) . . . 24
3.5.7 Überraschung (grundlegende Emotion) . . . 24
3.5.8 Unsicherheit . . . 24
3.6 Verwendung des Modells zur Implementierung von Emotionen . . . 33
3.7 Zusammenfassung . . . 35
4 Prototypische Modellimplementierung an einem konkreten Beispiel 37 4.1 Vorstellung von Segway Robotics Loomo . . . 37
4.2 Implementierung . . . 37
4.2.1 Architektur . . . 38
4.2.2 Algorithmus zur Umwandlung der Modelle in dargestellte Emotionen . . . 41
4.3 Einschränkungen und Probleme . . . 44
4.4 Zusammenfassung . . . 45
5 Nutzerstudie zur Überprüfung der Erkennbarkeit der Emotionen 47 5.1 Aufbau der Studie . . . 47
5.2 Durchführung der Studie . . . 47
5.3 Auswertung der Studie . . . 48
5.4 Interpretation der Studie . . . 54
6 Fazit und Ausblick 57 6.1 Zusammenfassung . . . 57 6.2 Fazit . . . 58 6.3 Ausblick . . . 58
A Anhang i
A.1 Befehlsliste . . . i A.2 Fragebogen . . . v A.2.1 Ergebnisse des Fragebogens . . . xiv
Abbildungsverzeichnis xxvii
Abkürzungsverzeichnis xxviii
Tabellenverzeichnis xxviii
Quellcodeverzeichnis xxviii
Literatur xxix
1 Motivation
Durch eine immer älter werdende Gesellschaft, kombiniert mit einem seit Jahren starken Perso- nalmangel in Pflegeberufen [Bun17] wird der Einsatz von Assistenzrobotern in der Pflege immer wichtiger. Wie vielversprechend Roboter auf diesem Gebiet sind zeigen immer mehr Studien, die sich mit diesem Thema in letzter Zeit befassen. So entwickelten zum Beispiel Wada et al.
2003 einen robbenähnlichen Roboter [Wad+03], oder Stiehl und Breazeal einen Bären [SB05]
um Einsamkeit in Altenheimen vorzubeugen. Durch die häufige Interaktion entwickelt sich eine enge Bindung zwischen Mensch und Roboter und es entsteht zwangsweise das Verlangen nach einer besseren Zusammenarbeit und Kommunikation zwischen Mensch und Roboter.
Breazeal [Bre09] wirft dabei auf, wie wichtig Emotionsdarstellung bei Robotern für die soziale Akzeptanz und die Entstehung einer Bindung zwischen Robotern und Menschen sind. Gerade im Kontext der Pflege, zum Beispiel bei dementen Patienten, spielt die Kommunikation über Emotionen eine große Rolle, da von ihnen Emotionen meist schneller und einfacher verstanden werden, als gesprochene Sätze.
Ziele der Arbeit
Das Hauptziel dieser Arbeit besteht in der Erstellung eines Modells zur multimodalen Emoti- onsdarstellung bei Robotern. Das heißt eine Zerlegung einzelner Emotionen in deren Teile, also Bewegungen, Töne und Gesichtsausdruck, wobei im Idealfall jeder Teil für sich eine Erkennung der gezeigten Emotion zulassen soll. Anschließend soll dieses Modell auf den Roboter Loomo übertragen und getestet werden. Die Anwendungsfälle dafür sind Fähigkeiten die Loomo als Begleiter für zu Hause benötigen könnte, wie
• eine Motivationshilfe, bei der sich seine Laune, mit der Anzahl der erledigten Aufgaben bessert, bzw. verschlechtert
• ein Tagesplaner
• ein Ernährungsplaner
• Emotionen zur Batteriestandanzeige
• Termineinhaltung
• Überwachung, bei der Emotionen den Sicherheitszustand widerspiegeln Im Kontext dieser Anwendungsfälle stellt sich die Frage:
Ist es möglich, ein Verfahren zu entwickeln, mit dem automatisiert Emotionen auf Robotern, mit unterschiedlichen Körperteilen und Fähigkeiten erkennbar, darge- stellt werden können?
Um dies zu überprüfen sind mehrere Teilziele notwendig:
• Einarbeitung in Emotionen als Kommunikationsmittel
• Zerlegen der Emotionen in benötigte Körperteile und Bewegungen
• Erstellung eines Mappings von Emotionen auf verschiedene Ausgabemodalitäten (Audio, Gesichtsausdrücke, Bewegungen)
• Prototypische Implementierung der Emotionen anhand des Roboters Loomo
• Nutzerstudie zum Test der Erkennungsgenauigkeit der Emotionen, bestehend aus einem Test, bei dem Probanden Emotionen erkennen sollen und einer anschließenden Befra- gung.
Aufbau der Arbeit
Um dieses Modell erstellen zu können wird zunächst in Abschnitt 2.1 die Frage beantwortet, was Emotionen sind und welche Funktionen sie im täglichen Leben übernehmen. Im nächs- ten Schritt wird in Abschnitt 2.2 erklärt aus welchen Gesichtsausdrücken und Bewegungen die einzelnen Emotionen bestehen. In Abschnitt 2.3 wird grob umrissen, wie Emotionserkennung funktioniert und in Abschnitt 2.4 werden beispielhaft einige Roboter mit Emotionsfähigkeiten genannt.
Anhand dieser Informationen wird anschließend in Kapitel 3 ein Mappingsystem entwickelt, bei dem die Emotionen in möglichst vielen Modalitäten auf unterschiedliche Roboter übertra- gen werden können. Zur Verifizierung der Nutzbarkeit dieses Modells werden die Emotionen anschließend in Kapitel 4 exemplarisch auf dem Roboter Loomo [Seg] implementiert und in den einzelnen Unterkapiteln dazu erklärt wie das Mappingsystem genutzt wurde um die Emotionen zu implementieren.
In der anschließenden Nutzerstudie, die in Kapitel 5 behandelt wird, soll zunächst in Ab- schnitt 5.1 und 5.2 der Aufbau und die Durchführung der Studie beschrieben werden, bevor in Abschnitt 5.3 auf die Ergebnisse eingegangen wird, die anschließend in Abschnitt 5.4 interpre- tiert werden.
Zuletzt wird in 6 das Ergebnis der Arbeit zusammengefasst und eventuelle weiterführende Schritte zur Vertiefung dieses Themas vorgeschlagen.
2 Hintergrund zu Emotionen
Um ein System zur Emotionsdarstellung bei Robotern entwickeln zu können, ist es zunächst nötig zu erörtern, was Emotionen sind und woraus die einzelnen Emotionen bestehen. Des Wei- teren ist es wichtig den Kontext der Interaktion zwischen Mensch und Roboter zu verstehen, um zu erkennen, wo und wie Emotionen dabei sinnvoll eingesetzt werden können.
2.1 Überblick über verschiedene Emotionsdefinitionen
Scherer definiert Emotionen als:
Definition 1: Emotionsdefinition nach Scherer
„[...] a sequence of interrelated, synchronized changes in the states of all of the five orga- nismic subsystems in response to the evaluation of an external or internal stimulus event as relevant to central concerns of the organism.“ [Sch87]
Emotionen sind also eine Reaktion auf ein entweder körperintern, oder -extern auftretendes Ereignis, das eine zentrale Bedeutung für den Organismus hat. Außerdem teilt er die Funktionen von Emotionen, wie in Tabelle 2.1 dargestellt, in fünf Bereiche ein.
Tabelle 2.1– Beziehung zwischen Subsystemen von Organismen und den Funktionen und Kompo- nenten von Emotionen [Sch05]
Zentrales Nervensystem (ZNS); Neuro-endokrines System (NES); Autonomes Nervensystem (ANS); Somatisches Nervensystem (SNS)
Er sagt weiterhin, dass Emotionen immer stimulierende Ereignisse vorausgehen. Das kön- nen, Naturphänomene, andere Menschen oder unser eigenes Verhalten sein. Weiterhin sind Emotionen wertungsabhängig. Dabei unterscheidet er zwischenintrinsic appraisalundtran- sactional appraisal. Die treffendste Übersetzung fürIntrinsic appraisalistcharakterabhängige Bewertung, bei der Ereignisse anhand genetischer, oder erlernter Vorlieben bewertet werden.
Im Gegensatz dazu werden Ereignisse bei der Transaktionsbewertung anhand ihres Nutzens für bestimmte Ziele, oder Bedürfnisse bewertet. Anhand dieser Bewertung bereiten Emotio- nen angebrachte Reaktionen auf dieses Ereignis vor. Weil sich die Ereignisse und vor allem die Bewertung dieser Ereignisse sehr schnell ändern, ändert sich auch das Antwortverhalten auf diese Ereignisse sehr schnell und durchkreuzt durch die starke motivierende Natur von Emo- tionen auch andere Ziele oder Pläne. Um trotzdem Flexibilität im Verhalten zu erlauben sind Emotionen dafür nur von relativ kurzer Dauer. [Sch05]
Emotionen als Kommunikationsmittel
Eine vorrangige Aufgabe Emotionen ist die Kommunikation mit anderen Menschen. Einen Be- leg dafür gibt eine Studie von Kraut und Johnston [KJ79], die zeigte, dass Bowler nach einem guten Wurf öfter lächelten, wenn sie ihre Mitspieler ansahen, als beim Beobachten der Pins.
Dabei spiegeln gezeigte Emotionen aber keinesfalls immer den wirklichen Gefühlszustand des Menschen wider, sondern können auch lediglich erlernte soziale Konventionen sein und so- gar der wirklichen gefühlten Emotion widersprechen, wie zum Beispiel beim Erhalt eines un- erwünschten Geschenks, bei dem man dennoch lächelt und sich freundlich bedankt, an der Oberfläche somit glücklich wirkt, es aber in Wirklichkeit gar nicht ist [Hes01]. Ekman hingegen ist der Meinung, dass Emotionen nicht nur zur Kommunikation dienen und während zwischen- menschlichen Beziehungen auftreten, sondern auch alleine, beispielsweise als Reaktion auf ein Gewitter. Allerdings ist auch er der Meinung, dass die Hauptaufgabe darin besteht möglichst schnell wichtige zwischenmenschliche Aufgaben zu bewältigen. [Ekm92]
Emotionsaufgaben nach William James
Eine weitere Art Emotionen zu definieren ist auf William James zurückzuführen. James sagt, dass Emotionen auf bestimmte körperliche Veränderungen, oder Handlungen zurückzuführen sind. Der menschliche Körper hat gelernt automatisch auf überlebenswichtige Umwelteinflüsse zu reagieren. Dieses Erfahren der körperlichen Reaktion ist dann die Emotion. Er argumentiert damit, dass ohne die körperliche Reaktion auf ein Ereignis nur rational überlegte Handlungen ohne Emotion folgen würden und, dass die Handlung für die wirkliche Emotion verantwortlich ist [Jam84]. Ein Problem dieser Argumentationsreihe, dass die Emotion erst auf eine körperliche Reaktion folgt, das viele Kritiker anmerken ist, dass der kausale Zusammenhang zwischen einer Körperbewegung und einer darauf folgenden Emotion nicht immer Sinn ergibt. So argumentie- ren sie, dass beispielsweise die Aussage „Wir fürchten uns weil wir laufen“ in dieser Reihenfolge keinen Sinn ergibt. [Cor00]
Kognitiver Ansatz der Emotionsdefinition
Neben dem Darwin‘schen und James‘schen Ansatz gibt es noch die Kognitive Perspektive. Die- ser Ansatz baut auf den beiden vorher genannten auf, nimmt aber noch einen Schritt hinzu, in dem Ereignisse bewertet werden. Diese Bewertungen erfolgen sofort nach dem Ereignis im Unterbewusstsein und informieren den Körper über bestimmte Umstände in der Umgebung und bereiten ihn auf eine angebrachte Handlung vor. Dabei spielt die Personalität und persön- liche Erfahrungen, bzw. Gelerntes für die Bewertung und Handlungsvorbereitung der Person
2.2 Bestandteile von Emotionen
eine große Rolle [Cor00]. Ein Beleg für diese Theorie der vorangehenden Bewertung wurde durch Speisman et al. gebracht, die in einer Studie zeigten, dass die Reaktionen der Testper- sonen durch eine Änderung des Kontexts, bzw. der Situationsbewertung beeinflusst werden kann [Spe+64].
Emotionsdefinition der sozialen Konstruktivisten
Die letzte vorgestellte Perspektive zum Verständnis von Emotionen schließt sich den Theo- rien der sozialen Konstruktivisten an. Diese Theorie besagt, dass Emotionen Produkte sozia- ler Regeln und gelernter Verhaltensweisen sind, die von sozialen Gruppen vorgegeben wer- den. [Ave83]
Grundlegende Emotionen
Eine allen diesen genannten Theorien übergeordnete Unterteilung von Emotionen bezieht sich auf den Stellenwert, den die Emotion im täglichen Leben einnimmt. Eine sehr häufig verwendete Unterkategorie sind die grundlegenden Emotionen.
Sie unterliegen keinerlei sozialen, oder gesellschaftlichen Unterschiede und sind auf der ganzen Welt universell verständlich.
Es gibt sogar Argumente dafür, dass alle höher entwickelten Tiere diese Emotionen besitzen und darstellen können. [Ekm92]
Diese grundlegenden Emotionen sind Freude, Wut, Traurigkeit, Angst, Ekel und dienen dem Umgang mit essenziellen Aufgaben im Leben [Ekm92]. Ein Unterschied zu nicht grundlegenden Emotionen ist, dass die einzelnen grundlegenden Emotionen jeweils eindeutig von den ande- ren grundlegenden Emotionen unterschieden werden können, wodurch sie eine sehr hohe Er- kennungsquote haben. Im Gegensatz zu zweideutigen Emotionen, die erst durch den sozialen Kontext eindeutig erkennbar gemacht werden. [Hes01]
2.2 Bestandteile von Emotionen
Der nächste wichtige Schritt auf dem Weg zu einem Emotionsmodell für Roboter ist die Über- legung woraus die einzelnen Emotionen bestehen. Wichtig dafür ist es eine Klassifizierung von Bewegungen und Gesichtsausdrücken zu finden, die bestimmte Emotionen darstellen.
Die meisten Emotionen werden durch einen Gesichtsausdruck und/oder eine Körperbewe- gung oder Körperhaltung dargestellt. Bis jetzt ist es jedoch noch nicht gelungen die Beteiligung jedes Körperteils oder jeder Bewegung an einer Emotion abschließend zu bestimmen [BCB10].
Ekman und Friesen gehen in [EF74] sogar so weit zu sagen, dass Körperbewegungen oder Kör- perhaltungen alleine gar keine Emotion ausdrücken, oder darstellen können, sondern lediglich die Intensität einer Emotion damit dargestellt wird. Dem entgegengesetzt steht, dass in einer Studie von McCleanney et al. [MN89] festgestellt wurde, dass Probanden Traurigkeit und Wut besser erkannten, wenn nur der Körper statt Körper und Gesicht gezeigt wurde.
Wallbott hingegen stellte fest, dass es durchaus verschiedene Bewegungen gibt, die uns nur zwischenaktivenundpassivenEmotionen, wie zum Beispiel Wut, bzw. Traurigkeit unterschei- den lassen. Allerdings konnten bestimmte Körperhaltungen erfolgreich einzelnen Emotionen zugeordnet werden. [Wal98]
Gunes und Piccardi [GP06] gingen sogar noch einen Schritt weiter und entwickelten eine Gestendatenbank für Gesichts- und Körpergesten (FABO).
zuEmotionen
Ausdruck Gesichtsausdruck Körperbewegung
Neutral Kein Ausdruck Hände auf dem Tisch
Entspannt Unsicherheit Lippen ziehen
Herabhängende Lider Geschlossene Augen Augen wandern nach rechts/links/oben/unten
Kopf links/rechts/oben/unten geneigt Handflächen nach oben
Achselzucken
Handflächen nach oben + Achselzucken Rechte/linke Hand kratzt Kopf/Haare Rechte/linke Hand berührt rechtes Ohr Rechte/linke Hand berührt Nase
Rechte/linke Hand berührt Kinn Rechte/linke Hand berührt Nacken Rechte/linke Hand berührt Stirn Beide Hände berühren Stirn
Rechte/linke Hand unter dem Kinn, Ellbogen auf dem Tisch
Beide Hände hinter dem Kopf Wut Brauen gesenkt und zusammengezogen
Linien erscheinen zwischen Augenbrauen
Unteres Lid gespannt /evt. Erhöht Unteres Lid gespannt /abgesenkt wegen Brauen
Lippen zusammengepresst mit geraden, nach oben oder unten gezogenen Ecken
Geöffneter/aufgeplusterter Körper Hände auf Hüfte
Geschlossene Hände / geballte Fäuste Handflächen nach unten Geste Linke/Rechte Hand gehoben
Fingerzeig mit rechter/linker Hand, schütteln der Finger/Hand
Verschränkte Arme
Überraschung Augenbrauen erhöht
Haut unter Brauen gedehnt, nicht in Falten
Horizontale Falten über Stirn Geöffnete Augen
Kinn fällt herunter oder Mund wird ausgedehnt
Rechte/linke Hand geht zum Kopf Beide Hände gehen zum Kopf Bewegt rechte/linke Hand hoch Beide Hände berühren Kopf
Beide Hände berühren Gesicht, Mund Kopfschütteln
Rechte/linke Hand berührt Gesicht, Mund Beide Hände über Kopf
Rechte/linke Hand berührt Gesicht Beide Hände berühren Backen Beide Hände bedecken Mund Rückwärtsbewegung Traurigkeit Innere Ecken der Augenbrauen nach
oben gezogen
Innere Ecken des oberen Lids erhöht Ecken der Lippen nach unten gezogen
Zusammengezogener/geschlossener Körper Herabhängende Schultern
Kopf gebeugt
Körperbewegungen – nach vorn gelehnter Oberkörper
Gesicht mit beiden Händen bedeckt Selbstberührung (ungläubig)/bedeckt Körperteile/Arme um Körper/Schultern
Körper gestreckt und Hände über Kopf Hände niedriger als in normaler Position Geschlossene Hände bewegen sich langsam Beide Hände berühren langsam den Kopf Eine Hand berührt den Nacken, Hände bewegen sich geschlossen zusammen und gesenkter Kopf
2.2BestandteilevonEmotionen Tabelle 2.3– Gesichtsausdrücke und Körperbewegungen der FABO Teil 2 [GP06]
Ausdruck Gesichtsausdruck Körperbewegung
Angst Brauen erhöht and zusammengezogen
Stirnfalten zusammengezogen Oberes Augenlid erhöht and unteres nach oben gezogen
Mund geöffnet
Lippen leicht angespannt oder zusammengezogen
Körper zusammengezogen
Geschlossener Körper/geschlossene Hände/geballte Fäuste
Körper zusammengezogen, arme um den Körper Selbstberührung (ungläubig) / Körperteile bedecken / Arme um den Körper / Schultern Rückwärtsbewegung, Hand bedeckt Kopf
Rückwärtsbewegung, Hand bedeckt Nacken Rückwärtsbewegung, Hand bedeckt Gesicht Beide Hände über Gesicht
Selbstberührung (ungläubig), bedeckt Gesicht mit Händen
Beklemmung Lippen ziehen Lippen beißen Herabhängende Lider Geschlossene Augen Augen bewegen sich rechts/links/oben/unten
Hände zusammengepresst Fingerspitzen tippen auf Tisch Nägel beißen
Kopf neigt sich /links/rechts/oben/unten
Glück Ecken der Lippen nach hinten und oben gezogen
Mund geöffnet/ohne Zähne zu zeigen/backen nicht erhöht Unteres Augenlied zeigt Falten darunter
Falten um äußere Ecken der Augen
Körper geweitet Hände klatschen
Arme gehoben oder mit Fäusten vom Körper gesteckt
Ekel Oberlippe erhöht
Unterlippe erhöht und zur Oberlippe gedrückt, oder gesenkt
Nase gerunzelt Backen erhöht
Brauen nach unten gezogen
Hände nah am Körper Rückwärtsbewegung
Richtungswechsel / Bewegung nach rechts oder links
Rückwärtsbewegung, Hände bedecken Kopf
Rückwärtsbewegung, Hände bedecken Nacken
Rückwärtsbewegung, rechte/linke Hand auf dem Mund
Rückwärtsbewegung, rechte/linke Hand nach oben bewegt
Langeweile Herabhängende Lider Geschlossene Augen Lippen ziehen
zuEmotionen
Emotion Oberkörper Schultern Kopf Arme Hände Bewegungsausprägung
Unterschiede zu beobachteten Standardbewegungen und Körperhaltungen, wobei die Standardbewegung ist:
Aufrecht Hängend Richtung Kamera Hängend Keine speziellen
Aktivitäten
Keine spezielle Bewertung
Kalte Wut Hoch Nach vorne
gestreckt
Seitliche Bewegungen
Kochende Wut Hoch Nach vorne
gestreckt
Seitliche Bewegungen, Zeigen,
öffnen/schließen, Handaußenseiten seitwärts, viele Gesten
Hohe Bewegungsaktivität, ausgeprägte Bewegungen, hohe Bewegungsdynamik
Beschwingte Freude Hoch
Nach hinten
Nach vorne oder oben gestreckt
Öffnen/schließen, viele Gesten
Hohe Bewegungsaktivität, ausgeprägte Bewegungen, hohe Bewegungsdynamik
Glück Geringe Bewegungsdynamik
Ekel Gedrückt Nach hinten oder
vorne
Nach unten Vor Brust verschränkt
Unausgeprägte Bewegungen
Verachtung Geringe Bewegungsaktivität
Traurigkeit Gedrückt Geringe Bewegungsdynamik
Verzweiflung Nach vorne Öffnen/schließen Ausgeprägte Bewegungen
Furcht Öffnen/schließen,
viele
Selbstmanipulatoren
Schrecken Seitlich
weggestreckt
Hohe Bewegungsaktivität
Scham Gedrückt Nach unten Viele
Selbstmanipulatoren
Interesse Nach vorne
gestreckt
Seitliche Bewegungen
Stolz Nach hinten Vor Brust
verschränkt
Langeweile Gedrückt Nach hinten Geringe Bewegungsaktivität,
unausgeprägte Bewegungen, geringe Bewegungsdynamik
2.3 Erkennung von Emotionen
Wie bereits erwähnt, sind Gesichtsausdrücke möglicherweise für die Emotionsdarstellung und Emotionserkennung noch wichtiger, als die Körperhaltung. Die dargestellten Emotionen bestehen aus verschiedenen Gesichtsausdrucksteilen, von denen allerdings nur eine bestimmte Teilmenge zur Erkennung der Emotion benötigt wird. [Koh+04]
Glückliche Gesichter bestehen in der Regel aus nach oben gezogenen inneren Augenbrauen, sowie verengten unteren Augenlidern, angehobenen Wangen und einer angehobenen Oberlippe mit nach oben gewinkelten Mundwinkeln. Zur Erkennung davon werden allerdings nur erhöhte Wangen und verengte Lider benötigt. [Koh+04]
Auf Traurigkeit können Stirnrunzeln, offener Mund mit nach oben gezogener Oberlippe, nach außen und unten gezogene Lippen und ein hoch gezogenes Kinn hindeuten. Zur Erkennung nötig sind allerdings nur eine nach unten gezogene Braue, sowie das erhöhte Kinn. [Koh+04]
Für Wut stehen entweder Stirnrunzeln, oder nach unten gezogene Augenbrauen, mit weit geöffneten Augen und angespanntem unteren Augenlied, nach oben gezogener Oberlippe, die gemeinsam mit einer nach unten gezogenen Unterlippe die Zähne zeigt. Zur Erkennung werden allerdings die geöffneten Augen, sowie die nach unten gezogenen Augenbrauen und nach unten gezogene Lippe benötigt. [Koh+04]
Furcht wird am besten bei geöffnetem Mund in Kombination mit nach oben gezogenen Au- genbrauen, sowie manchmal mit geweiteten Nasenlöchern, erkannt. [Koh+04]
Mit dem Abschluss der Erklärung zu Bestandteilen einiger wichtiger Emotionen kann im nächs- ten Abschnitt dazu übergegangen werden zu erklären, wie diese Bestandteile benötigt werden um die Emotion zu erkennen.
2.3 Erkennung von Emotionen
Nachdem nun erklärt wurde, woraus Emotionen bestehen und auch die Emotionserkennung bereits kurz angerissen wurde befasst sich dieser Teil mit der Erkennung und erklärt, wieso man sich bei der Emotionsdarstellung nicht nur auf den Körper, oder das Gesicht konzentrieren sollte.
Die Erkennung von Emotionen geschieht in mehreren Schritten. Auf die ursprüngliche Dar- stellung der Emotion erfolgt vom Gegenüber ein Musterabgleich mit bekannten Gesichtsaus- drücken, oder Körperhaltungen. Nach diesem Abgleich wird dieses bekannte Muster einer Emo- tion zugeordnet, wobei das Vorwissen über die Situation hilft Missverständnissen vorzubeu- gen [Hes01]. Ein weiterer hilfreicher Faktor bei der Erkennung ist auch das Vorwissen über die Person. So erkennen zum Beispiel langjährige Freunde, oder Partner die gegenseitigen Emotio- nen besser, als Fremde. Das liegt daran, dass Freunde oft die Möglichkeit haben das Verhalten ihres Gegenübers zu beobachten und durch Gespräche ein besseres Verständnis dafür zu ent- wickeln. [CVI97] Dies geht sogar so weit, dass Partner nach einer Weile annehmen, dass sie die Emotionen des anderen in bestimmten Situationen kennen, ohne ihn anzusehen. [Hes01]
In der Forschung lag der Fokus bei der Emotionserkennung lange Zeit auf den Gesichtern.
Eine mögliche Erklärung dafür könnte sein, dass das Gesicht in der westlichen Welt als Fenster zur Seele gesehen wird und als primäres Erkennungsziel für Gedanken und Gefühle gilt. Dies könnte daran liegen, dass Gesichter Emotionen schnell, automatisch und unbewusst darstellen, weshalb der Mensch intuitiv das Gesicht zur Emotionserkennung betrachtet. Eine viel weiter zurückreichende Erklärung dafür wäre der Geist-Körper Dualismus der von Descartes geprägt wurde. Diese Theorie besagt, dass die Natur des Geistes vollkommen unterschiedlich zu der des Körpers sei. Im Bezug auf Emotionsdarstellung nimmt dabei das Gesicht die Rolle des Geistes
und Mentalen ein, während der Körper die Rolle einer Maschine hat und aufgrund des fehlenden Geistes keine Emotionen ausdrücken kann. [Gel09]
DeGelder schlägt außerdem vor, dass man aufgrund der unterschiedlichen Natur zwischen Gesichtsausdrücken und Körperbewegungen bei der Emotionsdarstellung und -erkennung un- terscheiden muss. Aufgrund der besseren Erkennbarkeit über größere Entfernung von Kör- perbewegungen schlägt er vor, dass das Gesicht hauptsächlich für die Darstellung der Befind- lichkeit der Person verantwortlich sei. Körperbewegungen im Gegensatz dazu spiegeln die Ak- tionen, oder Aktionsvorhaben einer Person oder Gruppe wider. [Gel09] Wie eine Studie von Meeren et al. zeigt, darf man Emotionen allerdings nicht nur an Gesichtsausdrücken, oder Kör- perbewegungen festmachen, sondern muss immer auch den Kontext betrachten. In der Studie kombinierten Meeren et al. wütende und ängstliche Gesichtsausdrücke mit ängstlichen und wütenden Körperbewegungen. Die Probanden wurden angehalten sich auf die Gesichtsaus- drücke der Emotionsdarsteller zu konzentrieren und zu sagen, ob diese ängstlich oder wütend sind. Bei nicht übereinstimmenden Gesichtsausdrücken mit Körperhaltungen, also zum Beispiel einem ängstlichen Gesicht, auf einem wütenden Körper tendierten die Benutzer zur Emotion des Körpers. [MHG05] Die Aussage dieser Studie lässt sich allerdings nicht für alle Emotionen verallgemeinern. So gibt es beispielsweise Emotionen, die hauptsächlich über das Gesicht, oder über den Körper dargestellt werden. Beispiele hierfür wären Ekel, oder Wut, als Gesichts-, bzw.
körperdominante Emotionen (s. Tabelle 2.4).
Allerdings werden auch unter Berücksichtigung des ganzen Körpers selten Erkennungsraten über 80 % erreicht. [Gel09]
2.4 Emotionen bei Robotern
Abbildung 2.1– Uncanny Valley [Mor70]
2.4 Emotionen bei Robotern
Im Kontext der häufigen sozialen Interaktion zwischen Roboter und Mensch, wie zum Bei- spiel in der häuslichen Pflege, hat menschliches Aussehen und Verhalten einen sehr großen Stellenwert [Dau99]. Für diese Pflege-, bzw. Hilfsroboter stellt Dautenhahn drei Thesen auf:
These 1: Thesen zur Gestaltung von Hilfsrobotern [Dau02]
1. Die Roboter sollen für oder zusammen mit Menschen arbeiten; sie übernehmen Rol- len und Aufgaben, die normalerweise von Menschen ausgeführt werden und sollten deshalb eine menschliche Form von (sozialer) Intelligenz besitzen
2. Menschen interagieren lieber mit anderen Menschen, oder zumindest mit menschen- ähnlichen Robotern. Deshalb besteht die Hoffnung, dass menschenähnliche Roboter auf natürliche Art und Weise in die menschliche Arbeit integriert werden können, wie zum Beispiel als Assistenten, oder Haustiere
3. Menschenähnliche Roboter können als Modelle für die Forschung von Tierverhalten, oder tierischem Verstand dienen
Ein Problem, das bei der Entwicklung menschenähnlicher Roboter allerdings auftritt ist das Uncanny Valley, im Deutschen auch Akzeptanzlücke genannt. Mori stellte fest, dass mit zuneh- mend menschlichem Aussehen von Robotern unsere Vertrautheit zu ihnen ansteigt. Ab einem gewissen Punkt dieser Ähnlichkeit können wir auf den ersten Blick nicht mehr unterscheiden, ob es sich um einen Mensch, oder einen Roboter handelt. Wenn wir dann davon ausgehen, dass wir einem Menschen gegenüberstehen und uns dementsprechend verhalten, aber dann fest- stellen, dass es sich um einen Roboter handelt bekommen wir ein unheimliches Gefühl. Dieses Gefühl ist das Uncanny Valley in Abbildung 2.1 [Mor70]. Ein Beispiel für einen solchen Roboter ist der in Abbildung 2.3 dargestellte Roboter KASPAR, der bei vielen erwachsenen Menschen eine Art Unbehagen auslöst.
Aufgrund des Wunsches nach Interaktion mit menschenähnlichen Robotern stellt sich zwangs- weise die Frage, wie man diese Roboter im Kontext des Uncanny Valley gestalten muss, um die- ses so weit wie möglich zu verringern. Eine Lücke, zwischen der Erwartung der Menschen an einen menschenähnlichen Roboter und dessen tatsächlichen Fähigkeiten ist mit Sicherheit die Fähigkeit Emotionen darstellen zu können. Infolgedessen, und auch wegen der dadurch erhöh- ten Bindung zwischen Mensch und Roboter, ist Emotionsdarstellung ein sehr häufig behandel- tes Gebiet der Forschung [Cam+15]. Dies zeigen auch zahlreiche Papers und Entwicklungen, die in diesem Abschnitt vorgestellt werden sollen.
Iromec
Iromec wurde als Spielkamerad für behinderte Kinder entwickelt um spielerisch motorische, oder soziale Fähigkeiten zu lernen (siehe Abbildung 2.2). Er besteht aus einer Box mit Rädern und einem Display, das ein stilisiertes Gesicht darstellt, über welches der Roboter Emotionen darstellen kann. Mit diesen Emotionen wird Feedback zu den verschiedenen Spielszenarien ge- geben. [Mar10]
Kaspar
Ein weiterer Beitrag auf dem Gebiet der Lernroboter für autistische Kinder ist KASPAR (sie- he Abbildung 2.3). Er wurde dazu entwickelt Kindern zu helfen Emotionen zu erkennen und zwischenmenschliche Interaktion zu lernen. Er ist ein humanoider Roboter mit dem Aussehen
Abbildung 2.2– Iromec [Mar10]
Abbildung 2.3– Lernroboter KASPAR [Dau+09]
Abbildung 2.4– Altenpflegeroboter
Paro [Shi12] Abbildung 2.5– Pflegeroboter Huggable [Sti+09]
eines jungen Kindes und der Fähigkeit Emotionen wie Freude, Traurigkeit und Überraschung darzustellen. [Dau+09]
Paro
Ein wichtiger Forschungsbeitrag auf dem Gebiet der Pflege demenzkranker Patienten ist der seit 2005 in mehreren Ländern erfolgreich eingesetzte Roboter Paro (siehe Abbildung 2.4). Sein Hauptziel ist es die Patienten zum Kuscheln mit ihm zu animieren. Er hat den Körper eines Baby- Seelöwen und die Körpertemperatur eines Säugetiers. Er reagiert auf Berührung und sprachli- che Zuwendung mit verschiedenen Körperbewegungen und Tiergeräuschen. [Wad+03] Durch diese Interaktion und die Ähnlichkeit zu echten Tieren, die vergangene Emotionen und Erin-
2.4 Emotionen bei Robotern
nerungen in Demenzpatienten hervorrufen hilft Paro dabei, dass Patienten mit Angehörigen reden. In einem Fall konnte durch Paro ein sehr unruhiger Patient beruhigt werden und seine Versuche die Einrichtung zu verlassen gestoppt werden. [Shi12]
Huggable
Huggable ist ein weiterer Roboter für den Einsatz in der Altenpflege (siehe Abbildung 2.5). Er wurde nach dem Aussehen eines Teddybärs gestaltet um einerseits etwas Familiäres zu bieten, andererseits aber keine Erwartungen an sein Verhalten auszulösen, da Teddybären sich nor- malerweise gar nicht bewegen. Er besitzt eine berührungsempfindliche Haut, ein Mikrophon im Mund und Kameras in den Augen. Zur Emotionsausgabe dienen ihm ein Lautsprecher, so- wie sein Bewegungsapparat über den er Augenbrauen, Ohren und Schultern bewegen kann.
Durch seine Kameras kann er in der Altenpflege helfen den emotionalen Zustand der Patien- ten zu erkennen. Dies geschieht normalerweise indem Pfleger überwachen wie die Patienten mit Stofftieren umgehen. Diese zeitraubende Beobachtung könnte durch die Aufnahmefähig- keit des Huggables deutlich erleichtert werden.
Abbildung 2.6– Nao beim Robocup 20061
NAO
Ein häufig verwendeter Roboter im Bereich der Emotionsdarstellung bei Robotern ist NAO (sie- he Abbildung 2.6). Wegen seiner geringen Anschaffungskosten und einfachen Erweiterung, so-
1https://upload.wikimedia.org/wikipedia/commons/4/47/Nao_Robot_%28Robocup_2016%29.jpg
wie relativ leicht zu programmierenden Körperbewegungen ist er für die Emotionsforschung gut geeignet. [Gou+09]
Abbildung 2.7– Daryl führt die Emotion glücklich sein aus [Emb+12]
Daryl
Daryl ist ein leicht humanoid aussehender Roboter (siehe Abbildung 2.7). Er wurde unter der Prämisse entwickelt, dass eine glaubhafte Interaktion zwischen Mensch und Roboter am besten gelingt, wenn die Kommunikations- und Emotionsformen des Roboters spezifisch für ihn und nicht nur nachgemachte menschliche Emotionen sind. Zur Emotionsdarstellung kann er fahren, den Kopf sowie seine Ohren bewegen und er hat eine Farb-LED im Rumpf.
Abbildung 2.8– Unterhaltungsroboter Cozmo der Firma Anki [Coz]
Cozmo
Eine relative neue Erfindung in der Unterhaltungsindustrie ist der von Anki entwickelte Co- zmo [Ank] (siehe Abbildung 2.8). Er ist eine ca. 20 cm große Planierraupe mit Gesicht anstatt einer Frontscheibe. Über dieses Gesicht stellt er während dem Spielen mit ihm verschiedene Emotionen dar. Über seine Emotionen will er Kinder dazu anregen ihn zu füttern, mit ihm zu spielen, oder sich anderweitig um ihn zu kümmern. Durch die große Ähnlichkeit zu bekannten Robotern aus Pixar-Filmen und die gute Emotionsdarstellung entstand eine kleine Subkultur, die durch die offene Software Devolpment Kit (SDK) neue Verhaltensweisen programmierte und diese in YouTube-Videos zur Schau stellte.
2.5 Zusammenfassung
2.5 Zusammenfassung
In diesem wurde gezeigt, dass es keine allgemein gültige Definition von Emotionen gibt. Viel- mehr wurden verschiedene Ansätze vorgestellt, mit denen versucht wird die Aufgaben und Be- standteile von Emotionen zu erklären. Dabei wurde auch deutlich, dass Emotion nicht gleich Emotion ist. So gibt es mit den grundlegenden Emotionen eine kleine Untergruppe an Emotio- nen, die Ekman [Ekm92] zu Folge nicht nur der Mensch, sondern auch alle höher entwickelten Tiere besitzen, da sie für das Überleben und die Kommunikation essenziell notwendig sind.
Nachdem kurz gezeigt wurde wie Emotionen erkannt werden, wurden einige wichtige Beiträge auf dem Gebiet der emotionsfähigen Roboter gezeigt. Im nächsten Kapitel wird nun erläutert, wie die gezeigten Bestandteile von Emotionen in ein Modell gebracht werden können, das es ermöglichen soll Emotionen auf möglichst vielen Robotern erfolgreich darzustellen.
3 Modell zur Übertragung von Emotionen auf Roboter
Mit den oben genannten Emotionsbestandteilen wird nun in diesem Kapitel ein Modell entwi- ckelt, durch das Emotionen auf verschiedene Roboter übertragen werden können. Dabei sollen körperliche Einschränkungen des Roboters, sowie eine möglichst multimodale Ausgabe berück- sichtigt werden. Um dieses Ziel zu erreichen wird im Folgenden zuerst darauf eingegangen, wieso ein universelles Modell sinnvoll ist, welche Anforderungen ein Emotionsmodell erfüllen muss und wie dieses zur Implementierung verwendet werden kann. Außerdem wird gezeigt, wie eine mögliche Modellnotation aussehen kann und anhand dieser Notation Modelle für die Emotionen Wut, Angst, Beklemmung, Glück, Ekel, Traurigkeit, Überraschung und Unsicherheit angefertigt.
3.1 Universelle Emotionsmodelle als Hilfe für Entwickler
Wie bereits in der Einleitung erwähnt sind Emotionen für ein gutes Zusammenleben zwischen Mensch und Roboter entscheidend. Da die Emotionsmodellierung und die benötigten Tests, um die erstellten Emotionen zu testen sehr aufwendig, zeitintensiv und damit mit hohen Kosten verbunden sind, ist es eine große Hürde Emotionen für Roboter zu implementieren. Emoti- onsmodelle bieten hier einen Ansatz diesen Schritt um ein vielfaches einfacher zu gestalten.
Ein einmal erstelltes universell einsetzbares und getestetes Modell eliminiert die Anforderung ein Team zu engagieren, dass Emotionsbestandteile analysiert und auf den Roboter anpasst.
Stattdessen genügt ein, oder mehrere Entwickler, die nach konkreten Vorgaben die im Modell vorgegebenen Bewegungen implementieren müssen um erkennbare Emotionen zu produzie- ren.
3.2 Anforderungen an ein Emotionsmodell
Bevor gezeigt wird, wie Emotionen in Modellen dargestellt werden können, muss zunächst er- klärt werden, welche Eigenschaften sie mitbringen müssen und wie sie anschließend am bes- ten dargestellt werden können. Eine Anforderung an ein Emotionsmodell ist es darstellen zu können, welche Körperteile welche Bewegungen ausführen können. Eine andere wichtige An- forderung ist diese Bewegungen mit verschiedenen Bedingungen versehen zu können, die das Zusammenspiel der Bewegungen genau regeln. Nachfolgend werden diese Bedingungen erklärt.
Verknüpfungen
Betrachtet man die Tabellen 2.2 und 2.3 sieht man, dass verschiedene Bewegungen, oder Ge- sichtsausdrücke zusammen vorkommen. Diese Bewegungen, oder sprachlichen Attribute müs- sen dann immer gemeinsam, gleichzeitig ausgeführt werden. Dies bedeutet auch, dass sobald eines der beteiligten Körperteile nicht vorhanden ist, oder aus anderen Gründe eine der Bedin- gungen aus der Verknüpfung nicht ausgeführt werden kann, der andere Parameter nicht allein
ausgeführt werden darf. Ein Beispiel dafür wäreBrauen gesenkt und zusammengezogenbei der Emotion Wut.
Ausschlüsse
Das genaue Gegenteil der Verknüpfungen sind Ausschlüsse. Dabei dürfen bestimmte Eigen- schaften nicht gemeinsam vorkommen. Dies ist vor allem wichtig um widersprüchliche Anwei- sungen an den Roboter zu vermeiden. So sieht man zum Beispiel in Tabelle 2.2 und 2.3, dass vie- le Emotionen aus mehreren unterschiedlichen Handbewegungen bestehen, oder ausgedrückt werden können. Da allerdings immer nur eine der Bewegungen zu einer Zeit ausgeführt werden kann ist es wichtig solche Fälle auszuschließen.
Implikationen
Neben den bereits genannten Bedingungen gibt es noch Implikationen. Diese sind ähnlich zu Verknüpfungen, indem sie besagen, dass wenn ein Attribut vorkommt, ein anderes auch vor- kommen muss. Allerdings gilt diese Bedingung nur in eine Richtung. Ein Beispiel hierfür wäre die Öffnung des Munds bei Überraschung. Darwin [Dar97] sagt, dass sobald der Mund geöffnet wird die Augenbrauen in gleichem Maß nach oben gezogen werden müssen. Allerdings muss nicht unbedingt der Mund geöffnet werden, wenn die Augenbrauen nach oben gezogen wer- den.
Zwingende Voraussetzungen
Zwingende Voraussetzungen beschreiben Eigenschaften, ohne die eine Emotion nicht darge- stellt werden kann. Sollte ein Roboter eine zwingende Voraussetzung nicht erfüllen und aus- führen können, kann er somit die Emotion nicht darstellen, weil diese ohne diese Eigenschaft nur sehr schwer, oder gar nicht erkannt werden kann. Ein Beispiel dafür wäre Ekel, eine Emo- tion, die hauptsächlich durch Bewegungen um den Mund ausgedrückt wird [Dar97]. Betrachtet man Tabelle 2.2 und 2.3 sieht man auch, dass wenig aussagekräftige Bewegungen mit Ekel ver- bunden werden. So kann die Rückwärtsbewegung, oder der Richtungswechsel auf für Furcht stehen. Weil es sonst keine Bewegungen des Körpers gibt, die nur bei Ekel auftreten und somit eine eindeutige Abgrenzung von anderen Emotionen ermöglichen, ist es zwingend notwendig Gesichtsausdrücke darstellen zu können.
Voraussetzung wenn möglich
Neben zwingenden Voraussetzungen gibt es auch noch eine abgeschwächte Form von Voraus- setzungen. Diese Eigenschaften müssen vom Roboter erfüllt werden, wenn er die Möglichkeit dazu hat. Das heißt die Emotion kann theoretisch auch ohne eine Eigenschaft mit dem Attribut Voraussetzung wenn möglichdargestellt werden, wird aber mit dieser Eigenschaft womöglich besser, oder leichter erkannt. Dies ist das Basisattribut, das jede im Emotionsmodell darge- stellte Eigenschaft besitzt, sofern keine andere angegeben wurde. Das heißt der Roboter soll versuchen so viele Eigenschaften wie möglich darzustellen, solange dies nicht gegen andere in diesem Abschnitt beschriebene Regeln, die auf die Eigenschaft zutreffen, verstoßen würde.
Kardinalitäten
Eine Erweiterung von Ausschlüssen sind Kardinalitäten. Im einfachsten Fall bestehen diese aus or, bzw.xorVerknüpfungen, spiegeln alsooderbzw.entweder, oderBeziehungen wieder. Dane- ben gibt es noch konkrete Kardinalitäten mit minimal und maximal Werten. Diese werden über
3.3 Feature-Modelle als Notationsansatz
eine konkrete Menge in der Notation[n..m]festgelegt, wobeinder Minimal- undmder Maxi- malwert ist. Damit wird festgelegt, wie viele Eigenschaften einer Kategorie ausgeführt werden sollen und es kann sichergestellt werden, dass eine bestimmte Anzahl an Eigenschaften einer Kategorie erfüllt sein müssen ohne eine spezielle Eigenschaft zu benennen. So kann zum Bei- spiel festgelegt werden, dass genau eine Handbewegung ausgeführt werden soll, oder maximal zwei Eigenschaften im Gesicht um das Entstehen einer Grimasse zu vermeiden. Gleichzeitig wird dadurch aber auch verhindert, dass zu viele Eigenschaften einer Kategorie ausgeführt wer- den, was zu hektischen oder überladenen Bewegungen führen könnte, die die Erkennung der Emotion beeinträchtigen könnten.
Einteilung in Kategorien
Weiterhin ist es wichtig Kategorien und Unterkategorien darstellen zu können um eine einfache Zuordnung von Bewegungen zu Körperteilen zu ermöglichen und die oben genannten Bedin- gen an die jeweils übergeordnete Ebene zu propagieren. Dabei sind die Kategorien die einzelnen Körperteile, wie zum Beispiel Gesicht, oder Hände und die Unterkategorien, dann zum Beispiel Augen. In diesen Kategorien, oder Unterkategorien stehen konkrete Anweisungen, die vom Ro- boter ausgeführt werden sollen.
Ersatzbewegungen
Um möglichst viele Roboter unterstützen zu können ist es wichtig eine möglichst breit gefä- cherte Auswahl an Bewegungen für eine Emotion zu unterstützen. Da Roboter nicht immer alle Körperteile besitzen, die für eine Emotionsdarstellung benötigt werden ist es sinnvoll eine Möglichkeit zu bieten um bestimmte Bewegungen durch andere ersetzen zu können.
3.3 Feature-Modelle als Notationsansatz
Um Emotionsmodelle computergestützt und automatisiert in Emotionen bei Robotern umwan- deln zu können musste eine Modellstruktur gefunden werden, welche die in Abschnitt 3.2 ge- nannten Bedingungen darstellen und computerlesbar machen kann. Außerdem müssen sich damit trotz der Variabilität im Aufbau und Funktionsumfang verschiedener Roboter zuverlässig erkennbare Emotionen modellieren lassen. Eine bereits eingesetzte Struktur, die viele dieser Eigenschaften mitbringt sind Variabilitätsmodelle, oder im Speziellen Feature-Modelle.
In ihrer ursprünglichen Form werden Feature-Modelle verwendet um Variationen von Soft- wareproduktlinien, oder anderen Produktlinien darzustellen und diese auf deren Validität zu überprüfen. Um dies zu erreichen besteht ein Feature Modell aus den benötigten Eigenschaf- ten einer Produktlinie und deren Beziehungen untereinander. Diese Beziehungen zeigen, wie die einzelnen Eigenschaften zueinander gehören und werden meist durch eine Baumstruktur repräsentiert. Feature-Modelle besitzen außerdem eine Notation zur Darstellung von verpflich- tend auftretenden Eigenschaften. Dies wird meist durch einen ausgefüllten Punkt über der Ei- genschaft dargestellt (siehe Abbildung 3.1). Optional auftretende Eigenschaften werden durch einen nicht ausgefüllten Kreis dargestellt. Eine Erweiterung der FODA-Notation der Feature- Modelle sind Kardinalitätsbasierte Feature-Modelle. Diese Kardinalitäten beschreiben, wie viele Eigenschaften einer Kategorie auftreten dürfen. Dies wird ähnlich wie bei UML-Modellen an- hand von Multiplizitäten dargestellt (siehe Abbildung 3.1). [Kan+90], [MM15]
Eine weitere Möglichkeit der Einschränkung besteht aus Aussagenlogischen Verknüpfungen einzelner Attribute (siehe Abbildung 3.1). Dadurch ist es möglich bestimmte Eigenschaften als
Abbildung 3.1– Beispiel eines zum Emotionsmodell erweiterten Feature Modells
verpflichtend zu setzen, sobald eine andere Eigenschaft auftritt, oder das gemeinsame Vorkom- men zweier Eigenschaften zu verhindern, bzw. diese aneinander zu binden. [MM15]
Ein Vorteil der Verwendung von Feature-Modellen ist, dass ein Großteil der in Abschnitt 3.2 genannten Regeln und Strukturen für den Aufbau bereits existiert und einen Leitfanden bietet, an dem man sich bei der Erstellung orientieren kann. Außerdem gibt es bereits Editoren, die die Erstellung des Modells vereinfachen. So zum Beispiel die featureIDE der Uni Magdedburg [Uni].
Ein eclipse Plugin mit dem schnell und einfach Modelle, in übersichtlicher graphischer Darstel- lung mit Bedingungen, erstellt werden können und das automatisch eine Extensible Markup Language (XML)-Datei der Baumrepräsentation mit Bedingungen erstellt, welche für die Im- plementierung der Emotionen verwendet werden kann. Dieser Schritt wird in Abschnitt 3.6 genauer erklärt.
3.4 Erweiterung des Feature-Modells zum Emotionsmodell
3.4 Erweiterung des Feature-Modells zum Emotionsmodell
Nachdem die in Abschnitt 3.3 beschriebenen Anforderungen feststehen, wird schnell deutlich, dass Feature-Modelle und im speziellen Kardinalitätsbasierte-Feature-Modelle bereits einen Großteil dieser Anforderungen erfüllen. So können die benötigten Körperteile der Emotions- modelle durch die Kategorien der Feature-Modelle dargestellt werden und die genauen Aus- prägungen der Kategorien, also deren Kindelemente werden in Emotionsmodellen zu Bewe- gungen des übergeordneten Körperteils. In dem in dieser Arbeit vorgeschlagenen Modell sind diese Körperteile alle für die Emotionsdarstellung beim Menschen verwendeten Körperteile, bestehend aus Kopf, Gesicht, Händen, Oberkörper, Armen und dem ganzen Körper. Neben die- sen sind auf der obersten Ebene noch die Bewegungsart und Sprache. Die Bewegungsart dient dazu, zu bestimmen wie viele Bewegungen bei einer Emotion ausgeführt werden sollen, also wie schnell der Roboter zwischen einzelnen Bewegungen wechselt. Außerdem wird darüber die Bewegungsgeschwindigkeit geregelt.
Die Bewegungen des Emotionsmodells sind in einer separat definierten Menge aus mögli- chen Bewegungen (siehe Anhang A.1) festgehalten. Diese Menge existiert um zu vermeiden, dass für eine bestimmte Bewegung mehre Anweisungen in verschiedenen Modellen existieren, was zu doppelter Implementierung führen könnte. Eine Ausnahme für Bewegungen in der zweiten Ebene bildet allerdings das Gesicht, bei dem die ersten Unterpunkte über den Bewegungen die Augen, Mund, Lippen und Augenbrauen sind. Diese weitere Unterteilung wurde vorgenommen, da es sich dabei um eine logische Gruppierung handelt. Außerdem kann auf diese Weise schnell eine große Gruppe an Bewegungen ausgeschlossen werden, wenn ein Roboter kein Gesicht be- sitzt.
Die Anforderung, dass ein Emotionsmodell Kardinalitäten darstellen können muss um Über- ladungen von Bewegungen zu vermeiden, kann durch eine Darstellung, die von Kardinalitätsba- sierten Feature-Modellen stammt erreicht werden. In Verbindung mit den aussagenlogischen Verknüpfungen der traditionellen Feature-Modelle, die auch für das vorgeschlagene Emotions- modell verwendet werden, kann somit genau festgelegt werden, welche Bewegungen mitein- ander vorkommen dürfen, oder nicht. Befindet sich bei einem Körperteil keine Kardinalität soll nur eine Bewegung ausgeführt werden. Dies wird vorgeschlagen, da eine Bewegung der Stan- dardfall ist und somit durch das Weglassen der Kardinalität die Übersichtlichkeit des Modells verbessert werden kann.
Die Anforderung zur Darstellung von Körperteilen oder Bewegungen mit den Attributenver- pflichtendundverpflichtend, wenn möglichkann ebenfalls über bereits in Feature-Modellen vor- handenen Notationen erfolgen. Während verpflichtend eins zu eins übernommen werden kann wird aus demoptionalAttribut der Feature-Modelle im vorgestellten Emotionsmodellverpflich- tend, wenn möglich, weil es dort keine optionalen Attribute gibt.
Ersatzbewegungen existieren in herkömmlichen Feature-Modellen zwar nicht, können aber relativ einfach in die Aussagenlogischen Verknüpfungen integriert werden. Die letzte Verknüp- fung in Abbildung 3.1 zeigt wie eine solche Ersatzbewegung dargestellt werden könnte. Die Be- wegung links des „?“ stellt die eigentlich gewünschte Bewegung dar und rechts steht die Bewe- gung, die ausgeführt werden kann, falls die eigentliche Bewegung nicht möglich ist.
3.5 Modelle der einzelnen Emotionen
Nachdem im letzten Abschnitt erklärt wurde, woraus ein Emotionsmodell besteht und wie die- ses verarbeitet werden kann, sollen nun in diesem Abschnitt beispielhaft Emotionsmodelle für
einige Emotionen vorgestellt werden. Zuerst werden dafür die Emotionen vorgestellt und er- klärt, welche Körperteile und Bewegungen dafür benötigt werden und wie diese an der Emoti- onsdarstellung beteiligt sind. Im Anschluss an diese Erklärungen sind die graphischen Notatio- nen dieser Emotionen zu finden.
Als Beispielmodelle sollen die grundlegenden Emotionen Freude, Wut, Ekel, Angst, Traurigkeit und Überraschung dienen, sowie die nicht grundlegenden Emotionen Beklemmung und Unsi- cherheit. Diese Emotionen wurden gewählt, da aufgrund der großen Bedeutung der grundle- genden Emotionen im Alltag diese unbedingt berücksichtigt werden müssen. Die beiden Emo- tionen Unsicherheit und Beklemmung wurden ausgewählt, da dazu viel Material zu typischen Bewegungen und Mimik während dieser Emotionen verfügbar ist und somit auch Emotionen getestet werden können, die sich nur gering unterscheiden und wahrscheinlich aufgrund des fehlenden Kontextes nur schwer erkennbar sein werden.
Zu beachten ist, dass sich die Minimalkonfigurationen der Modelle an die im Rahmen dieser Arbeit gefundene und gesichtete Literatur der Emotionsdarstellung hält. Da es zu Emotions- modellen bisher noch keine Literatur gibt und die gefundenen Arbeiten meist lediglich Beob- achtungen enthalten, woraus die Emotionen beim Menschen bestehen, aber nicht erklären, was für die Erkennung unbedingt notwendig ist, entstanden Modelle, deren Minimalkonfiguration nicht erkennbare Emotionen produzieren könnte. So zum Beispiel das Modell für Angst, das laut Modell ohne Bewegung möglich ist. Deshalb ist es bei den erstellten Modellen wichtig, so viele der Bewegungen umzusetzen um eine bestmögliche Erkennung zu gewährleisten.
3.5.1 Wut (grundlegende Emotion)
Betrachtet man die Tabellen 2.2, 2.3 und 2.4 sieht man, dass Wut eine Emotion aus vielen Be- wegungen und relativ ausdrucksstarken Gesichtsausdrücken ist.
Im Gesicht wird die Emotion vor allem über die Augenbrauen dargestellt. Durch das Senken und Zusammenziehen entstehen beim Menschen Falten zwischen den Augenbrauen. Da das entscheidende Merkmal zur Erkennung allerdings die Position der Augenbrauen und nicht die daraus resultierenden Falten sind, können diese Falten für ein Robotermodell vernachlässigt werden. Sollte der Roboter keine individuell beweglichen Lippen haben, lassen sich die zusam- mengepressten Lippen auch über einen geschlossenen und lang gezogenen Mund, beispiels- weise als Strich bei einem Gesicht, das nur aus einem Display besteht, darstellen. Da außer in der Emotionsdatenbank FABO 2.2 nirgends nach oben gezogene Mundwinkel als Merkmal für Wut zu finden waren, wurde dieses Merkmal für die in dieser Arbeit erstellten Modelle ignoriert.
Während eine Person wütend ist führt sie viele Gesten mit der Hand aus. Dabei muss man allerdings unterscheiden, ob es sich um kalte, oder kochende Wut handelt. Während bei ko- chender Wut viele schnelle Bewegungen, wie zum Beispiel Fäuste schütteln und mit dem Fin- ger auf jemanden zeigen dominieren, besteht die kalte Wut aus weniger und langsameren eher statischen Gesten, wie zum Beispiel nur geballten Fäusten ohne Bewegung (siehe Tabelle 2.4, oder [Dar97]). Tabelle 2.2 sagt, dass Menschen während sie wütend sind einen aufgeplusterten, oder geweiteten Oberkörper haben, aber Darwin [Dar97] reduziert das hauptsächlich auf eine latente schwelende Wut. Da nur wenige Roboter fähig sind ihrenBrustkorbzu weiten und weil Darwin viel mehr Wert auf die Bewegung der Arme zur Emotionsdarstellung legt, kann man diese Eigenschaften ignorieren.
Hat der Roboter die Möglichkeit zur Audioausgabe sollte diese entweder laut und schroff, oder verzerrt sein. Eine weitere Möglichkeit ist, dass die Stimmte im Hals stecken bleibt, also ein Abbrechen der Ausgabe während des Lautes. [Dar97]
3.5 Modelle der einzelnen Emotionen
3.5.2 Angst (grundlegende Emotion)
Darwin konzentriert sich bei seiner Beschreibung von Angst vor allem auf die Gesichtsausdrü- cke. Bei ihm dominiert die Beschreibung mit geöffnetem Mund und Augen, sowie gehobenen Augenbrauen. Während diese Beschreibung der Gesichtsausdrücke noch sehr ähnlich zu Tabel- le 2.3 ist, unterscheiden sich beide bei der Körpersprache doch sehr stark. Darwin konzentriert sich in seinen Beispielen vor allem auf die blasse Hautfarbe und das Zittern, bzw. die extrem stark angespannten Muskeln, während in 2.3 viele Bewegungen der Hände beschrieben werden, bei denen verschiedene Körperteile bedeckt, oder berührt werden um sich selbst zu schützen.
Dieser Schutzmechanismus kommt bei Darwin auch vor, hat aber nur eine untergeordnete Rol- le, genau wie die anfängliche Bewegungslosigkeit mit anschließender Flucht. [Dar97]
Die oben genannten körperlichen Symptome von Angst lassen sich fast eins zu eins für die Stimme übernehmen. So lässt sich die beschriebene Bewegungslosigkeit auf ein Versagen, oder Abbrechen der Stimme übertragen. Darüber hinaus wird die Stimme als zittrig beschrieben.
[Dar97]
3.5.3 Beklemmung
Beklemmung ist eine Emotion bei der wenig bis gar keine Bewegung stattfindet. Sie wird haupt- sächlich durch Körperhaltung, bei der die Schultern und der Kopf herabhängen dargestellt. In der FABO steht weiterhin noch Nägel beißen als körperlicher Indikator. Bei der Mimik unter- scheiden sich Darwin und FABO sehr stark. Während bei beiden die herabhängenden Augenlider ein Indiz für Beklemmung sind, stehen laut FABO auch noch geschlossene Augen und das Beißen an Lippen dafür. Darwin legt hingegen großen Wert auf eine gerunzelte Stirn in Kombination mit herabhängenden Lidern und herabhängenden Mundwinkeln. [Dar97], [GP06]
Die Stimme beklemmter Personen ist oft leise, zitternd, oder stotternd. Außerdem verlieren sie oft ihre Stimme. [Cal]
3.5.4 Freude (grundlegende Emotion)
Das wohl untrüglichste Zeichen von Freude ist Lachen. Begleitet wird Lachen von nach hinten und oben gezogenen Mundwinkeln. Die Bewegungen während man glücklich ist, sind schnell und leicht, ohne großen Sinn, wie zum Beispiel klatschen, zur Faust geballte Hände die nach oben gestreckt werden, oder Tanzen. [Dar97], [GP06], [Wal98], [STW16]
3.5.5 Ekel (grundlegende Emotion)
Im Gegensatz zu den bereits genannten Emotionen, die sowohl über den Körper, als auch über das Gesicht dargestellt werden können ist Ekel eine hauptsächlich gesichtsdominante Emoti- on. Deshalb ist es zwingend notwendig, dass der Roboter, der die Emotion darstellen soll eine Art Gesicht besitzt, das Lippen bewegen kann, da alle Körperbewegungen alleine eher für Angst stehen würden. Durch das Erhöhen der Oberlippe und im Idealfall noch leichtes Herausstrecken der Zunge entsteht dann die Gestik für Ekel. Die Körperbewegungen bestehen aus wenigen un- ausgeprägten Bewegungen, wie beispielsweise dem Bedecken des Munds mit der Hand, wie um ein Übergeben zu verhindern, oder einem schnellen Richtungswechsel, bzw. einer Rückwärts- bewegung um der Ursache des Ekels zu entgehen. Begleitet werden die Bewegungen oft von einem Zittern, oder Schaudern. [Dar97], [GP06], [Wal98]
3.5.6 Traurigkeit (grundlegende Emotion)
Wie das Sprichwort „vor Trauer den Kopf hängen lassen“ bereits andeutet ist Traurigkeit eine Emotion die hauptsächlich über den hängenden, oder gebeugten Kopf dargestellt wird. Weiter- hin typisch sind die herabhängenden Mundwinkel, weshalb ein Gesicht für die Darstellung hilf- reich, aber nicht zwingend notwendig ist, da der hängende Kopf bereits ausreicht. [GP06], [Wal98]
3.5.7 Überraschung (grundlegende Emotion)
Wie Ekel ist auch Überraschung eine Emotion, die hauptsächlich über das Gesicht dargestellt wird, weshalb auch dafür ein Gesicht mit Augen zwingend notwendig ist. Im Gegensatz zu Ekel sind allerdings für Überraschung vor allem die weit geöffneten Augen, bzw. nach oben gezo- genen Augenbrauen besonders wichtig. Hat das Gesicht neben den Augenbrauen einen Mund sollte dieser weit geöffnet werden. Dabei ist allerdings zu beachten, dass die Öffnung des Munds mit der Erhöhung der Augenbrauen übereinstimmen muss. Das heißt, je weiter der Mund ge- öffnet ist, desto weiter müssen auch die Augenbrauen erhöht werden. Dies gilt allerdings nur in diese Richtung, da die Augenbrauen auch ohne geöffneten Mund nach oben gezogen werden müssen. Körperbewegungen bei Überraschung bestehen hauptsächlich aus Berührungen an verschiedenen Stellen im Gesicht, oder einer schnellen Rückwärtsbewegung des ganzen Kör- pers. [Dar97], [GP06], [Wal98]
3.5.8 Unsicherheit
Unsicherheit ist eine Emotion, auf die viele verschiedene Bewegungen der Hände, bzw. Nei- gungen, des Kopfs deuten können, die allerdings alle einzeln und in geringer Bewegungsge- schwindigkeit auftreten. Schulterzucken gilt als universelle Geste, wenn man etwas nicht weiß, weshalb es auch in diesem Modell nicht fehlen darf. Genau so ist ein wandern der Augen und verharren auf einem Punkt ein Ausdruck, der in vielen nachdenklichen Gesichtern zu sehen ist. [GP06].
3.5 Modelle der einzelnen Emotionen
Abbildung 3.2– Modell der Emotion Wut
Abbildung 3.3– Modell der Emotion Angst
3.5 Modelle der einzelnen Emotionen
Abbildung 3.4– Modell der Emotion Beklemmung
Abbildung 3.5– Modell der Emotion Glück
3.5 Modelle der einzelnen Emotionen
Abbildung 3.6– Modell der Emotion Ekel
Abbildung 3.7– Modell der Emotion Traurigkeit
3.5 Modelle der einzelnen Emotionen
Abbildung 3.8– Modell der Emotion Überraschung
Abbildung 3.9– Modell der Emotion Unsicherheit
3.6 Verwendung des Modells zur Implementierung von Emotionen
3.6 Verwendung des Modells zur Implementierung von Emotionen
Nach der Erstellung der Modelle müssen diese so umgewandelt werden, dass sie automatisch weiterverarbeitet werden können, um die Emotion darzustellen. Dazu muss zunächst das gra- phische Modell in eine vom Computer lesbare Struktur umgewandelt werden. Häufig verwen- dete Computer verarbeitbare Repräsentationen von Baumstrukturen sind entweder XML, oder Javascript Object Notation (JSON) Dateien. XML eignet sich dabei vor allem für komplexere Strukturen und Modelle. Da dies in diesem Anwendungsfall aber nicht gegeben ist wird die Ver- wendung von JSON vorgeschlagen. Außerdem ist es in vielen Programmiersprachen einfacher JSON Daten zu verarbeiten, als XML, da für XML-Dateien zuerst ein Parser geschrieben werden muss.
Quellcode 3.1 zeigt ein Beispiel eines solchen Modells. Die erste Ebene beschreibt, genau wie in der grafischen Darstellung auch, die Körperteile, die zur Darstellung der Emotion verwendet werden. Sollten ein, oder mehre Körperteile verpflichtend sein müssen diese in einemmandato- ry-Array sein. Alle Körperteile außerhalb desmandatoryTags gelten automatisch alsverpflich- tend, wenn möglich. Innerhalb der Körperteile gibt es die Attribute minund maxwelche die minimal und maximal vorkommende Anzahl an Bewegungen beschreiben. Im Arraymovements befinden sich die einzelnen Bewegungen, welche aus der separat deklarierten Menge aus mög- lichen Bewegungen ausgewählt werden. Dort können analog zu Körperteilen ein, oder mehrere Bewegungen als verpflichtend gesetzt werden.
Die Bedingungen mit denen einzelne Bewegungen verknüpft werden befinden sich unter dem Tagconditions. In diesem Tag gibt es soweit benötigt ein, oder mehrere or-, and-, oder im- plies-Arrays in denen verschiedene Bewegungen miteinander verknüpft werden können. Um Bedingungen zu verschachteln, muss einfach innerhalb eines dieser Arrays ein weiteres ent- sprechendes Array angelegt werden.
1 {
2 "wut": {
3 "mandatory": [
4 "augenbrauen"
5 ],
6 "gesicht": {
7 "augenbrauen": {
8 "movements": [
9 "augenbrauen zusammengezogen"
10 ]
11 },
12 "augenlid": {
13 "max": 2,
14 "constraints": [
15 "1"
16 ],
17 "mandatory":[
18 "unteres augenlid gespannt",
19 "verpflichtende Bewegung"
20 ],
21 "movements": [
22 "unteres augenlid gespannt",
23 "unteres augenlid erhöht"
24 ]
25 }
26 },
27 "hände": {
28 "min": "1",
29 "max": "1",
30 "costraints": [
31 "0"
32 ],
33 "movements": [
34 "hände auf hüfte",
35 "hände geschlossen",
36 "hände zur faust geballt",
37 "fingerzeig",
38 "faust schütteln"
39 ]
40 },
41 //...
42 "bewegungsart": [
43 "viele bewegungen",
44 "hohe dynamik"
45 ],
46 //...
47 "conditions": {
48 "0": {
49 "or": [
50 "hände auf hüfte",
51 "hände geschlossen",
52 "hände zur faust geballt"
53 ]
54 },
55 "1": {
56 "fallback": [
57 "verpflichtende Bewegung",
58 "fallback Bewegung"
59 ]
60 }
61 }
62 }
63 }
Quellcode 3.1– Beispielausschnitt aus einem JSON-Modell
Nutzung des Modells zur Implementierung
Nachdem man das Modell erstellt und in eine computerlesbare Struktur umgewandelt hat be- steht der nächste Schritt aus der Verarbeitung und schließlich der Darstellung der Emotion.
Dazu muss zunächst in der Bewegungsliste des Modells überprüft werden, welche Körperteile der Roboter besitzt und welche Bewegungen davon er ausführen kann. Anschließend muss für jede ausführbare Bewegung eine Methode erstellt werden.
Danach wird durch das Modell iteriert und für jeden Körperteil überprüft, ob es verpflichten- de Bewegungen gibt. Ist dies der Fall muss diese ausgeführt werden, wenn nicht wird zufällig eine Bewegung ausgewählt, so lange die Auswahl dieser Bewegung nicht gegen eine Regel im conditions-Array verstößt. Wird eine verpflichtende Emotion gewählt und es entsteht dadurch
