Ein Einblick in den Research-Cycle

fälscht werden. Eine Fragestellung, die in dieser Arbeit eine große Rolle gespielt hat, ist die Klärung der technischen Realisierbarkeit. Dazu muss untersucht werden, was in welcher Form technisch mit den verfügbaren Mitteln möglich ist. Darüber hinaus muss eine genaue Planung des technischen Aufbaues sowie die zeitliche Koordinierung des den Versuch begleitenden Personals und der Probanden durchgeführt werden. Neben der Klärung der technischen Mög-lichkeiten sind aber auch die MögMög-lichkeiten bezüglich des Annotierens mit zu beachten, die durch verschiedene Softwaretools begrenzt sind. Hierbei müssen Einschränkungen bezüglich der unterstützten Datenformate, Annotationsfunktionalitäten und der Unterstützung bei ver-schiedenen Modalitäten (z. B. Audioannotationsmöglichkeiten und die Unterstützung von Motion-Capture) mit berücksichtigt werden. Je nach gewünschtem Ziel und damit verbunde-nen Annotatioverbunde-nen kann viel Zeit durch die Wahl des richtigen Annotationswerkzeuges einge-spart werden. Um frühzeitig feststellen zu können, ob das gewünschte Verhalten so provoziert werden kann, dass es anschließend analysierbar ist, empfiehlt es sich, Testaufnahmen durch-zuführen. Wird eine Gruppe in der Interaktion so aufgenommen, dass jedes Gruppenmitglied frontal gefilmt wird, steigt der technische Aufwand erheblich an. Zum Beispiel müssen die Versuchsleiter rechtzeitig instruiert werden, wie die technische Ausrüstung zu bedienen ist und dass sie dafür sorgen müssen, dass die Kameras synchronisiert werden (z. B. mit einer Filmklappe). Bei einem komplexen Versuchsaufbau mit vielen technischen Aufnahmegeräten für gegebenenfalls mehrere Modalitäten empfiehlt es sich, eine Checkliste anzufertigen, die bei jedem Versuchsdurchgang neu abgearbeitet wird. Um die Hypothese möglichst gründlich prüfen zu können, hilft ein Fragebogen, der die Ausschlusskriterien nochmals abfragt, um so eine eventuelle Verfälschung der Studie zu vermeiden, aber auch, um noch verschiedene As-pekte der Auswertung des Themas zu formulieren. Zudem muss natürlich immer auch die Privatsphäre der Versuchspersonen gewahrt werden. Dazu müssen die Fragebögen anonymi-siert werden, aber es muss auch festgehalten werden, welcher der Fragebögen zu welcher Versuchsperson gehört. Die Daten aus den ausgefüllten Fragebögen, den Audio- oder Video-aufnahmen müssen zur Wahrung der Privatsphäre unter Verschluss gehalten werden.

2.4.1.2 Die Studiendurchführung

Unter Berücksichtigung der vorher definierten Checklisten sowie einer ausführlichen Instruk-tion des Hilfspersonals und der Versuchspersonen werden die Aufnahmen durchgeführt. Zu-sätzlich wird festgehalten und dokumentiert, wie der Versuch durchgeführt wurde, um spätere Unstimmigkeiten gegebenenfalls ausräumen zu können. Typischerweise werden Fotos vom Versuchsaufbau und eine detaillierte Skizze gemacht. Um die aufgezeichneten Daten über-haupt für wissenschaftliche Zwecke nutzen zu dürfen, müssen Einverständniserklärungen der Probanden eingeholt werden.

2.4.1.3 Aufbereitung der Daten

Je nach Studiendesign und der Art des zu untersuchenden Verhaltens ist die Aufbereitung der Aufnahmen die zeitintensivste Arbeitsphase. In dieser Phase werden die Daten für ein

Anno-tationstool vorbereitet (z. B. müssen multiple Kameraaufnahmen synchronisiert werden) und in den Annotationstools entsprechend der zu untersuchenden Unterhaltungssituation spezi-fisch annotiert werden. Dieses können zum Beispiel Annotationen der gesprochenen Sprache sein, bei der jedes gesprochene Wort mit annotiert wird. Hierbei ist es aber auch wichtig, z. B.

Verzögerungswortlaute wie „äh“, „öh“ oder „mhh“ mit festzuhalten, damit die genaue Situa-tion bei der späteren Analyse berücksichtigt werden kann. Hinzu können je nach Hintergrund der Studie noch verschiedene weitere Kriterien bezogen auf die gesprochene Sprache mit an-notiert werden. Dazu sind im Folgenden einzelne mögliche Merkmale und Kategorien aufge-führt, um zu verdeutlichen, wie aufwendig dieser Annotationsprozess sein kann [41]:

• gleichzeitiges Sprechen

• Abbrüche

• Wiederholungen

• unvollständige Äußerungen

• Versprecher

• äh, öhm, hm usw.

• Stimmhebung

• Stimmsenkung

• Betonungen

• Dehnungen

• Pausen

Dieser Vorgang der Verschriftlichung gesprochener Sprache wird als Transkribieren bezeich-net. Körperliche Gestik und Gesichtsmimik spielen bei der Interaktion auch eine wichtige Rolle und müssen je nach Studienziel mit annotiert werden. Kategorien für körperliche Aus-drucksformen können zum Beispiel folgende sein:

• Gesichtsausrichtung (Aufmerksamkeitsfokus)

• Zeigegesten

• Handaktivität allgemein

• Hand in bestimmte Richtungen bewegen

• Hände symmetrisch bewegen

• bestimmte Körperposen einnehmen (Körperhaltung)

• Fingerbewegungen

• Bewegungsabläufe

• Bewegungsgeschwindigkeiten

• Bewegung einzelner DOFs von einem Gelenk

• Simultanbewegungen

• Bewegungen in Bezug zu anderen Personen (sich nähern)

• Interaktion mit Objekten

• Bestimmung der verschiedenen Bewegungsphasen¹⁹ (Vorbereitungs-, Haupt-, Zurück-setzungs-Phase)

Macht man eine entsprechende Annotation bezüglich einzelner oder aller aufgeführten Punk-te, steigt die Annotationszeit immens, besonders, da diese Punkte für mehrere Probanden in der Interaktion annotiert werden müssen²⁰. Um die gesamte Komplexität zu berücksichtigen, muss man bedenken, dass es immer verschiedene weitere Unterpunkte zu den einzelnen Merkmalen gibt. Zum Beispiel kann das Gesicht folgende Ausdrücke einnehmen:

• fröhlich

• ängstlich

• traurig

• neutral

• zornig

• gelangweilt

• genervt

• überrascht

• entsetzt

• erschrocken

• enttäuscht

Anhand dieser Merkmale und Kategorien kann man sich vielleicht vorstellen, dass für jede der Kategorien spezifische Unterkategorien und Merkmale definiert werden können, die das Annotieren entsprechend komplizierter und zeitintensiver machen. Ein Katalog dieser Kate-gorien mit den Zuständen wird als Coding-Schema bezeichnet [42]. Dieses beinhaltet die In-formationen, die durch Annotation hervorgehoben werden sollen, je nachdem, welcher Schwerpunkt von Interesse ist. Zu jedem dieser Kategorien wird sich in der Regel jedes Video einmal genau angeschaut (oder angehört bei sprachbezogenen Annotationen), um sich auf die jeweilige Kategorie und die Merkmale konzentrieren zu können. Das Annotieren von Sprache dauert ca. das 35-fache, die Übersetzung in eine andere Sprache dauert noch einmal das 25-fache, und die Annotationszeit mit zusätzlichen Gesten sogar mehr als das 100-fache der Auf-zeichnungszeit²¹ [13]. Dazu kommt, dass Menschen Sachverhalte unterschiedlich wahrneh-men und Fehler machen, sodass normalerweise die gleichen Annotationen von mehreren Per-sonen annotiert werden, die später wiederum zu einer qualitativ höherwertigeren Annotation zusammengefasst werden.

19 Eine detailliertere Beschreibung der Bewegungsphasen wird im Verlauf dieses Kapitels im Abschnitt 2.4.2 gegeben.

20 Im Gegensatz zur Transkription, bei der meistens nur einer redet und es höchstens kurzzeitig zu Überlappun-gen kommen kann.

21 DOBES Project www.mpi.nl/dobes

2.4.1.4 Die eigentliche Analyse

Nach erheblichem Aufwand können die aufbereiteten Daten anhand der annotierten Katego-rien entsprechend einer Forschungsfragestellung analysiert werden. Diese Analyse wird in-nerhalb eines oder mehrerer Annotationstools durchgeführt, welche die Aufnahmen und syn-chron dazu die Annotationen darstellen. Dabei unterstützen die meisten der relevanten Tools²² auch das Handhaben mehrerer Datentypen, die bestenfalls sogar synchron zur aktuellen Ab-spielzeit des betrachteten Videos genutzt werden können (z. B. eine Darstellung der Frequen-zen der Tonspur). Mit diesen Tools werden die Hypothesen geprüft, indem die einzelnen zeit-lich aufbereiteten Zusatzinformationen in Kombination mit anderen Annotationen in Zusam-menhang analysiert werden.

2.4.1.5 Allgemeiner Research-Cycle

Es gibt es auch viele Gemeinsamkeiten beim Vorgehen der verschiedenen Fachrichtungen [43]. Bei allen Fachrichtungen kommen die hier vorgestellten vier Phasen (Planung, Durch-führung, Aufbereitung und Analyse) vor und können als Verallgemeinerung dieser aufgefasst werden. Mit der Betrachtung des Research-Cycles im Allgemeinen wurde nur der grobe Ar-beitsablauf beschrieben, in dem viele einzelne Arbeitsschritte und Analysen durchgeführt werden. Die bei Weitem aufwendigste Phase ist die Aufbereitungsphase der Daten, bei der verschiedene Bestandteile des Verhaltens aufbereitet werden, basierend auf den verwendeten Datenquellen.