9 Ausgewählte Themen

(1)

9 Ausgewählte Themen

28. Vorlesung: Kommunikation mit einer virtuellen Entwurfsumgebung

Präexplorative Konstruktion und Architektur

# „Virtueller Entwurf“ in 3D-Computergrafik

# erfordert bislang aufwendige technische Maßnahmen

# relativ abstrakte tastatur-/ mausgesteuerte Manipulation

# Wunsch: Entlastung von technischen Details

Zielsetzung in VIENA

(Uni Bielefeld 1993-97)

# Interaktion durch Kommunikation (Änderungswünsche)

# intuitivere verbale und gestische Interaktion

# Erprobung am Beispiel Innenraum-Design

# Änderungen des Designs unmittelbar beurteilbar

(2)

! " $

%

Kopplung von Techniken der KI und 3D-Computergrafik

%

Präsentationsobjektdaten werden mit Wissen unterlegt

%

Agenten übernehmen

Koordinierung und Planung

% Präsentiertes wird für den Menschen „greifbar“

VIENA: „Virtuelle Entwurfs- umgebung und Agenten“

• Kopplung der Agenten in die Situation während der kognitiven Verarbeitung

Agent A gesprochene Agent B

oder geschriebene

Sprache (Sprach-)

Handlungen

(Sprach-) Perzepte

Wissensbasis KnowledgeBase

Perzepte aus der umgebenden Situation Umgebung Environment

Kognitive Verarbeitung

Reasoning

Kognitive Verarbeitung

Reasoning

Wissensbasis KnowledgeBase

• Möglichkeit der Integration multimodaler Information (Sprache, Bild, Gestik)

(3)

! " '

Den Stuhl vor den Tisch!

Den Stuhl vor den Schreibtisch!

Anthropomorphisierung aufgrund „verkörperter“

Anwesenheit durch situierten Agenten

Modifikation des Raums durch anwesende Objekte

• Agent soll im gegebenen Szenario als "vorgeschickter Mittler"

verstanden werden, der mit dem Menschen in überlappender Wahrnehmungssituation kommuniziert und kooperiert.

• Verbindung aufgabenbezogener Wahrnehmungs-, Handlungs- und Kommunikationsmöglichkeiten

• situationsangemessenes Agieren in Bezug auf eine zu erfüllende Aufgabe (Entwurf und Manipulation virtueller Räume)

→ hilfreiche Metapher für Mensch-Maschine-Kommunikation

→ naheliegende Realisierungsansätze durch OOP, Nachrichten- austausch, Demons

(4)

! " )

Ein Agent kann aufgrund seiner Einbettung in das technische System (Scene Modeler) z.B. folgende Information vermitteln:

• über Art, Form, Lokation, Dimension und ggf. Bewegungs- attribute einzelner Szenenobjekte

• über Sichten auf Szenenelemente aus wechselnder räumlicher Position

• darüber, wie der Designer oder die Designerin auf primitive Objekte, Aggregate und Relationen zwischen einzelnen

Szenenobjekten verweist

• darüber, wie bestimmte Aktionen in einer dargestellten Szenerie geplant und umgesetzt werden können

• Referenzermittlung bei ad-hoc Bezeichnungen ("Palme bei der Säule")

• Umgang mit deiktisch referenzierten Objekten (Zeigegeste): "das da"

• Errechnung situierter Referenzen wie "links von", "vor", "den anderen"

• Buchführung über die dargestellte Szene, z.B. über Verbleib und Lage verdeckter Objekte

• Kritik bei Verletzung von Rahmenbedingungen

Übertragung unterschiedlicher Teilaufgaben auf verschiedene Agenten, die miteinander kooperieren:

Damit gelingt die Entwicklung des Systems in modularer Weise, bei der einzelnen Agenten Teilzuständigkeiten zukommen.

(5)

! " *

Interface-Agentur Interaktives

Anwendungssystem

Technische Kommunikation

Intuitive Kommunikation Virtuelle

Interaktion

Benutzer

Interface-Agentur Interaktives

Anwendungssystem

Technische Kommunikation

Intuitive Kommunikation Virtuelle

Interaktion

Benutzer

Problemschicht

Aufgabenschicht

Interaktionsschicht

Anwendungsschicht Transportschicht

Problemschicht

Aufgabenschicht

Anwendungsschicht Transportschicht

= OSI-Schichten

(nach: von Bechtolsheim 1993)

(6)

! " + +

Problemschicht

Aufgabenschicht

Anwendungsschichten

Transportschicht

Interaktionsschicht:

Agenten sind nebenläufige Prozesse mit nachrichtenorientierter Steuerung.

Funktionale Schichten eines Agentensystems

Aufgabenschicht:

Verteilung von Aufträgen an Agenten und Synthese von Teilergebnissen.

Problemschicht:

Verteilte Problemlösung durch Austausch von Teilproblemen und Teillösungen.

• Konfigurierung und Farbgestaltung einer virtuellen Büroumgebung

• Ziel: Weitgehende Entlastung von technischen Details

Erweiterte Grafik-DB Zeitmarkierte

Szenenbe- schreibungen

(Geometrie- Modelle, Materialien Objektnamen, Objekttypen)

Sicht- ausgabe Modeler

Renderer

Verbale Eingaben Änderungen

beobachten

Änderungen kommunizieren

Virtuelle Kamera

Raum

Inter- preter

Plan &

Physik

Farbe

Buch- führer

P a r s e r Grafik-DB

Mittler-Agenten Anpasser

Rückfragen

(7)

! " + $

% Sämtliche aus der Kommunikation und Kooperation resultierenden Aktivitäten sind für alle Agenten einheitlich definiert

%

Jeder Agent kann die Rolle eines Auftraggebers oder Auftragnehmers einnehmen

%

Neue Agenten sind einfach integrierbar durch

# Einbinden des Kooperationsverfahrens und

# Definition ihrer Basisfunktionalität

-

Gesamtfunktionalität (Mittlertätigkeit) kommt als verteilte Problemlösung zustande

-

Spezialistenwissen (über die zu erbringende Teilaufgabe)

# realisiert über die interne Basisfunktionalität der Agenten

# Definition applikationsspezifischer Basisfunktionen ist Sache der „Agentenprogrammierung“

-

Situiertes Wissen (über die virtuelle Umgebung)

# Durch Inspektion der Grafik-Datenmodelle wird die aktuell sichtbare Szene als Informationsquelle ausgewertet

# Beispiel: Auslesen der Lage und der Ausdehnung von Objekt- Boundingboxen zur Kollisionserkennung und -vermeidung

(8)

! " + '

unstrukturiert: Objektanordnung unmöglich strukturiert: Objektanordnung so möglich

(9)

! " + )

> ? @ 6 3 ; 3 ; / 0 2 3 4 = A8B C A8B 6 3 D = E3 C 5F @ 9 858@ 4 3 4 3 ; GH 6 ;5

> ? @ 6 84 3 ; 4 3 0 3 1 8553 8A5

> ? 83 3 ; 3 84 3 D = E3 C 55;/ 4 9 G@ ;1 / 58@ 4 81 . / 0 1 = 3 ;3 B 6 4 3 5

> : / I 3 84 D = E3 C 5 / 0 G 3 5? / 9 9 53 6 3 4 1 0 I J4 8B 6 5 K84 : 3 ; L 0 G5KM

> : / I 3 84 D = E3 C 5 4 0 ; 9 53 6 3 4 C / 4 4 N ? @ C 3 84 / 4 : 3 ;3 9 9 53 6 5

> ? / 9 O P @ ;Q = 3 : 3 0 53 5 = 3 8 3 84 3 1 R 89 B 6 = S ? T U B 6 ; 3 8= 589 B 6

> 84 ? 3 AB 6 3 ; D ;83 4 583 ;0 4 2 3 84 D = E3 C 5 3 ; ? / ; 50 4 2 9 2 3 1 H I

9 53 6 5 0 9 ? T

V W X Y Z[ Y \] \ Y ^ _ ` ab b ] c [ d ] \

e f ] g h ] _\ ab X Y ] V ] b X Y \] ad W c f ] c ^ ii] \ j k ] c ] c l ] _^ aib

e m ^ _] \a^ id ] b X Y \] ad W c f ] c l ] \ j k ] c ] c g d n] o _]

e p g \Y ] \f ] Y ] c l ] j k ] c ] c d ] b X Y \ ] ad W c f ] c qr c l ] \W c f ] c

W b s t u v wx v y z { | } v | ~ z { v w x z w

} z w z w z { z z { |v { z x z |v w x z w y x z w } w|

} { z w z { z { z z ||z |

z z w z { z v wx |wv { w v | { x v } z z w w z w

v { z w { y z { z wy x z | w x z wz } { z |

z z w z { x z | v { } v { z { z w v wx x z } wz x { y

z w x v z } wz x | } z { | z w|

² ³ ´µ ¶ ·¸ ´¹º ¹ » ´¶ ¼¶ ½¶ ¼¾

Adaptor

Buchführer

Parser

Interpreter Raum- agent

Welches Objekt heißt

“Stuhl”?

Welches

“Indigo”?

“Stuhl”=

obj-31

“Indigo”=

obj-57

move (obj.name =

“Stuhl”

pos.name =

“Indigo”) Wo ist obj-31?

Wo ist obj-57?

move obj-31 to obj-57 pos (obj-31)

= (x,y,z) pos (obj-37)

= (u,v,w) newpos (obj-31)

= (x’, y’, z’) (...)

(...) (...)

(10)

Arbeiten mit Britta Lenzmann, Projekt VIENA

Beispiele: Sprache und Handgesten

H a mi l t o n | l o o k | < G e s t e > t h e r e mo v e | < G e s t e > f o r w a r d

² ³ ´µ ¶ ·¸ ´¹º ¹ » ´¶ ¼¶ ½¶ ¼¾

(11)

Grober Ansatz:

Sensordatenaufnahme in kleinen Zeitzyklen (hier: 100 ms)

Datenintegration verschiedener Kanäle in großen Zeitzyklen (hier: 2 sec)

² ³ ´µ ¶ ·¸ ´¹º ¹ » ´¶ ¼¶ ½¶ ¼¾

• Modularisierung durch Verteilung a) technisch b) arbeitsorganisatorisch

• Flexibilität durch Kommunikation Einsatz alternativer Mittel je nach Situation

• Robustheit durch Kooperation

Erhalten der Handlungsfähigkeit bei Ausfall einzelner Komponenten

• Effizienzvorteile durch Parallelität:

Aufteilung komplexer Instruktionen auf mehrere Agenten

• multimodale Eingabemöglichkeit z.B. verbal und durch Gesten

• Adaptivität bei Benutzerpräferenzen

durch Variationen einzelner Agenten und credit assignment –> später

(12)

Â

I. Wachsmuth, Y. Cao: Interactive Graphics Design with Situated Agents. In W. Strasser & F. Wahl (eds.): Graphics and Robotics (pp. 73-85), Springer, 1995.

Â

T. Jörding, B. Lenzmann, I. Wachsmuth: Ein anthropomorpher Interface-Agent für die Interaktion mit einer virtuellen Umgebung.

In: KI-95 Activities: Workshops, Posters, Demos (pp. 182-183), Bonn: Gesellschaft für Informatik, 1995.

Â

VIENA-Reports (KI-NRW) auf der WWW-Forschungsseite AG WBS

² ³ ´µ ¶ ·¸ ´¹º ¹ » ´¶ ¼¶ ½¶ ¼¾