1 KIT – Die Forschungsuniversität in der Helmholtz-Gemeinschaft25.04.2016 IPD Tichy, Fakultät für Informatik
Abbildung von Webformularen auf aktive Ontologien
Masterarbeit Wasim Said
Betreut von Martin Blersch und Mathias Landhäußer
2 25.04.2016
Motivation
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Flug
Bahn
Hotel
Aktive Ontologie EASIER
Motivation
Dialog Manager
User: Book me a flight from Karlsruhe to Berlin
System: When do you want to fly?
User: On the 15th of April
Abflug- ort
Ankunfts- ort
Hinflugs- datum Flug
4 25.04.2016
Grundlage
Aktive Ontologie
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Dep.
Postfix Dep.
Prefix Place Arr.
Prefix
Arr.
Postfix
Departure Arrival
Flight Command
Worterkennungsphase Konzeptphase
Kommandophase
Faktenspeicher
Grundlage
Arbeitsprozess
Dep.
Postfix Dep.
Prefix Place Arr.
Prefix
Arr.
Postfix
Departure Arrival
Flight Command
Find me a flight from Karlsruhe to Berlin
From(4) Karlsruhe(5)
Berlin(7)
Karlsruhe(5)
Berlin(7) To(6)
Departure(Karlsruhe) Arrival(Berlin)
FindFlight(
Departure(Karlsruhe), Arrival(Berlin))
Distanz(from(4),KA(5)) Distanz(from(4),BE(7))
Distanz(to(6),KA(5)) Distanz(to(6),BE(7))
Find(0) me(1) a(2) flight(3) from(4) Karlsruhe(5) to(6) Berlin(7)
6 25.04.2016
Grundlagen
Sprachdialog-Systeme
DB DM
NLG
ASR NLU
TTS
Wahrnehmen Verstehen
Schlussfolgern
Erzeugen
Emittieren ASR: Automatic Speech Recognition NLU: Natural Language Understanding DM: Dialog Manager
DB: Database
NLG: Natural Language Generation TTS: Text To Speech
Verwandte Arbeiten
Erstellung von Ontologien aus den Webformularen
Faeton: Form analysis and extraction tool for ontology construction [BJNS10]
Ontobuilder: Fully automatic extraction and consolidation of ontologies from web sources using sequence semantics [RG06]
Dialog-Manager
The Philips automatic train timetable information system [AOSS95]
Partially observable markov decision processes for spoken dialog systems [WY07]
8 25.04.2016
Ansatz
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Webseiten auswählen Konzepte identifizieren Ontologie erstellen
Methode aufrufen
FindFlight(dep, arr, date)
Lufthansa
Departure City Arrival City Departure Date Flight Class
British_Airways
Flying From To
Departing Class
Swiss_Airlines
From To Outbound Flight
Departure Arrival
Departure Date Flight Class
Departure Departure Date
Arrival
Flight
Command
Action
Flight Class
Ansatz
Konzepte Identifizieren
Airline Departure Arrival Dep. Date Flight Class Lufthansa Departure City Arrival City Dep. Date Flight Class British Airways Flying From To Departing Class
Swiss Airlines From To Outbound ---
Flight
Departure Arrival Dep.
Date
Flight Class Dep. Date
Flight Class
Book a flight
Departure Arrival
Mandatory
10 25.04.2016
Ansatz
Wie geben die Nutzer ihre sprachliche Anfrage?
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
3 Fragen pro Kategorie
1. Ohne Hilfestellung
2. Bilder von Webformularen 3. Weitere Optionen
40 Probanden
Sprachniveau (20 Muttersprache, 20 Zweitsprache)
Onlinebuchungserfahrung (24 mit Erfahrung, 16 ohne Erfahrung) Alter (von 15 bis 58)
Bildungsniveau
50% für die Entwicklung, 50% für die Evaluation
Ansatz
Erkennung der Konzepte
Konzept Verwendete Technik Beispiel Departure
Arrival
Präfixe Postfixe Wörterliste
From Karlsruhe
Berlin is the destination Karlsruhe, Berlin
Dep. Date Präfixe Postfixe
reguläre Ausdrücke
Bibliotheke (SUtime - Stanford)
Fly on 11/12/2015
11/12/2015 is the departure date 11/12/2015
Next Monday Flight Class Präfixe
Postfixe Wörterliste
Flight class is economy First class
Economy
12 25.04.2016
Ergebnis
Aktive Ontologie „Flug“
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Dep.
Departure Arrival Date
Flight
Return Date
Places
Dep.
Postfix Dep.
Prefix
Arr.
Prefix
Arr.
Postfix
Dep. Date Prefix
Dep. Date Postfix
Dep. Date Prefix
Dep. Date Postfix Date
Recognizer
Babies Children Adult
Numbers
Child Postfix Child
Prefix
Adult Prefix
Adult Postfix
Babies Prefix
Babies Postfix
Flight Class
Class Options
Class Prefix
Class Postfix
Verstehen
Aktive Ontologie
Faktenspeicher Dialog-Manager
Entwurf
Dialog Manager
DB DM
NLG
ASR NLU
TTS
Wahrnehmen Schlussfolgern
Erzeugen
Emittieren ASR: Automatic Speech Recognition NLU: Natural Language Understanding DM: Dialog Manager
DB: Database
NLG: Natural Language Generation TTS: Text To Speech
Verstehen
14 25.04.2016
Entwurf
Dialog Manager
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Mandatory Optional
Dialogue
Factstore Fehlende obligatorische
Eingabe
1- Departure
2- Departure date
Fehlende optionale Eingabe
1- Flight class Book me a flight
to Manchester Flight
Arrival Dep.
Departure Date Flight
Class
Demo
16 25.04.2016
100 100 96.26 100
94.28
89.11 90
93.47
81.25
75
97.05
87.36
70 75 80 85 90 95 100
Start Destination Journey Date Journey Time Return Date Train-AO
Präzision Ausbeute
Evaluation
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
100 100
92.1
76.92
92.29
100
93.56 88.63
96.77
89.74
71.42
86.66 88.23 86.91
70 75 80 85 90 95 100
Departure Arrival Departure Date
Return Date Flight Class Number of Adults
Flight-AO
Präzision Ausbeute
BahnAO
FlugAO
100 94.11 100 100 100 98.83 85.71
42.1
100
78.57
100
81.28
40 50 60 70 80 90 100
Arrival Date Departure Date
Place Number of Adults
Number of Rooms
Hotel-AO
Präzision Ausbeute
Evaluation
HotelAO
Eingabe vollständig
Erkennung vollständig unvollständig
Flug 21 (66%) 11 (34%)
Bahn 15 (68%) 7 (32%)
Hotel 14 (74%) 5 (26%)
Gesamt 50 (65%) 23 (35%)
18 25.04.2016
Fazit
Aktive Ontologien
30 formularbasierte Dienste aus drei verschiedenen Kategorien können verwendet werden
EASIER
Neue Knotentypen (Datum, Zeit, Ziffern)
Unterstützung von Ausdrücken die aus mehreren Wörtern bestehen
Dialog-Manager
Nach fehlende Informationen fragen Ergebnisse zeigen
Ausblick
Aktive Ontologien
Negation, Referenzen und weitere sprachliche Varianten werden unterstützt
Dialog-Manager
Fragen vollautomatisch generieren Aufruf externer Dienste
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Vielen Dank für Ihre
Aufmerksamkeit!
20 25.04.2016
Literatur
[Guz08] Guzzoni, Didier: Active: a unified platform for building intelligent applications, Ecole Polytechnique Federale De Lausanne, PhD Thesis, Januar 2008
[BL] Blersch, Martin; Landhäußer, Mathias: EASIER: An Approach to Automatically Generate Active Ontologies for Intelligent
Assistants. In: International Symposium on Information Systems and Software Engineering: ISSE 2016
[BJNS10] Berlanga, Rafael ; Jimenez-Ruiz, Ernesto ; Nebot, Victoria ; Sanz, Ismael: Faeton: Form analysis and extraction tool for ontology construction. In: International Journal of Computer Applications in Technology
[RG06] Roitman, Haggai ; Gal, Avigdor: Ontobuilder: Fully automatic
extraction and consolidation of ontologies from web sources using sequence semantics. In: Current Trends in Database
Technology-EDBT 2006. Springer, 2006, S. 573-576
Abbildung von Webformularen auf aktive Ontologien | Wasim Said
Literatur
[DVNR03] Davalcu, H. ; Vadrevu, Srinivas ; Nagarajan,
Saravanakumar ; Ramakrishnan, I.V.: OntoMiner:
bootstrapping and populating ontologies from domain- specic Web sites. In: IEEE Intelligent Systems 18 (2003), September, Nr. 5, S. 24-33
[AOSS95] Aust, Harald ; Oerder, Martin ; Seide, Frank ; Steinbiss, Volker: The Philips automatic train timetable information system. In: Speech Communication 17 (1995), November, Nr. 3-4, S. 249-262.
[WY07] Williams, Jason D. ; Young, Steve: Partially Observable Markov Decision Processes for Spoken Dialog Systems.
In: Comput. Speech Lang. 21 (2007), April, Nr. 2, S.
393-422.
