• Hotelsuche mit Semantic Web

(1)

AG Netzbasierte Informationssysteme http://www.ag-nbi.de

Netzbasierte Informationssysteme Anwendungen des Semantic Web

Prof. Dr.-Ing. Robert Tolksdorf Freie Universität Berlin

Institut für Informatik

Netzbasierte Informationssysteme mailto: tolk@inf.fu-berlin.de

http://www.robert-tolksdorf.de

(2)

AG Netzbasierte Informationssysteme http://www.ag-nbi.de 2

Agenda

• Online-Recruitment mit Semantic Web

• Hotelsuche mit Semantic Web

• Semantic Web in der Pathologie

(3)

Herausforderungen

• Wo kann Semantic Web angewandt werden?

• Semantic Web in der Pathologie

• Reisewissen

• KnowledgeWeb case studies

• Was ist der nützliche Effekt von Semantic Web

• Wissensnetze

(4)

Vergleich von Bewerber- und Stellenprofilen

Projekt Wissensnetze

(5)

Online Recruitment

• Trend weg von Portalen hin zu Suchmaschinen

• Portale sind gebührenfinanziert (jobpilot, monster, stepstone etc.)

• Staatliche Portale (Arbeitsagentur, www.ams.se)

• Anbieter veröffentlichen direkt auf ihren Websites

• Spezialisierte Suchmaschinen fokussieren sich auf diese Angebote (wwj, Yahoo HotJobs)

Erstellen der Anzeige

Anzeige veröffentlichen

Bewerbungen erhalten und vorselektieren

Endgültige Entscheidung

Jobprofil überlegen Manuelle Suche

oder Jobprofil veröffentlichen Bewerbungen

schreiben und verschicken Bewerbungs-

gespräch

Arbeitgeber Bewerber

Stelle ausschreiben

Job suchen

Kontrollierte Vokabulare

Dezentral auf Firmen-

webseiten

Basiskriterien automatisch

prüfen

./.

(6)

Online Recruitment mit Semantic Web

•

Erhöhte Markttransparenz zum Vorteil des Stellensuchenden

• Angebote einfacher zu finden

• Suchergebnisse mit höherer Präzision

•

Vorteil beim Anbieter

• Schnellere und günstigere Stellenbesetzung

•

Änderung bisheriger Geschäftsmodelle

• Gebührenfinanzierte Portale verlieren Markt

• Spezialisierte Suchmaschinen gewinnen

•

Zusätzlicher Wert:

• Stellenangebote und Bewerberprofile könnten in

HR-Management nach Anstellung übernommen werden

•

Wissensnetze (FU, HU Berlin): BMBF-Internetökonomie, Berliner Forschungszentrum "InterVal - Internet and Value Chains"

(7)

Online Recruitment mit Semantic Web

• Präzision der Analyse für Suchmaschinen ist mangelhaft

• Wie erkennt man zuverlässig ein (aktuelles) Stellenangebot im Web?

• Wie analysiert man ein erkanntes Stellenangebot?

(Stellenprofil, erforderliche Skills)

• Möglichkeiten:

• Bei Suchmaschinen: Computerlinguistische Verfahren

• Bei Anbietern: Annotation von Angeboten

• Szenario: Einsatzpfad für Semantic Web

• Organisatorisch:

• Stellenanbieter nutzen gemeinsames kontrolliertes Vokabular

• Stellensuchende nutzen gleiches Vokabular für Stellengesuche

• Technisch:

• Einfache Annotation Reichere Annotation Ersatz von Freitext durch RDF

(8)

Einfache Annotation

• Mit RDF und Bezug auf gemeinsames Vokabular (z.B. abgeleitet von HR-XML)

<html>

<head>

<rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#">

<jpp:JobPositionPosting

rdf:about="http://www.example.org/jp1.html"/>

</rdf:RDF>

</head>

<body>…Job posting in free text…

</body>

</html>

• Suchmaschinen können so Stellenangebote identifizieren

• Tatsächlich ein Stellenangebot vorliegen zu haben hilft

computerlinguistischen Verfahren und erhöht Präzision

der Indexierung

(9)

Reichere Annotation

•

Erfolg der einfachen Annotation bietet Anreiz zu einer erweiterten Beschreibung

•

Präzisere Klassifikation von Angeboten mit Hilfe bestehender Standards und Klassifikationen

• Stellenbeschreibungen

• Berufskennziffern (BKZ) – Bundesagentur für Arbeit

• Standard Occupation Classification (SOC) System

• Wirtschaftszweige

• Klassifikation der Wirtschaftszweige (WZ2003) – Statistisches Bundesamt

• North American Industry Classification System (NAICS)

• Skills

• Skills Ontology – KOWIEN Projekt, Uni Essen

• HR-XML – HR-XML Konsortium

• HR-BA-XML – Version der Bundesagentur für Arbeit

• HR-XML-SE – Schwedische HR-XML Version

(10)

Reichere Annotation - Beispiel

<html>

<head>

<rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#“

xmlns:skills="…#">

rdf:about="http://www.example.org/jp1.html"/>

<jpp:requiredCompetence>

<skills:Java>

<skills:hasCompetenceLevel rdf:resource="…#expert"/>

</skills:Java>

</jpp:requiredCompetence>

</rdf:RDF>

</head>

<body>

… Job posting in free text …

</body>

</html>

(11)

Ersatz von Freitext durch RDF

• In Konsequenz Ersetzung des Freitexts des Stellenangebots durch RDF Beschreibung:

<?xml version="1.0" encoding="UTF-8" ?>

<rdf:RDF xmlns:rdf="…#" xmlns:jpp="…#" xmlns:skills="…#">

rdf:about="#JobPositionPostingId-inf-44">

<jpp:hasHiringOrganisation>

<org:Organisation>

<org:name>Freie Universität Berlin</org:name>

</org:Organisation>

</jpp:hasHiringOrganisation>...

<jpp:requiredCompetence>

<skills:Java>

<skills:hasCompetenceLevel rdf:resource="…#expert"/>

</skills:Java>

</jpp:requiredCompetence>...

</jpp:JobPositionPosting>...

</rdf:RDF>

(12)

Prototyp: Human Resource Ontology

• Definition von Konzepten für

• Stellensuchende, Stellenangebote, Bewerbungen

• Semantic Matching integriert Annotationen mit

kontrollierten Vokabularien unter Verwendung von Hintergrundwissen zur Anwendungsdomäne

• Unser Prototyp kann Stellenangebote und

Bewerberprofile semantisch vergleichen (statt reinem Textvergleich mit Vektorraummodell)

Bewerberbeschreibung (HR-BA-XML + BKZ)

Organisation Industrie (WZ2003) Person

Kompetenzen (KOWIEN)

Stellenbeschreibung (HR-BA-XML + BKZ)

(13)

Prototyp: Semantic Matching

• Taxonomische Struktur als Basis zur Errechnung semantischer Abstände

• Ähnlichkeit zwischen zwei Konzepten c

₁

and c

₂

ist

bestimmt durch ihren Abstand d

_c

(c

₁

, c

₂

). Dieser drückt ihre Position in der Konzepthierarchie aus

•d_C(Java,C) = (1/64 - 1/512) + (1/64 - 1/256) = 13/512

•sim_C(Java,C) = 1 – 13/512 = 0,97

Höhere

Programmiersprache

Objektorientiert Imperativ

prozedural

Rein objektorientiert

Java Small talk C++ Delphi

C COBOL

Hybridsprachen

m(5) = 1/64

m(6) = 1/128

m(7) = 1/256

m(8) = 1/512

(14)

(15)

(16)

(17)

(18)

Analyse

• Suchmaschinen können zuverlässiger crawlen und Semantic Matching für höhere Präzision benutzen

• Jobsuchende profitiert von

• der erhöhten Markttransparenz

• der effizienteren und schnelleren Jobvermittlung

• der exakteren Suchergebnissen

• dem annotierten Profil

• Arbeitgeber profitiert von

• Semantic Matching zur Automatisierung der Vorauswahl

• Publikation von Angeboten nur auf eigener Firmen-Website

• erhöhter Reichweite der Angebote und der Präzision der Ansprache potentieller Bewerber

• Nutzung der semantisch annotierten Bewerbung für das firmeninterne Wissens- und Personalmanagement

(19)

Semantische Vergleiche bei der Hotelsuche

Projekt Reisewissen

(20)

Online Hotelsuche

• Kunde will Hotel buchen Æ www.ehotel.de

• Suchergebnis (z.B. London):

> 300 Hotels, nach Preis sortiert

• „Bestes Hotel für mich“ ist aber nicht durch den Preis alleine definiert

• Weitere Wünsche:

• Nähe zu Tagungsort

• Gute Erreichbarkeit

• Passende Ausstattung

• …

• Übliche Lösung:

• Aufwändiges Durchclicken aller Angebote

• Anruf bei Call-Center, Besuch in Reisebüro

(21)

Online Hotelsuche mit Semantic Web

• Entwicklung einer „Hotelbewertungs“-Engine

• Zuhilfenahme von

• Hotelinformationen

• Kundenprofilen (Wünsche, Bedingungen)

• Zusatzinformationen (Reiseführer, Bewertungen)

• Expertenwissen

• Nutzen:

• Zeit-/Kostenersparnis bei Reisendem und Vermittler

• Qualitätsverbesserung

• FU Berlin, eHotel AG, Investitionsbank Berlin und EFRE

(22)

Ablauf einer Hotelsuche

• Kunde definiert sein Profil, bestehend aus

• Constraints

• Präferenzen

• Kunde legt Reisedatum und –stadt fest

• Verfügbare Hotels für Datum/Stadt werden gesucht

• Ergebnismenge wird entsprechend der Constraints beschnitten

• Ergebnismenge wird entsprechend der Präferenzen

sortiert

(23)

Wo ist das Semantic Web?

• Ontologien für

• Hoteldaten

• Zusatzinformationen (z.B. POI)

• Kundenprofile (Bedingungen, Präferenzen)

• Regeln für Expertenwissen, z.B.

• „Ein Zwei-Sterne-Hotel bietet auch ein Frühstücksbüffet an“

• „Ein Hotel mit mehr als 200 Betten gilt auch in

unmittelbarer Umgebung eines Bahnhofs als seriös“

(24)

Reisewissen und das Semantic Web

(25)

Datenintegration

• Datenquellen werden nach RDF transformiert

• Entweder auf Anfrage …

• … oder gepuffert (Caching)

• Mögliche Datenquellen

• RDF-Repository

• Web Services

• HTML (Webscraping)

• RDF-annotierte Webseiten

• SQL-Datenbanken (via D2RQ)

• Regeln prototypisch in Prolog formuliert

• Im Produktionssystem die Regeln, die 80% des Nutzens

erbringen in Java ausprogrammieren!

(26)

Anfrage mit Profilauswahl

(27)

Passende Hotels:

nicht der Preis alleine bestimmt

(28)

Erläuterung

(29)

Anfrage ohne Profilauswahl

(30)

Bestes Hotel kommt erst

nach 50 billigeren Hotels

(31)

Semantischer Vergleich von Befundberichten

Projekt Semantic Web in der Pathologie

(32)

Digital Pathology

•

Typical diagnostics procedure:

• generate and analyze

tissue sample on glass slide

• generate medical report

• store text and image data

•

Extended usage of digital images for diagnostics support and educational purposes in everyday pathology

(33)

Digital Pathology

• Pathology data

(Institute for Pathology, Charité Berlin):

• 15.000 cases annually

• per medical case up to 5 pathology reports

• per pathology report up to 10 digital images (15GB)

• ^Problems:

• textual and image-based data is stored separately

• image-based retrieval is restricted to structural image characteristics

• text-based retrieval is restricted to string matching

• expert knowledge can not be shared or reused (for diagnostics or teaching purposes) without technical know-how

(34)

A Semantic Web for Pathology

•

Objectives

• re-organization of the available and future expert knowledge for efficient diagnostics and differential diagnostics tasks

• reuse text and image data for case-based teaching materials

• minimal invasive usage

• integration in the available technical infrastructure

• provision of good precision values (under-diagnosed cases)

•

Improve retrieval capabilities of the pathology archive

• pathology reports are textual representations of digital images

• content of text and image-based data is represented explicitly

• use medical ontologies to refine search features

• use rules to describe diagnostics processes

• use ontology-based NLP algorithms to extract and represent the content of the pathology reports (semantic annotation)

• FU Berlin, Uni Potsdam, Charité Berlin, DFG funded

(35)

transformation component

knowledge component

knowledge base manager

lexicon parser

quality assurance

module

pathology reports

description component

digital slides

digital virtual microscope US

E R I N T RE F A CE

owl xml

ontology lookup owl

consistency checking medical

ontologies instances

(36)

Description Component

• formalization of the pathology reports and metadata for digital slides in XML (SVG, XML-HL7)

• management of the original medical data

• report editor, image annotation tool

• new text reports are forwarded for annotation to the transformation component

• integration in the current environment

(37)

(38)

(39)

(40)

HL 7 Repräsentation

<section><caption>Befund</caption>

<section><caption>Makroskopie</caption>

<paragraph><content>[1]Zwei Gewebszylinder von 15 und 4 mm Laenge[1].</content></paragraph>

</section>

<section><caption>Mikroskopie</caption>

... <paragraph>

<content>[2]Stanzbiopsate aus Lungengewebe mit deutlicher Stoerung der alveolaren Textur,

soweit noch nachweisbar deutlich Verbreiterung der Alveolarsepten, stellenweise Nachweis

von Bronchialepithelregeneraten[2]. [3]Restliche Alveolarlumina z.T. durch

Fibroblastenproliferate verlegt[3]. [4] Im Interstitium ein gemischt entzuendliches Infiltrat,

bestehend aus Plasmazellen und Lymphozyten[4]. [5] Darunter relativ viele CD3-positive kleine und mittelgrosse T-Lymphozyten und CD68-positive Makrophagen[5].</content>

</paragraph>

</section>

<section><caption>Kritischer_Bericht</caption>

<content>[6]Stanzbiopsate aus der Lunge mit Zeichen der organisierenden Pneumonie (klin.Mittellappen)[6].</content>

</paragraph>

</section>

<section><caption>Kommentar</caption>

...

(41)

knowledge component

lexicon parser

quality assurance

module

pathology reports

digital slides

E R I N T RE F A CE

owl xml

ontology lookup owl

(42)

report (OWL) report

(XML)

Transformation Component

• recognizes concept instances from textual pathology reports and image metadata

• generates semantic representation of pathology reports and forwards it to the knowledge component

• suggests ontology extensions for frequent terms

Morph.Lexicon NP Grammar MWE

Tokenizer Sentence-

splitter

Morph.- synt.

Analysis

POS-tag disambig.

Chunk- parser

MWE, Concept-

Lookup

Res.

of under-

spec.

Map FOL to OWL

(43)

Transformation Component

<section><caption>Befund</caption>

<section><caption>Makroskopie</caption>

-<paragraph><content>[1]Zwei Gewebszylinder von 15 und 4 mm Laenge[1].</content></paragraph>

</section>

-<section><caption>Mikroskopie</caption>

-... <paragraph>

<content>[2] Stanzbiopsate aus Lungengewebe mit deutlicher Stoerung der alveolaren Textur, soweit noch nachweisbar

deutlich Verbreiterung der Alveolarsepten, stellenweise Nachweis von Bronchialepithelregeneraten[2]. [3] Restliche Alveolarlumina z.T. durch Fibroblastenproliferate verlegt[3]. [4]Im Interstitium ein gemischt entzuendliches Infiltrat, bestehend aus Plasmazellen und Lymphozyten[4]. [5]Darunter relativ viele CD3-positive

kleine und mittelgrosse T-Lymphozyten und CD68-positive Makrophagen[5].</content>

</paragraph>

</section>

- <section><caption>Kritischer_Bericht</caption>

- <paragraph>

<content>[6] Stanzbiopsate aus der Lunge mit Zeichen der organisierenden Pneumonie (klin.Mittellappen)[6].</content>

</paragraph>

</section>

- <section><caption>Kommentar</caption>

...

[1] card(x1, 2) AND cylinder(x1) AND length(x1, [15, 14]) [2] unspec_plur_det(x2) AND punch_biopsat(x2)

AND from_rel(x2, x3) AND unspec_plur_det(x3) AND lung_tissue(x3) AND with_rel(x3, x4) AND def_det(x4) AND disturbance(x4, x5) AND def_det(x5) AND texture(x5)

AND alveolar(x5) unspec_det(x6) AND extension(x6, x7) AND def_det_plur(x7)

AND aleveolar_septum(x7) AND unspec_det(x8) AND evidence(x8, x9) AND indef_det(x9)

AND epithelial(x9)

AND bronchial(x9) AND regenerates(x9) [3] def_det(x10) AND alveolarlumina(x10)

unspec_det_plur(x11) AND fibrolastial_proliferate(x11) [4] def_det(x12) AND interstitium(x12)

indef_det(x13) AND inflammatory(x13) AND infiltrate(x13) AND consisting_of_rel(x13, x14)

AND unspec_det_plur(x14)

AND konj(x14, x15, x16) AND plasma_cell(x15) AND lymphocyte(x16)

[5] indef_det_plur(x17) AND konj(x17, x18, x19) AND t_lymphocyte(x18)

AND cd68_positive(x19) AND macrophagus(x19) [6] indef_det_plur(x20) AND punch_biopsate(x20)

AND from_rel(x20, x21) AND def_det(x21) AND lung(x21) AND with_rel(x20, x22) AND evidence(x22, x23) AND def_det(x23) AND organising(x23)

AND pneumonia(x23)

LF XML HL7

(44)

Transformation Component

[1] card(x1, 2) AND cylinder(x1) AND length(x1, [15, 14]) [2] unspec_plur_det(x2) AND punch_biopsat(x2)

AND from_rel(x2, x3) AND unspec_plur_det(x3) AND lung_tissue(x3) AND with_rel(x3, x4) AND def_det(x4) AND disturbance(x4, x5)

AND def_det(x5) AND texture(x5) AND alveolar(x5) unspec_det(x6) AND extension(x6, x7)

AND def_det_plur(x7)

AND aleveolar_septum(x7) AND unspec_det(x8) AND evidence(x8, x9) AND indef_det(x9)

AND epithelial(x9) AND bronchial(x9) AND regenerates(x9)

[3] def_det(x10) AND alveolarlumina(x10)

unspec_det_plur(x11) AND fibrolastial_proliferate(x11) [4] def_det(x12) AND interstitium(x12)

indef_det(x13) AND inflammatory(x13) AND infiltrate(x13) AND consisting_of_rel(x13, x14)

AND unspec_det_plur(x14)

AND konj(x14, x15, x16) AND plasma_cell(x15) AND lymphocyte(x16)

[5] indef_det_plur(x17) AND konj(x17, x18, x19) AND t_lymphocyte(x18)

AND cd68_positive(x19) AND macrophagus(x19) [6] indef_det_plur(x20) AND punch_biopsate(x20)

AND from_rel(x20, x21) AND def_det(x21) AND lung(x21) AND with_rel(x20, x22) AND evidence(x22, x23) AND def_det(x23) AND organising(x23) AND pneumonia(x23)

LF

<Lung_Tissue rdf:ID="lung_tissue_x3">

<Lung_C0024109 rdf:ID="lung1">

... properties of the lung ...

</Lung_C0024109>

</partOf>

</Lung_Tissue>

<Punch_biopsat rdf:ID="punch_biopsat_x2">

</Punch_biopsat>

disturbed</hasTexture>

</alveola>

<length rdf:datatype="http://www.w3.org/2001/

XMLSchema#float">15.0</length>

</Cylinder>

<length rdf:datatype="http://www.w3.org/2001/

XMLSchema#float">14.0</length>

</Cylinder>

OWL

(45)

knowledge component

lexicon parser

quality assurance

module

pathology reports

digital slides

E R I N T RE F A CE

owl xml

ontology lookup owl

(46)

Knowledge Component

• Knowledge base

• medical ontologies

• ontology of lung anatomy

• ontology of lung diseases

• model of pathology reports

• immunohistology ontology

• generic ontologies

• semantic network

• rules (to be done)

• Tumor Node Metastasis (tumor classification system)

• instances of the ontology concepts from real pathology reports and digital slides

• reasoner

(47)

(48)

(49)

Basis for Ontology: UMLS

• UMLS (Version 2003AC)

• Unified Medical Language System (National Library of Medicine)

• 100 medical libraries (1,5 billion concepts)

• integrates libraries into a common data format (UMLS Semantic Network, UMLS Metathesaurus)

• UMLS Semantic Network:

upper level + medicine core concepts

• UMLS Metathesaurus:

• library-specific concepts

• terms are grouped to single concept id

• translation of terms

(50)

Ontology Generation and Evaluation

•

Top-down approach:

• identify relevant UMLS libraries Æ 50% (700.000 concepts)

• Map relevant libraries to archive vocabulary Æ ranking of 10 most application relevant UMLS libraries Æ 250.000 concepts

•

Bottom-up approach:

• start with 5 application relevant keywords

• consider neighbored concepts in Metathesaurus Æ 1000 concepts

•

Ontology evaluation

• Check inconsistencies (reasoner) Æ 5%

• Add German translations Æ 5%

• Compare archive vocabulary to the ontology vocabulary:

• add pathology-specific knowledge

• add generic knowledge (spatial relationships, part-whole ontology)

(51)

UMLS Issues

• Not intended for automatic integration in Semantic Web applications:

• no precise semantic definition of relationships

(part-of, narrower, broader, related_to, associated_with)

• error-prone modeling decisions:

• no consistent upper-level ontology

• cyclic concept definitions

• erroneous usage of part-of and is-a relationships (right lobe of lung is-a lung)

• meaning of concepts is encoded in concept names (“ARF-smaller-then-2”,

“Unspecified injury of lung with open wound into thorax”)

(52)

Zusammenfassung

(53)

Was kann man mit

Semantic Web machen?

• Semantische Suche:

• Suche nach passenden Dokumenten auf Konzeptebene

• Nutzung von Ontologien für Inferenzen

• Erhöhung von Treffgenauigkeit und Treffervollständigkeit

• ECommerce:

• Kunde sucht Produkt mit bestimmten Anforderungen (Gestaltung, Fähigkeiten, Leistung, Preis, ...)

• Welches Angebot passt am besten?

• Welche Angebote sind ähnlich?

• Inferenzen für Präferenzmix

• Erhöhung der Treffgenauigkeit

(54)