Vorstellung meiner Diplomarbeit

(1)

Visuelles Data Mining komplexer Strukturen

Vorstellung meiner Diplomarbeit

Hans-Jörg Schulz

(2)

Einf ührung Begriffskl ärung Anwendungsgebiete Informationsmodell Preprocessing Visualisierung Interaktion Implementation Erg änzungen

Einführung

(3)

Begriffsklärung

Visual Data Mining

Data Mining

Information Visualization Visual Data Exploration

Exploratory Data Analysis visuell

abstrakt

statisch interaktiv

(4)

Anwendungsgebiete

– Crime Data Mining -COPLINK [Hauck et al,2002]

➥ Überwachung von finanziellen Transaktionen (Geldwäsche, Kreditkartenbetrug)

➥ Analyse krimineller / terroristischer Netzwerke

– Analyse von Citation Networks - z.B. NEC

SiteSeer Datenbank mit 250.000 Papers und ca.

4,5 Mio. Verweisen

– Web Structure Mining (im Gegensatz zu Web Content Mining und Web Usage Mining)

– Analyse von P2P-Netzwerken

z.B. unter http://www.minitasking.com/old/

– zur Untersuchung von phylogenetischen

Bäumen, Ontologien, Netzplänen (PERT, CPM),

(5)

Einf ¨uhrung Begriffskl ¨arung Anwendungsgebiete Informationsmodell

Preprocessing Visualisierung Interaktion Implementation Erg ¨anzungen

Informationsmodell & Framework

– Informationsmenge: IM = { IO ₁ , . . . , IO _n }

– Attributmenge: AM = attr ({ IO ₁ , . . . , IO _n })

– Informationsraum: dim ( IR ) = | AM |

– Informationsstruktur: IS ⊆ IM × IM

Prepocessing Visualisierung

Daten Charakteristika

der Daten

Merkmale der Daten in Form eines Bildes

VDM−Control

Anwendungskontext Nutzerziele

(6)

Informationsmodell & Framework

– Informationsmenge: IM = { IO ₁ , . . . , IO _n }

– Attributmenge: AM = attr ({ IO ₁ , . . . , IO _n })

– Informationsraum: dim ( IR ) = | AM |

– Informationsstruktur: IS ⊆ IM × IM

Data Mining

der Daten

(manuelle) Vorver−

arbeitung

Rohdaten

View

VDM−Control

(7)

Informationsmodell & Framework

– Informationsmenge: IM = { IO ₁ , . . . , IO _n }

– Attributmenge: AM = attr ({ IO ₁ , . . . , IO _n })

– Informationsraum: dim ( IR ) = | AM |

– Informationsstruktur: IS ⊆ IM × . . . × IM × R

– Strukturmenge: SM = { IS ₁ , . . . , IS _k }

Data Mining

der Daten

(manuelle) Vorver−

arbeitung

Rohdaten

View

VDM−Control

(8)

Einf ¨uhrung Preprocessing Uberblick¨ Klassifikation

Strukt. Parameter (1) Strukt. Parameter (2) Strukt. Parameter (3) Strukt. Parameter (4) Clustering

Dekomposition (1) Dekomposition (2) Visualisierung Interaktion Implementation Erg ¨anzungen

Preprocessing

(9)

Überblick

Clustering

Berechnung struktureller

Parameter

Dekomposition

ergänzende Attribute hierarchische Cluster /

Dendrogramm

Dekompositionsbaum Zentralitätsmaße, Ähnlichkeitsmaße, Graphattribute

Informationsstruktur

Klassifikation

(10)

Klassifikation

Graph Hypergraph

Netzwerk Baum

gerichtet ungerichtet

kreisfrei zyklisch

(11)

Strukt. Parameter — Zentralitätsmaße

– Grad deg ( v ) : Zahl der zu v inzidenten Kanten (mit Graph G = ( V, E ) und v ∈ V )

– k-Neighborhood Größe: | N _k ( v )|

mit N _k ( v ) = { u : u ∈ V \ { v } ∧ dist ( u, v ) ≤ k }

– Closeness: (

∀ u ∈ V \{ v } dist ( v, u )) ⁻¹

– Eccentricity: (max ∀ u ∈ V \{ v } dist ( v, u )) ⁻¹

– Radiality:

∀u∈V\{v}

diam ( G )−1− dist ( v,u )

| V |· diam ( G )

mit diam ( G ) = max{ dist ( u, v ) : u, v ∈ V }

(12)

Strukt. Parameter — Zentralitätsmaße

– Betweenness: Anzahl aller kürzesten Pfade, die den Knoten v durchlaufen

– Flow-Betweenness: Summe aller max. Flüsse, die Knoten v durchlaufen

– PageRank: R ( v ) = c

u ∈ B

_v

R ( u )

L

_u

+ cE ( u ) mit

➥ c < 1 Skalierungsfaktor

➥ B _v Menge der Backlinks von v

➥ L _u Menge der Links von u

➥ E ( u ) = 0 . 15 Korrekturglied zur Vermeidung

des Rank-Sink-Problems

(13)

Strukt. Parameter — Ähnlichkeitsmaße

– Connectivity: | cut ( v, u )| mit trennender Kantenmenge cut ( v, u ) = f low ( v, u )

➥ entspricht Anzahl disjunkter Pfade

– Dependency: Anzahl kürzester Pfade von v, die u passieren

– Anzahl aller Index- bzw. Referenzknoten mit denen sowohl v als auch u benachbart sind

➥ Indexknoten: outdeg ≥ indeg

➥ Referenzknoten: indeg ≥ outdeg

(14)

Strukt. Parameter für (Teil-)Graphen

– durchschnittl. Grad:

v ∈ V

deg ( v )

| V |

– Compactness oder Density: _| _℘ ^| ^E ^|

2

( V )|

mit | ℘ ₂ ( V )| = ^| ^V ^|·(| ₂ ^V ^|−1)

– Clustering Coefficient:

v ∈ V

compact ( N

₁

( v ))

| V |

(15)

Clustering

– Separation (TopDown): unähnliche Objekte trennen

➥ Edge Betweenness Centrality Clustering

➥ Normalized Cut

ncut ( A, B ) = _assoc ^cut ⁽ ^A,B ₍ _A,V ⁾ ₎ + _assoc ^cut ⁽ ^B,A ₍ _B,V ⁾ ₎

– Agglomeration (BottomUp): ähnliche Objekte zusammenfassen

➥ single, complete, average linkage

➥ Normalized Association

nassoc ( A, B ) = _assoc âssoc ₍ ⁽ _A,V Â,A ⁾ ₎ + âssoc _assoc ⁽ ₍ ^B,B _B,V ⁾ ₎ wobei assoc ( X, Y ) =

x ∈ X,y ∈ Y

w _xy

(16)

Dekomposition (1)

– k-Core-Dekomposition

1-Core

(17)

Dekomposition (1) Dekomposition (2)

Visualisierung Interaktion Implementation Erg ¨anzungen

Dekomposition (2)

– Modulare Dekomposition

(18)

Einf ¨uhrung Preprocessing Visualisierung Vorbemerkung Techniken (1) Techniken (2) Techniken (3) Techniken (4) Interaktion Implementation Erg ¨anzungen

Visualisierung

(19)

Vorbemerkung

Definition des Begriffs p-Baumähnlichkeit:

Ein Graph G ( V, E ) ist zu p % baumähnlich gdw.

∃ E : E ⊆ E ∧ | E |

| E | ≥ p ∧ G ( V, E ) ist kreisfrei

Definition des Begriffs k-Baumähnlichkeit:

Ein Graph G ( V, E ) ist k-baumähnlich gdw.

∃ E : E ⊆ E ∧ | E | − | E | ≤ k ∧ G ( V, E ) ist kreisfrei

(20)

Techniken für Bäume

TreeMap, SunBurst, Information Slices, Space

Tree,...

(21)

Techniken für baumähnliche Graphen

Hyperbolic Viewer, H3, MagicEye, ConeTrees,...

(22)

Techniken für baumähnliche Graphen

Hyperbolic Viewer, H3, MagicEye, ConeTrees,...

(23)

Techniken für Netzwerke

Federkraftmodelle (im R ² und R ³ ), Graph Sketches,...

interne Feder

externe Feder

virtuelle Feder

virtueller Knoten

realer Koten

(24)

Einf ¨uhrung Preprocessing Visualisierung Vorbemerkung Techniken (1) Techniken (2) Techniken (3) Techniken (4)

Interaktion Implementation Erg ¨anzungen

Einfache Techniken für Graphparameter

Scatter Plots, Balkendiagramme oder Histogramme zur Darstellung von

Graphparametern

(25)

Einf ¨uhrung Preprocessing Visualisierung Interaktion Techniken Beispiel

Implementation Erg ¨anzungen

Interaktion

(26)

Navigations– & Interaktionstechniken

– Manipulation des Graphen:

➥ Aggregation

➥ Extraction

➥ Elemination

– Interaktion mit dem Graphen:

➥ Selektion (Suche, Overview, manuell)

➥ Falten

➥ Verstecken

➥ Zoom

➥ Details On Demad

+ History-Konzept

(27)

Beispiel: DendroNavigation

(28)

Beispiel: DendroNavigation

(29)

Beispiel: DendroNavigation

(30)

Beispiel: DendroNavigation

(31)

Beispiel: DendroNavigation

(32)

Einf ¨uhrung Preprocessing Visualisierung Interaktion Implementation Allgemeines Beispiel 1 Beispiel 2 Beispiel 3 Erg ¨anzungen

Implementation

(33)

Allgemeine Bemerkungen

– lt. Aufgabenstellung:

PROTOTYPISCHE IMPLEMENTATION

– erfolgt in C/C++, QT, OpenGL

– Datenbasis: Linkgraph der öffentlichen Websiten des Instituts für Informatik vom 30.03.2004

(57.060 Knoten, 532.857 Kanten)

– weitere Daten auf Vladimir Batageljs “Graph

Theory and Network Analysis“-Homepage unter http://vlado.fmf.uni-lj.si/vlado/vladonet.htm

– offene Fragen:

➥ flexibles Datenformat?

➥ Schnittstellen für Erweiterungsmodule

(neue Clusteralgorithmen,

(34)

Beispiel 1: Klassifikation

(35)

Beispiel 2: Navigation

(36)

Beispiel 3: Preprocessing

Data Mining

Prepocessing

Visualisierung

der Daten

Nutzerinteraktion

(manuelle) Vorver- arbeitung

Rohdaten

View

ge nderter Datensatz

VDM-Control

(37)

Beispiel 3: Preprocessing

Data Mining

Information Visualization Visual Data Exploration

Exploratory Data Analysis visuell

abstrakt

statisch interaktiv

(38)

Einf ¨uhrung Preprocessing Visualisierung Interaktion Implementation Erg ¨anzungen Uberblick¨

Ergänzungen

(39)

Einf ¨uhrung Preprocessing Visualisierung Interaktion Implementation Erg ¨anzungen Uberblick¨

Vorstellung meiner Diplomarbeit

Visuelles Data Mining komplexer Strukturen