FernUniversität in Hagen Seminar 01912 „Data Mining“ im Sommersemester 2008 „Häufige Muster und Assoziationsregeln“ Thema 1.1.1 Der Apriori-Algorithmus

FernUniversität in Hagen

Seminar 01912 „Data Mining“

im Sommersemester 2008

„Häufige Muster und Assoziationsregeln“

Thema 1.1.1

Der Apriori-Algorithmus

Referentin: Olga Riener

1. Einführung ...3

2. Formale Notationen ...8

3. Def: Assoziationsproblem...14

4. Basisalgorithmen zur Entdeckung von Assoziationsregeln...16

5. Apriori-Algorithmus ...18

6. Apriori-Erweiterungen ...29

7. Sonstige Ansätze zur Effizienzsteigerung von Apriori ...34

8. Fazit ...41

1. Einführung

Was ist Data Mining?

Erfolgsrezept in vielen Bereichen = Information + richtige Auswertung dieser Information.

 Datenbanken nehmen große Datenbestände auf.

(Lagerbestände, Auftragsdaten, Verkaufs- und Umsatzdaten, Personendaten, usw.)

 Der KDD-Einsatz („Knowledge Discovery in Databases“) entdeckt und interpretiert das nützliche Wissen aus diesen Daten.

Data Mining ist das Herzstück des KDD-Prozesses.

„Unter Data Mining versteht man das systematische (in der Regel automatisierte oder halbautomatische) Entdecken und Extrahieren von Strukturen und Beziehungen in großen Datenmengen.“

Anwendungsbeispiel des Data Mining

Die Warenkorbanalyse ist einer der geläufigsten Anwendungsbeispiele des Data Mining.

Hier geht es um die Frage: „Welche Produkte werden häufig zusammen gekauft?“

Erkenntnisse:

“Kauft ein Kunde Milch und Butter, besteht eine große Wahrscheinlichkeit, dass er sich auch noch für Brot entscheidet.”

Hm-m-m, welche Produkte werden bei uns häufig zusammen gekauft?

Kunde 1: Brot, Milch, Butter Kunde 2: Brot, Zucker, Milch

Kunde 3: Brot, Milch, Butter, Mehl

Kunde 4: Zucker, Sahne

Aufgabenbereiche und Methoden des Data Mining

Aufgabe Aufgabenstellung Wesentliche Methoden

Segmentierung Bildung von Klassen aufgrund von Ähnlichkeiten der Objekte.

- Clusteranalyse - Neuronale Netze

Klassifikation Identifikation der Klassenzugehörigkeit von Objekten auf der Basis gegebener Merkmale.

- Diskriminanzanalyse - Neuronale Netze - Entscheidungsbäume

Vorhersage

Prognose der Werte einer abhängigen kontinuierlichen Variable auf Basis einer funktionalen Beziehung.

- Regressionsanalyse - Neuronale Netze - Entscheidungsbäume

Assoziation Aufdecken von strukturellen Zusammenhängen in Datenbasen mit Hilfe von Regeln.

- Assoziationsanalyse

Einsatzgebiete des Data Mining

Marketing

 Kundensegmentierung

 Responseanalyse von Werbemitteln

 Warenkorbanalyse

 Storno-/Reklamations-/Kündigungsanalyse

Finanzdienstleistungen

 Kreditrisikobewertung

 Prävention des Kreditkartenmissbrauchs

 Bildung von Versicherungsrisikoklassen

Beschaffung/Produktion

 Materialbedarfsplanung

 Qualitätssicherung und Kontrolle

Controlling

 Ergebnisabweichungsanalyse

 Entdecken von Controlling-Mustern

2. Formale Notationen

Gegeben:

Definition Beispiel

F: Menge von eindeutigen Transaktionsbezeichnern ID-Nummern der Kaufvorgänge O: Menge von Objektbezeichnern (items) Alle zum Verkauf stehenden Waren T = (TID, I): Transaktion, wo TID  F und I  O Kaufvorgang eines Kunden

I = {i₁ , i₂ , ... , i_k}: Elemente (items) einer Transaktion Gekaufte Waren bei einem Einkauf D = T : Menge aller Transaktionen Verkaufsdatenbank

Assoziationsregel

 eine Aussage der Form: „Wenn ein Ereignis X eingetreten ist, dann besteht eine hohe Wahrscheinlichkeit, dass auch Ereignis Y eintritt“.

 Für X,Y O, X  Y=  ist X Y eine Assoziationsregel.

 Eine Transaktion T=(TID,I) erfüllt eine Transaktionsregel R: X Y gdw. (X Y) .

Notation: T  R.

 Arten der Assoziationsregeln:

- nützliche Assoziationsregeln - syntaktisch triviale Assoziationsregeln - semantisch triviale Assoziationsregeln - unerklärliche Assoziationsregeln

Unterstützungsgrad (Support)

Seien F, O und D wie oben definiert.

Für ein itemset X O ist der Unterstützungsgrad (support) von X in D wie folgt definiert:

|{ TD| T=(TID,I), X  I }|

support_D(X) = 

|D|

Somit misst support_D(X) den (prozentualen) Anteil der Transaktionen mit X in der Menge aller Transaktionen D an.

Der Unterstützungsgrad (support) einer Assoziationsregel R: (A B) in D ist wie folgt definiert:

|{T D | T=(TID,I), (A ) I }|

support_D(A  =  = support _D(A 

|D|

Offensichtlich misst support_D(A  die statistische Signifikanz der Regel R und wird als der (prozentuale) Anteil der Transaktionen mit (A B) in der Menge aller Transaktionen D berechnet.

Vertrauensgrad (confidence)

Die Konfidenz misst die Sicherheit der entdeckten Assoziationsregel und präsentiert somit die Stärke bzw. den Vertrauensgrad für dieser Regel.

Die Konfidenz ist der (prozentuale) Anteil der Transaktionen mit (X Y) in der Menge der Transaktionen D, deren Itemsets X enthalten :

|{T D | T=(TID,I), (X Y) I }| support_D(X Y)

confidence_D(X Y) =  = 

|{T D | T=(TID,I), X I }| support_D(X)

Attributwertmenge (itemset)

Eine Menge aus einem oder mehreren items einer Transaktion wird als Muster oder als Attributwertmenge (itemset) bezeichnet

Z.B. Muster ({Milch, Brot}) in einer Kauftransaktion.

k-Attributwertmenge (k-itemset)

Eine aus k items bestehende Attributwertmenge

Häufiges Muster

Ein häufiges Muster ist eine Attributwertmenge M O mit einem Unterstützungsgrad größer als eine vorgegebene minimale Unterstützung min_sup. D.h. der Anteil der Transaktionen in D mit dieser Attributwertmenge muss mindestens min_sup sein:

support_D(X) ≥ min_sup

Beispiel: Formale Notationen

Assoziationsregel

„Kauft ein Kunde Brot und Butter, so kauft er auch Milch“

Regel: {Brot, Butter } {Milch}

Unterstützunggrad (support)

support({Brot}) = 5/6 = 83.3%

support({Milch},{Butter}) = 3/6 = 50%

support({Brot},{Milch}) = 4/6 = 66,6 %

Einkaufstransaktionen

TID Attribute

100 Brot, Milch, Butter 200 Brot, Milch, Käse 300 Brot, Marmelade 400 Milch, Butter, Brot

500 Brot, Milch, Butter, Käse 600 Marmelade

Vertrauensgrad (confidence)

support({Brot}{Milch}) 2/3

confidence(Brot Milch) =  =  = 80%

support({Brot}) 5/6 Häufige Muster (min_sup=45%)

Die Attributwertmengen ({Brot}), ({Milch},{Butter}), ({Brot},{Milch}) sind häufige Muster.

Die Attributwertmengen ({Butter, Käse}),(Marmelade}) sind keine häufigen Muster.

3. Def: Assoziationsproblem

Die Entdeckung interessanter Zusammenhänge in größeren Datenbeständen erfolgt durch die Suche nach allen Assoziationsregeln.

Gegeben:

 Menge D der Transaktionen

 ein minimaler Unterstützungsgrad (support) min_sup;

 ein minimaler Vertrauensgrad (confidence) min_conf.

Gesucht:

alle Assoziationsregel X Y, so dass

 support(X Y)  min_sup

 confidence(X Y)  min_conf

4. Basisalgorithmen zur Entdeckung von

Assoziationsregeln

AIS-Algorithmus

 Der erste Algorithmus zur Generierung von einfachen Assoziationsregeln.

 Die potentiellen häufigen Attributwertmengen werden beim Scannen der Datenbank „on the fly" generiert und gezählt (sehr rechenintensiv).

SETM-Algorithmus

 Motivation: SQL-Nutzung für die Suche nach Assoziationsregeln.

 Die potentiellen häufigen Attributwertmengen (analog dem AIS-Algorithmus) werden basierend auf Transformationen der Datenbank sozusagen „on the fly" generiert.

 Die Aufzählung der Kandidaten ist ein separater Schritt.

Nachteile von AIS und SETM

 Das überflüssige Generieren und Aufzählen der Kandidaten, die sich später als nicht häufig erweisen.

5. Apriori-Algorithmus

Apriori-Vorgehen

(Rakesh Agrawal und Ramakrishnan Srikant, 1994)

Erste Phase:

 Die Suche nach häufigen Mustern (Attributwertmengen) mit dem eigentlichen Apriori- Algorithmus.

Zweite Phase:

 In der zweiten Phase werden aus diesen häufigen Mustern Regeln gebildet.

Apriori- Grundidee

Bei der Ermittlung der häufigen Muster (Attributwertmengen) wird „a priori“ gesetztes Wissen (vorausgesetztes Wissen) verwendet:

Jede nichtleere Teilmenge einer häufigen Attributwertmenge muss auch eine häufige Attributwertmenge sein.

Dieses „a priori“-Wissen wird als nicht-monotone Eigenschaft des Unterstützungsgrads aufgefasst:

 X,Y : ( X  Y )  support(X)  support(Y)

Diese Eigenschaft hilft im Apriori-Algorithmus den Suchraum zu verkleinern und alle Obermengen der aussichtslosen k-elementigen Attributwertmengen für weitere Iteration zu ignorieren.

Konventionen

 Ck (k  1) - die Menge aller k-elementigen potentiell häufigen Attributwertmengen.

 Lk (k  1) - die Menge aller k-elementigen häufigen Attributwertmengen.

Apriori-Algorithmus: Aufbau

Initialisiere die Menge der häufigen 1-elementigen Attributwertmengen

1. Join-Phase, die Ck–Menge wird erzeugt, indem die (k-1)-Attributwertmenge Lk-1 mit sich selbst vereinigt wird.

2. Pruning-Phase, aus Ck–Menge werden alle k-elementigen Attributwertmengen entfernt, die eine Teilmenge enthalten, welche nicht häufig ist. (Apriori-Eigenschaft)

3. Die übrig gebliebenen Kandidaten aus Ck werden an Hand der Datenbasis überprüft, ob diese wiederum häufig sind. Die Kandidaten, die diesen Test bestehen, werden in die Menge Lk aufgenommen.

Wiederhole 1-3 so oft, bis keine weitere häufige Attributwertmenge gefunden werden kann.

Der Apriori-Algorithmus: Pseudo-Code

( 1) L₁ = {häufige 1-Attributenwertmenge};

( 2) for ( k=2 ; L_k-1 ≠ { } ; k++ ) do begin

( 3) C_k= apriori-gen(L_k-1 ); // Berechnung neuer Kandidaten ( 4) for all Transaktionen t  D do begin

( 5) C_t = subset(C_k,t) ; // Berechnung aller in t enthaltene Kandidaten ( 6) for all Kandidaten c  C_t do

( 7) c.count++; //

( 8) end

( 9) L_k = {c  C_k | c.count >= minsup}

(10) end

(11) return: _k L_k

Prozedur Apriori-gen: Kandidat-Generierung

Berechnet k-elementigen potentiell häufigen Attributwertmengen procedure apriori-gen(L_k-1: (k-1)-Attributenwertmenge)

//Join-Schritt ( 1) insert into C_k

( 2) select p.item₁ , p.item₂ , …p.item_k-1 , q.item_k-1 ( 3) from L_k-1 p , L_k-1 q

( 4) where p.item₁=q.item₁ ,….,.p.item _k-2=q. item _{k-2 ,} p.item _k-1<q. item _k-1

// Prune-Schritt

( 5) for all itemsets c C_k do

( 6) for all (k-1)–subset s of c do ( 7) if ( s L_k-1) then

( 8) delete c from C_k end procedure

Subroutine subset

 Testet ob die übrig gebliebenen Kandidaten aus C_k auch den vorgegebenen Unterstützungsgrad min_sup besitzen.

 Erfordert einen kompletten DB-Durchlauf.

 Effiziente Implementierung ist sehr wichtig.

 Hierfür wird ein Hashverfahren angewendet und die k-elementigen Kandidatmengen C_k in einem Hash-Tree gespeichert.

Der Apriori-Algorithmus: Beispiel

Geforderte minimale Unterstützungsgrad für eine häufige Attributwertmenge ist min_sup=50%

Transaktionen 1. Iteration

TID Gekaufte Artikel C1 – Menge

100 {a, b, c} Itemset Support

200 {a, b, d} {a} 5/6 = 83,3 % L1 – Menge

300 {a, e} {b} 4/6 = 66,6 % Itemset Support

400 {a, b, c} {c} 3/6 = 50 % {a} 5/6 = 83,3 %

500 {a, b, c, d} {d} 2/6 = 33,3 % {b} 4/6 = 66,6 %

600 {e} {e} 2/6 = 33,3 % {c} 3/6 = 50 %

2. Iteration 3. Iteration

C₂ – Menge L₂ – Menge

Itemset Support Itemset Support

{a, b} 4/6 = 66,6 % {a, b} 4/6 = 66,6 % C3 – Menge L3 – Menge

{a, c} 3/6 = 50 % {a, c} 3/6 = 50 % Itemset Support Itemset Support

{b, c} 3/6 = 50 % {b, c} 3/6 = 50 % {a, b, c} 3/6 = 50 % {a, b, c} 3/6 = 50 %

4. Iteration

C₄ – Menge L₄ – Menge

Itemset Support Itemset Support

{} {}

Erkennung der Assoziationsregeln

Gegebenen (II Phase des Apriori-Verfahrens):

 sämtliche häufige Muster (X Y) eines Datenbestandes, wo support(X Y)  min_sup

Gesucht:

 die Regeln (X Y) mit confidence(X Y)  min_conf

Vorgehen:

 Für jede häufige Attributwertmenge l werden nicht leere Teilmengen von l gebildet

 Für jede nicht leere Teilmenge s von l wird die Regel „s (l-s)“ generiert, falls

support(l)

 ≥ min_conf support(s)

Erkennung der Assoziationsregeln: Beispiel

(Fortführung des Apriori- Beispiels)

Als Ergebnis des Gesamtverfahrens werden nur diejenigen Assoziationsregeln ausgegeben, welche mindestens den vorgegebenen Vertrauensgrad min_conf=75 % besitzen.

Regeln mit Support

Erfüllende Transaktionen

Unterstützungsgrad (support)

Vertrauensgrad (confidence)

{a} → {b} 100, 200, 400, 500 66 % 80 %

{b} → {a} 100, 200, 400, 500 66 % 100 %

{b} → {c} 100, 400, 500 50 % 75 %

{c} → {b} 100, 400, 500 50 % 100 %

{a} → {c} 100, 400, 500 50 % 60 %

{c} → {a} 100, 400, 500 50 % 100 %

{a, c} → {b} 100, 400, 500 50 % 100 %

{b, a} → {c} 100, 400, 500 50 % 75 %

{c,b} → {a} 100, 400, 500 50 % 100 %

{b} → {a, c} 100, 400, 500 50 % 75 %

{c} → {b, a} 100, 400, 500 50 % 100 %

{a} → {b, c} 100, 400, 500 50 % 60 %

6. Apriori-Erweiterungen

Laufzeitverhalten des Apriori:

 gut bei kleinen und mittleren Datenmengen

 schlecht bei sehr großen Datenmengen

Abhilfe durch die Apriori-Modifikationen:

 AprioriTID

 AprioriHybrid

AprioriTID

 Die Datenbank D wird nach dem ersten Durchlauf nicht mehr für die Berechnung der Unterstützung benutzt.

 Die Kandidaten werden als Hilfsmenge C’_k kodiert.

 Jeder Kandidat ist als Eintrag der Form <TID, {X_k}> kodiert, wo X_k eine potentiell häufige k- Attributwertmenge in Transaktion TID ist.

 Bei k=1 wird die gesamte Datenbank als C’₁ aufgefasst.

 Jede weitere Iteration k+1 nutzt dann nicht die Datenbank, sondern die Hilfsmenge C’_k

 Der Vorteil: die Anzahl der Datenbankzugriffe wird gesenkt.

 Der Nachteil: bei der ersten Iterationen wird viel Speicherplatz benötigt.

AprioriTID-Algorithmus: Beispiel

Datenbank C’₁ L₁

TID Attributen TID Hilfsmenge der Itemsets Itemset Support

100 a, c, d 100 {{a},{c},{d}} {a} 2/4 = 50%

200 b, c, e 200 {{b},{c},{e}} {b} 3/4 = 75%

300 a, b, c, e 300 {{a},{b},{c},{e}} {c} 3/4 = 75%

400 b, e 400 {{b},{e}} {e} 3/4 = 75%

C₂

Itemset C’₂

{a b} TID Hilfsmenge der Itemsets L₂

{a c} 100 {{a c}} Itemset Support

{a e} 200 {{b c},{b e}, {c e}} {a c} 2/4 = 50%

{b c} {b c} 2/4 = 50%

{b e}

300 {{a b},{a c},{a e},{b c}, {b e},{c e}}

{b e} 3/4 = 75%

{c e} 400 {{b e}} {c e} 2/4 = 50%

C₃ C’₃

Itemset TID Hilfsmenge der Itemsets L₃

{b c e} 200 {{ b c e }} Itemset Support

300 {{ b c e }} { b c e } 2/4 = 50%

AprioriHybrid

 kombiniert die besten Eigenschaften von Apriori und AprioriTID in einem Verfahren.

 Apriori-Algorithmus wird in früheren Iterationen verwendet.

 Wechsel zum AprioriTID-Algorithmus in späteren Iterationen.

 Wechsel zum AprioriTID-Algorithmus wenn die Hilfsmenge C’_k für die kodierten Kandidaten in den operativen Speicher passt.

 Nachteil beim Wechsel: Verbrauch zusätzlicher Ressourcen

7. Sonstige Ansätze zur

Effizienzsteigerung von Apriori

Hauptansätze für die Effizienzsteigerung des Apriori-Verfahrens:

 Reduktion der Anzahl der Datenbankzugriffe/Datenbankscans

 Reduktion der Anzahl der Kandidaten

 Beschleunigung der Berechnung des Unterstützungsgrads für die Kandidaten

Algorithmen für die Effizienzsteigerung des Apriori-Verfahrens:

 Hashbasierte Techniken (DHP)

 Reduzierung der Transaktionen

 Partitionierung

 Sampling

 Dynamische Aufzählung der Attributwertmenge (DIC)

Hashbasierte Techniken (DHP - „direkt hashing and pruning“)

 Autoren: J. Park, M. Chen and P. Yu, 1995

 Reduzierung der potentiell häufigen k-Attributwertmenge C_k für k>1.

 Verfahren:

- Jede k-Attributwertmenge X  C_k für k>1 kommt zusätzlich in den Hash-Behälter HB_X; - Zähler (HB_X) < min_sup  X kann nicht häufig sein und wird aus C_k entfernt.

Reduzierung der Transaktionen

 Reduzierung der Anzahl der Transaktionen, die in den künftigen Iterationen gescannt werden.

 Verfahren:

- Eine Transaktion T’ ohne häufigen k-Attributwertmengen kann auch keine häufigen k+1- Attributwertmengen beinhalten und wird besonders gekennzeichnet.

- Bei den nachfolgenden DB-Durchläufe für j-Attributwertmengen bei j>k werden alle besonders gekennzeichneten Transaktion ignoriert.

Partitionierung

 Autoren: A. Savasere, E. Omiecinski and S. Navathe, 1995.

 Jede häufige Attributwertmenge in D soll mindestens in einer der Partitionen von D als häufig vorkommen.

 Benötigt nur 2 DB-Durchläufe.

 Verfahren (2 Phasen) :

- 1. Phase: verteilt die Transaktionen von D in n disjunkte Partitionen und sucht nach lokalen häufigen Attributwertmengen in jeder Partition. Bei der Bestimmung der lokalen häufigen Attributwertmengen wird für jede Partition X die folgende angepasste Grösse vom minimal geforderten Unterstützungsgrad min_sup verwendet: min_sup(Partition X) = min_sup * (|X| / |D|) - 2. Phase: berechnet die tatsächliche Unterstützung aller lokalen häufigen Attributwertmengen in D und leitet daraus die Menge der globalen häufigen Attributwertmengen.

Sampling

 Autor: H. Toivonen, 1996

 Erhöhung der Effizienz auf Kosten der Genauigkeit.

 Verfahren:

- Bildung einer Teilmenge S der gegebenen Daten D durch die Stichproben.

- Recherchen auf S und Ermittlung aller häufigen Attributwertmengen L_S mit einem geringeren Unterstützungsgrad als der ursprünglich geforderte minimale Unterstützungsgrad min_sup.

- DB-Durchlauf zur Berechnung der tatsächlichen Häufigkeit jeder Attributwertmenge aus L_S.

Dynamische Aufzählung der Attributwertmenge (DIC)

 Autoren: S. Brin, R. Motwani, J. Ullman und S. Tsur, 1997

 DIC= „dynamic itemset counting“

 Die Berechnung des Unterstützungsgrads in der Kandidatengenerierungsphase wird gestoppt, sobald eine Attributwertmenge eine Unterstützung größer als den vorgegebenen Unterstützungsgrad min_sup besitzt.

8. Fazit

 Die Assoziationsregeln stellen eine wichtige Analysemöglichkeit für Datenbestände dar.

 Wir haben diverse Ansätze zur Entdeckung der Assoziationsregeln kenngelernt.

 Der Apriori-Algorithmus ist eine gut anwendbare und verständliche Methode zur Entdeckung von Assoziationsregeln, die in Vergleich zur früheren Ansätzen (AIS, SETM) mit hoher Performanz arbeitet.

 Auch der Apriori ist noch nicht optimal. Hierfür existieren diverse Erweiterungen des Apriori–

Algorithmus wie AprioriTID und AprioriHybrid, sowie weitere Ansätze zur Reduzierung der Anzahl der Datenbankzugriffe, Reduzierung der Kandidatengenerierung, usw.

Diskussion