Datenstrukturen und Algorithmen Vorlesung 6: Mastertheorem (K4) Joost-Pieter Katoen

(1)

Mastertheorem

Datenstrukturen und Algorithmen

Vorlesung 6: Mastertheorem (K4)

Joost-Pieter Katoen

Lehrstuhl für Informatik 2 Software Modeling and Verification Group

https://moves.rwth-aachen.de/teaching/ss-18/dsal/

7. Mai 2018

(2)

Mastertheorem

Übersicht

1 Lösen von Rekursionsgleichungen Substitutionsmethode

Rekursionsbäume Mastertheorem

Joost-Pieter Katoen Datenstrukturen und Algorithmen 2/21

(3)

Mastertheorem Lösen von Rekursionsgleichungen

Übersicht

1 Lösen von Rekursionsgleichungen Substitutionsmethode

Rekursionsbäume Mastertheorem

(4)

Rekursionsgleichungen

Rekursionsgleichung

Für rekursive Algorithmen wird die Laufzeit meistens durch Rekursionsgleichungen beschrieben.

Eine Rekursionsgleichung ist eine Gleichung oder eine Ungleichung, die eine Funktion durch ihre eigenen Funktionswerte für kleinere Eingaben beschreibt.

Beispiele

I T(n) =T(Á(n≠1)/2Ë) +1 Binäre Suche

I T(n) =T(n≠1) +n≠1 Bubblesort

I T(n) =2·T(n/2) +n≠1 Mergesort

I T(n) =7·T(n/2) +c·n² Strassen’s Matrixmultiplikation Die zentrale Frage ist: Wie löst man solche Rekursionsgleichungen?

method foo ( ^int ⁿ )

{

FEE

) foods food t@ # ⁾

) |Tgo(n)=3.Tfo(E)t=

(5)

Rekursionsgleichungen

Beispiele

(6)

Rekursionsgleichungen

Beispiele

. -

i. -

{

÷

^-

(7)

Die Substitutionsmethode

Substitutionsmethode

Die Substitutionsmethode besteht aus zwei Schritten:

1. Ratedie Form der Lösung, durch z. B.:

I Scharfes Hinsehen, kurze Eingaben ausprobieren und einsetzen

I Betrachtung des Rekursionsbaums

2. Vollständige Induktion, um die Konstanten zu finden und zu zeigen, dass die Lösung funktioniert.

.

(8)

Die Substitutionsmethode

Substitutionsmethode

Die Substitutionsmethode besteht aus zwei Schritten:

1. Ratedie Form der Lösung, durch z. B.:

I Scharfes Hinsehen, kurze Eingaben ausprobieren und einsetzen

I Betrachtung des Rekursionsbaums

2. Vollständige Induktion, um die Konstanten zu finden und zu zeigen, dass die Lösung funktioniert.

(9)

Die Substitutionsmethode: Beispiel

Beispiel

Betrachte folgende Rekursionsgleichung:

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

I Wir vermuten als Lösung T(n)œO(n·logn).

I Dazu müssen wirT(n)6c·n·logn zeigen, für ein geeignetesc >0.

I Bestimme, ob für ein geeignetes n0 und fürn>n0 gilt, dass T(n)6c·n·logn.

I Stelle fest, dass T(1) =1 6 c·1·log 1=0 verletztist.

I Es gilt:T(2) =46c·2 log 2 undT(3) =56c·3 log 3 fürc >2

I Überprüfe dann durch Substitution und Induktion (s. nächste Folie)

I Damit gilt für jedes c >2 und n>n₀>1, dassT(n)6c·n·logn.

(10)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

- .

-0

±

(11)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

(12)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

o

^-

(13)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

O

0

no of ^{^}

no ^> ^{^}

(14)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

- .

* ^-

o

no ⁼ ²

(15)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

o

(16)

Die Substitutionsmethode: Beispiel

Beispiel

T(1) =1

T(n) =2·T(n/2) +n fürn>1.

(17)

Die Substitutionsmethode: Beispiel

Beispiel

T(n) =2·T(n/2) +n für n>1, undT(1) =1

T(n) = 2·T(n/2) +n Induktionshypothese 62(c·n/2·logn/2) +n

=c·n·logn/2+n log-Rechnung: (log©log₂) logn/2=logn≠log 2

=c·n·logn≠c·n·log 2+n

6c·n·logn≠c·n+n mitc>1 folgt sofort:

6c·n·logn

Th ) ^e ⁰ ( ⁿ log ⁿ)

TCE

) ê ÔCE ^losÊ)

E c ^. E.lose

>

0

^-

÷

- -

0

_-

Q

-

1-7

-

C = 2

(18)

Raten der Lösung durch Iteration

Grundidee

Wiederholtes Einsetzen der Rekursionsgleichung in sich selbst, bis man ein Muster erkennt.

Beispiel

T(n) =3·T(n/4) +n Einsetzen

=3·(3·T(n/16) +n/4)) +n Nochmal einsetzen

=9·(3·T(n/64) +n/16)) +3·n/4+n Vereinfachen

=27·T(n/64) +³3 4

42

·n+³3 4

41

·n+³3 4

40

·n Wir nehmen T(1) =c an und erhalten: T(n) =^log⁴^ÿ^n≠1

i=0

33 4

4_i

·n+c·n^log⁴³ Diese Aussage kann mit Hilfe der Substitutionsmethode gezeigt werden.

-

(19)

Tk )

⁼ 3 ^.

TCI )

⁺ ⁿ ^Th

⁾

⁼ ^c

fer

n

grip gang

=

^-

(

^*

TCF ⁾

⁼³ ^.

HE )

⁺

^E

^*

⁾

Mn )

- 3.

(

^o ^.

^TC E)

⁺

F )

⁺ ⁿ

=

32 TCF ⁾

⁺

}

^. ⁿ ⁺ ⁿ

=

(

^*

TCI ⁾

⁼ ³ ^. ^T

(E)

⁺

I

^±

⁾

=

32 (

³

^TC ^f)

⁺

^F)

⁺

^÷

^. ⁿ ⁺ ⁿ

=

steal

⁺

a ^?n

⁺

Hi

⁺

Ein

Nehme ^Mel

tcbu )

⁼³ ^'

^TG )

⁺

( ⇒

^' ⁿ ⁺

ED

^' ⁿ ⁺

Ey )°n

/

^-

wieuiele Teme

?

not

izoepin

(20)

Hoa )

⁼³ ^'

I

^=c

⁾

⁺

^E. ^El

^-

ⁱⁿ

⇒

a)

⁼

zlogabli

by

^↳

⁴³ )

-

|Tln)=nw43+Z(})i=| _f ?

i

?

₌

logs ⁶⁴

⁼³

→

?= loss

ⁿ ^- ⁿ

.

Teme

^i=o _,

iii.

ⁱⁿ _, ^. ^. ^. ^is

Gun

^- ^a

(21)

Raten der Lösung durch Iteration

Grundidee

Beispiel

=27·T(n/64) +³3 4

42

·n+³3 4

41

·n+³3 4

40

·n

Wir nehmen T(1) =c an und erhalten: T(n) =^log⁴^ÿ^n≠1

i=0

33 4

4_i

(22)

Raten der Lösung durch Iteration

Grundidee

Beispiel

=27·T(n/64) +³3 4

42

·n+³3 4

41

·n+³3 4

40

i=0

33 4

4_i

·n+c·n^log⁴³

Diese Aussage kann mit Hilfe der Substitutionsmethode gezeigt werden.

(23)

Raten der Lösung durch Iteration

Grundidee

Beispiel

=27·T(n/64) +³3 4

42

·n+³3 4

41

·n+³3 4

40

i=0

33 4

4_i

(24)

Raten der Lösung durch Rekursionsbäume

Grundidee

Stelle das Ineinander-Einsetzen als Baum dar, indem man Buch über das aktuelle Rekursionsargument und die nicht-rekursiven Kosten führt.

Rekursionsbaum

1. Jeder Knotenstellt die Kosten eines Teilproblems dar.

I Die Wurzel stellt die zu analysierenden KostenT(n)dar.

I Die Blätter stellen die Kosten der Basisfälle dar, z. B.T(0)oder T(1). 2. Wir summieren die Kosten innerhalb jeder Ebenedes Baumes. 3. DieGesamtkosten := summieren überdie Kosten aller Ebenen. Wichtiger Hinweis

Ein Rekursionsbaum ist sehr nützlich, um eine Lösung zu raten, die dann mit Hilfe der Substitutionsmethode überprüft werden kann.

Der Baum selber reicht jedoch meistens nicht als Beweis.

(25)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

(26)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

(27)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

I Die Blätter stellen die Kosten der Basisfälle dar, z. B.T(0)oder T(1).

2. Wir summieren die Kosten innerhalb jeder Ebenedes Baumes. 3. DieGesamtkosten := summieren überdie Kosten aller Ebenen. Wichtiger Hinweis

(28)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

2. Wir summieren die Kosten innerhalb jeder Ebenedes Baumes.

3. DieGesamtkosten := summieren überdie Kosten aller Ebenen. Wichtiger Hinweis

(29)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

3. DieGesamtkosten := summieren überdie Kosten aller Ebenen.

Wichtiger Hinweis

(30)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

.

(31)

Raten der Lösung durch Rekursionsbäume

Grundidee

Rekursionsbaum

(32)

Rekursionsbaum: Beispiel

Beispiel

Der Rekursionsbaum vonT(n) =3·T(n/4) +n sieht etwa so aus:

T(n) n T(n/4)

n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16

T(n/4) n/4

. . . .

T(n/4) n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16 Aktuelles

Rekursionsargument Nichtrekursive

Kosten

( }

)°n=n

³ ⁴^I

11 \

⇐ _f

in

(33)

Rekursionsbaum: Beispiel

T(n) n T(n/4)

n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16

T(n/4)

n/4 T(n/4)

n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16

n 3n/4 9n/16 T(1)T(1)T(1)T(1)T(1) T(1)T(1)T(1)T(1)T(1)

log₄n

3^log⁴ⁿ=n^log⁴³

T(n) = ^log^ÿ⁴ⁿ^≠1

¸ ˚˙ ˝i=0 Summe über

alle Ebenen 33

4 4_i

·n

¸ ˚˙ ˝ Kosten pro

Ebene

+ c_{¸ ˚˙ ˝}·n^log⁴³

Gesamtkosten für die Blätter mitT(1) =c

O

-

(34)

Rekursionsbaum: Beispiel

T(n) n T(n/4)

n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16

T(n/4)

n/4 T(n/4)

n/4 T(n/16)

n/16 T(n/16)

n/16 T(n/16) n/16

n 3n/4 9n/16 T(1)T(1)T(1)T(1)T(1) T(1)T(1)T(1)T(1)T(1)

log₄n

3^log⁴ⁿ=n^log⁴³

T(n) = ^log^ÿ⁴ⁿ^≠1

¸ ˚˙ ˝i=0 Summe über

alle Ebenen 33

4 4i

·n

¸ ˚˙ ˝ Kosten pro

Ebene

+ c_{¸ ˚˙ ˝}·n^log⁴³

Gesamtkosten für die Blätter mitT(1) =c

-0¥

(35)

Rekursionsbaum: Beispiel

Eine obere Schranke für die Komplexität erhält man nun folgendermaßen:

T(n) = ^log^ÿ⁴ⁿ^≠1

i=0

33 4

4i

·n+c ·n^log⁴³ Vernachlässigen kleinerer Terme

<

ÿŒ i=0

33 4

4i

·n+c ·n^log⁴³ Geometrische Reihe

< 1

1≠(3/4) ·n+c ·n^log⁴³ Umformen

< 4·n+c·n^log⁴³ Asymptotische Ordnung bestimmen setze ein, dass log₄3<1

T(n) œO(n).

|Tln)eO(n)PT -

Iaf

^< ¹ ^dam

0 _-

[

d. ^ai

⁼

e < 1

it d

-

= zwsnr

=a

-%q# =¥

^, ^Kate ^a ^{Be Her}

kosye

(36)

Korrektheit

Wir können die Substitutionsmethode benutzen, um die Vermutung zu bestätigen, dass:

T(n)œO(n) eine obereSchranke von T(n) =3·T(n/4) +n ist.

T(n) =3·T(n/4) +n Induktionshypothese 63d·n/4+n

= 3

4d·n+n

=³3

4d +1⁴·n mitd>4 folgt sofort: 6d·n

Und wir stellen fest, dass es einn0 gibt, sodassT(n0)6d·n0 ist für d >4.

-

(37)

Korrektheit

= 3

4d·n+n

=³3

4d +1⁴·n mitd>4 folgt sofort:

6d·n

Und wir stellen fest, dass es einn0 gibt, sodassT(n0)6d·n0 ist für d >4.

-

\

_{tcn )} _{EOCN )}

-

an TCF )e0C

⇒

→

d.hr#ed.Itr

→

⁽ fine ^}

^dtn ê Êdôf ^# ^d3g ^konskk^{d >} ô

(38)

Korrektheit

= 3

4d·n+n

=³3

4d +1⁴·n mitd>4 folgt sofort:

6d·n

Und wir stellen fest, dass es einn0 gibt, sodassT(n0)6d·n0 ist fürd >4.

G- €

- =

(39)

Mastertheorem

Allgemeines Format der Rekursionsgleichung

Eine Rekursionsgleichung für die Komplexitätsanalyse sieht meistens folgendermaßen aus:

T(n) =b·T³n c

4+f(n)

wobei b>0,c >1 gilt und f(n) eine gegebene Funktion ist.

Intuition:

I Das zu analysierende Problem teilt sich jeweils inb Teilproblemeauf.

I Jedes dieser Teilprobleme hatdie Größe ⁿ_c.

I DieKosten für das Aufteilen eines Problems und Kombinieren der Teillösungen sindf(n).

To

.

I \

Anzahl der

Eingabegnspe

nichtterpnbkme

der reknrsiien ^rekursne

Anfmfe Kosten

(40)

Mastertheorem

T(n) =b·T³n c

4+f(n)

Intuition:

(41)

Mastertheorem

T(n) =b·T³n c

4+f(n)

Intuition:

(42)

Mastertheorem

T(n) =b·T³n c

4+f(n)

Intuition:

(43)

Das Mastertheorem

T(n) =b·T³n c

4+f(n) mitb >1 undc >1.

I Anzahl der Blätter im Rekursionsbaum: n^E mitE =logb/logc.

Mastertheorem

Wenn Dann

1. f(n)œO(n^E≠^Á) für ein Á>0 T(n)œ (n^E)

2. f(n)œ (n^E) T(n)œ (n^E·logn)

3. f(n)œ (n^E+Á) für ein Á>0 und b·f(n/c) 6 d·f(n) für ein d < 1 und n hinreichend groß

T(n)œ (f(n))

I Bemerke, dass das Mastertheorem nicht alle Fälle abdeckt.

0

^- ^-

- -

0

@ ^Fig

^.

^Is

Th ) = 3-

TCE )

(44)

Das Mastertheorem

T(n) =b·T³n c

I Anzahl der Blätter im Rekursionsbaum: n^E mitE =logb/logc. Mastertheorem

Wenn Dann

T(n)œ (f(n))

On

"

meets :

^" ^e

0 T

⁼

(45)

Das Mastertheorem

T(n) =b·T³n c

Wenn Dann

T(n)œ (f(n))

:

- -

(46)

Das Mastertheorem

T(n) =b·T³n c

Wenn Dann

T(n)œ (f(n))

- ^{fcn )} ^ist ^stnkt ^laysemer

"

genan ^so ^Schnell

"

-

0

€

^- ^- ^- ^\ ^, ^{fcn )} ^woichst ^wirklioh

Schneller als NE

(47)

Das Mastertheorem

T(n) =b·T³n c

Wenn Dann

T(n)œ (f(n))

(48)

Das Mastertheorem verstehen

In jedem der 3 Fälle wird die Funktion f(n)mit n^E =n^log^c^b verglichen.

Mastertheorem: Intuition

Wenn Dann

1. f(n)polynomial kleiner ist als nÊ T(n)œ (nÊ) 2. f(n)und nÊ die gleiche Größe haben T(n)œ (nÊ·logn) 3. f(n)ist polynomial größer alsnÊ und er-

füllt b·f(n/c)6d·f(n) T(n)œ (f(n))

Nicht abgedeckte Fälle:

1. f(n)ist kleiner als n^E, jedoch nicht polynomiell kleiner. 2. f(n)ist größer als n^E, jedoch nicht polynomiell größer.

3. f(n)ist polynomiell größer als n^E, erfüllt nichtb·f(n/c)6d·f(n).

= ⁼

T

^T Anzahl ^der

nicht ^-

B letter teknrsive

kosle

(49)

Das Mastertheorem verstehen

Wenn Dann

1. f(n)polynomial kleiner ist als n^E T(n)œ (n^E)

2. f(n)und nÊ die gleiche Größe haben T(n)œ (nÊ·logn) 3. f(n)ist polynomial größer alsnÊ und er-

⇒

) ^e

O(nE

^-

e)

(50)

Das Mastertheorem verstehen

Wenn Dann

1. f(n)polynomial kleiner ist als nÊ T(n)œ (nÊ) 2. f(n)und nÊ die gleiche Größe haben T(n)œ (nÊ·logn)

3. f(n)ist polynomial größer alsn^E und er-

4 ⁴

-

(51)

Das Mastertheorem verstehen

Wenn Dann

=

^D=

Fe > ^o ^. fcn ) ^er

( netps)

(52)

Das Mastertheorem verstehen

Wenn Dann

1. f(n)ist kleiner als n^E, jedoch nicht polynomiell kleiner.

2. f(n)ist größer als n^E, jedoch nicht polynomiell größer.

X -

fcn

)e(#g)

^fire ^> ^o

(53)

Das Mastertheorem verstehen

Wenn Dann

÷ )enEt#r

^< ^> ^o

(54)

Das Mastertheorem verstehen

Wenn Dann

fire @

(55)

Anwendung des Mastertheorems

Beispiel

T(n) =4·T(n/2) +n

I Somit:b =4,c =2 undf(n) =n;E =log 4/log 2=2.

I Daf(n) =nœO(n^2≠Á), gilt Fall 1: T(n)œ (n²)

Beispiel

T(n) =4·T(n/2) +n²

I Somit:b =4,c =2 undf(n) =n²;E =log 4/log 2=2.

I Daf(n) =n²”œO(n^2≠Á), gilt Fall 1 nicht.

I Aber weilf(n) =n² œ (n²), gilt Fall 2: T(n)œ (n²·logn)

=

(56)

Anwendung des Mastertheorems

Beispiel

T(n) =4·T(n/2) +n

Beispiel

T(n) =4·T(n/2) +n²

O

- i

; ^:

(57)

Anwendung des Mastertheorems

Beispiel

T(n) =4·T(n/2) +n

Beispiel

T(n) =4·T(n/2) +n²

= ^-

wenn fcn ) ^e 0( ⁿ ^" ^'

)

, dann Th ) c- OCNE

)

- Eiz

(58)

Anwendung des Mastertheorems

Beispiel

T(n) =4·T(n/2) +n

Beispiel

T(n) =4·T(n/2) +n²

:

b to ⁼

Datenstrukturen und Algorithmen Vorlesung 6: Mastertheorem (K4) Joost-Pieter Katoen