Algorithmen und Datenstrukturen A9. Laufzeitanalyse: Landau-Symbole Marcel L¨uthi and Gabriele R¨oger

(1)

Algorithmen und Datenstrukturen

A9. Laufzeitanalyse: Landau-Symbole

Marcel L¨uthi and Gabriele R¨oger

Universit¨at Basel

17. M¨arz 2021

(2)

Inhalt dieser Veranstaltung

A&D

Sortieren Komplexit¨ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings Weiterf¨uhrende

Themen

(3)

Landau-Notation Rechenregeln Zusammenfassung

Landau-Notation

(4)

Ergebnis f¨ ur Mergesort

”Die Laufzeit von Mergesort w¨achst genauso schnell wienlog₂n.“

Theorem

Mergesort hat leicht ¨uberlineare Laufzeit, d.h.

es gibt Konstanten c,c⁰,n₀ >0, so dass f¨ur alle n≥n₀: cnlog₂n≤T(n)≤c⁰nlog₂n.

Wir haben Terme niedrigerer Ordnung (Konstanten undn) in der Absch¨atzung ignoriert bzw. verschwinden lassen.

Wir haben uns nicht f¨ur die genauen Werte der Konstanten interessiert, es reicht, wenn irgendwelche passenden

Konstanten existieren.

Die Laufzeit f¨ur kleinen ist nicht so wichtig.

(5)

Ergebnis f¨ ur Mergesort

Theorem

Mergesort hatleicht ¨uberlineare Laufzeit, d.h.

(6)

Ergebnis f¨ ur Mergesort

Theorem

(7)

Ergebnis f¨ ur Mergesort

Theorem

(8)

Ergebnis f¨ ur Mergesort

Theorem

(9)

Mehr bisherige Ergebnisse

Theorem

Der Merge-Schritt hatlineare Laufzeit, d.h. es gibt Konstanten c,c⁰,n₀ >0, so dass f¨ur alle n ≥n₀: cn≤T(n)≤c⁰n.

Theorem

es gibt Konstanten c,c⁰,n0 >0, so dass f¨ur alle n≥n0: cnlog₂n≤T(n)≤c⁰nlog₂n.

Theorem

Selectionsort hatquadratische Laufzeit, d.h. es gibt Konstanten c >0,c⁰ >0,n0 >0, so dass f¨ur n≥n0: cn² ≤T(n)≤c⁰n². K¨onnen wir das nicht irgendwie kompakter aufschreiben?

(10)

Mehr bisherige Ergebnisse

Theorem

Der Merge-Schritt hatlineare Laufzeit, d.h. es gibt Konstanten c,c⁰,n₀ >0, so dass f¨ur alle n ≥n₀: cn≤T(n)≤c⁰n.

Theorem

es gibt Konstanten c,c⁰,n0 >0, so dass f¨ur alle n≥n0: cnlog₂n≤T(n)≤c⁰nlog₂n.

Theorem

Selectionsort hatquadratische Laufzeit, d.h. es gibt Konstanten c >0,c⁰ >0,n0 >0, so dass f¨ur n≥n0: cn² ≤T(n)≤c⁰n². K¨onnen wir das nicht irgendwie kompakter aufschreiben?

(11)

Edmund Landau

deutscher Mathematiker (1877–1938)

analytische Zahlentheorie kein Freund angewandter Mathematik

International: Bachmann–Landau-Notation auch nach Paul Gustav Heinrich Bachmann (deutscher Mathematiker)

(12)

Edmund Landau

deutscher Mathematiker (1877–1938)

analytische Zahlentheorie kein Freund angewandter Mathematik

International:Bachmann–Landau-Notationauch nach Paul Gustav Heinrich Bachmann (deutscher Mathematiker)

(13)

Landau-Symbol Theta

Definition

F¨ur eine Funktiong :N→R istΘ(g) die Menge aller Funktionen f :N→R, diegenauso schnell wachsen wie g:

Θ(g) ={f | ∃c >0 ∃c⁰ >0 ∃n₀>0 ∀n≥n0 : c ·g(n)≤f(n)≤c⁰·g(n)}

”Die Laufzeit von Mergesort ist in Θ(nlog₂n).“

oder auch

”Die Laufzeit von Mergesort ist Θ(nlog₂n).“

(14)

Landau-Symbol Theta

Definition

F¨ur eine Funktiong :N→R istΘ(g) die Menge aller Funktionen f :N→R, diegenauso schnell wachsen wie g:

Θ(g) ={f | ∃c >0 ∃c⁰ >0 ∃n₀>0 ∀n≥n0 : c ·g(n)≤f(n)≤c⁰·g(n)}

”Die Laufzeit von Mergesort ist in Θ(nlog₂n).“

oder auch

”Die Laufzeit von Mergesort ist Θ(nlog₂n).“

(15)

Landau-Symbol Theta: Illustration

f ∈Θ(g)

(16)

Jupyter-Notebook (mit Aufgaben)

Jupyter-Notebook: landau.ipynb

(17)

Mehr Landau-Symbole

”f w¨achst nicht wesentlich schneller alsg“

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

”Ordnung“ der Funktion

”f w¨achst nicht wesentlich langsamer alsg“

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

Es gilt Θ(g) =O(g)∩Ω(g).

Es gilt f ∈Ω(g) gdw.g ∈O(f).

In der Informatik interessieren wir uns oft nur f¨ur die Begrenzung des Laufzeitwachstums nach oben: O statt Θ

Aussprache:Θ: Theta, Ω: Omega,O: Oh

(18)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

(19)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

(20)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

(21)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

(22)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

(23)

Mehr Landau-Symbole

O(g) ={f | ∃c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

O f¨ur

Ω(g) ={f | ∃c >0 ∃n₀>0 ∀n≥n₀ :c·g(n)≤f(n)}

In der Informatik interessieren wir uns oft nur f¨ur die Begrenzung des Laufzeitwachstums nach oben: O statt Θ Aussprache:Θ: Theta, Ω: Omega,O: Oh

(24)

Seltener ben¨ otigte Landau-Symbole

”f w¨achst langsamer als g“

o(g) ={f | ∀c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

”f w¨achst schneller als g“

ω(g) ={f | ∀c >0∃n₀ >0 ∀n≥n₀:c ·g(n)≤f(n)}

(25)

Seltener ben¨ otigte Landau-Symbole

o(g) ={f | ∀c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

ω(g) ={f | ∀c >0∃n₀ >0 ∀n≥n₀:c ·g(n)≤f(n)}

Aussprache:ω: kleines Omega

(26)

Seltener ben¨ otigte Landau-Symbole

o(g) ={f | ∀c >0 ∃n₀ >0 ∀n≥n0 :f(n)≤c·g(n)}

ω(g) ={f | ∀c >0∃n₀ >0 ∀n≥n₀:c ·g(n)≤f(n)}

Aussprache:ω: kleines Omega

(27)

Interessante Funktionsklassen

In aufsteigender Ordnung (abgesehen von allgemeinenn^k):

g Wachstum 1 konstant logn logarithmisch

n linear

nlogn leicht ¨uberlinear n² quadratisch n³ kubisch

n^k polynomiell (Konstantek) 2ⁿ exponentiell

(28)

(29)

Rechenregeln

(30)

Beispiele Θ

Bei der Analyse interessiert nur der Term h¨ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

Beispiele

f₁(n) = 5n²+ 3n−9 ∈Θ(n²) f₂(n) = 3nlog₂n+ 2n² ∈Θ(n²) f₃(n) = 9nlog₂n+n+ 17 ∈Θ(nlogn) f₄(n) = 8 ∈Θ(1)

(31)

Beispiele Θ

Beispiele

(32)

Beispiele Θ

Beispiele

(33)

Beispiele Θ

Beispiele

(34)

Beispiele Θ

Beispiele

(35)

Beispiele Θ

Beispiele

(36)

Beispiele Gross-O

Beispiele

f₁(n) = 8n²−3n−9 ∈O(n²) f₂(n) =n³−3nlog₂n ∈O(n³)

f3(n) = 3nlog₂n+ 1000n+ 10²⁰⁰ ∈O(nlogn) Warum ist das so?

(37)

Beispiele Gross-O

Beispiele

(38)

Beispiele Gross-O

Beispiele

(39)

Beispiele Gross-O

Beispiele

(40)

Beispiele Gross-O

Beispiele

(41)

Beispiele Gross-O

Beispiele

(42)

Zusammenh¨ ange

Es gilt:

O(1)⊂O(logn)⊂O(n)⊂O(nlogn)⊂O(n^k)⊂O(2ⁿ) (f¨urk ≥2)

O(n^k¹)⊂O(n^k²) f¨urk1 <k2

z.B. O(n²)⊂O(n³)

(43)

Zusammenh¨ ange

Es gilt:

O(1)⊂O(logn)⊂O(n)⊂O(nlogn)⊂O(n^k)⊂O(2ⁿ) (f¨urk ≥2)

O(n^k¹)⊂O(n^k²) f¨urk1 <k2

z.B. O(n²)⊂O(n³)

(44)

Rechenregeln

Produkt

f1 ∈O(g1) und f2 ∈O(g2) ⇒ f1f2∈O(g1g2) Summe

f1 ∈O(g1) und f2 ∈O(g2) ⇒ f1+f2∈O(g1+g2) Multiplikation mit Konstante

k >0 und f ∈O(g) ⇒ kf ∈O(g) k >0 ⇒ O(kg) =O(g)

(45)

Rechenregeln

Produkt

(46)

Rechenregeln

Produkt

(47)

Grund f¨ ur Beschr¨ ankung auf Term h¨ ochster Ordnung

Beispiel:5n³+ 2n∈O(n³)

Wegen Regel bzgl. Multiplikation mit Konstante:

5n³∈O(n³) 2n∈O(n)

Wegen O(n)⊂O(n³) und 2n∈O(n):

2n∈O(n³) Wegen Summenregel:

5n³+ 2n∈O(n³+n³)

Mit Multiplikation mit Konstante (bei Klasse):

5n³+ 2n∈O(n³)

(48)

Zusammenfassung

(49)

Zusammenfassung

Mit Landau-Symbolendefiniert man Klassen von Funktionen, die nicht schneller/nicht langsamer/. . .wachsen als eine Funktion g.

O(g): Wachstum nicht schneller alsg Θ(g): Wachstum im Wesentlichen wieg