Algorithmen und Datenstrukturen A9. Laufzeitanalyse: Landau-Symbole Marcel L¨uthi and Gabriele R¨oger

Algorithmen und Datenstrukturen

A9. Laufzeitanalyse: Landau-Symbole

Marcel L¨ uthi and Gabriele R¨ oger

Universit¨ at Basel

17. M¨ arz 2021

Algorithmen und Datenstrukturen

17. M¨ arz 2021 — A9. Laufzeitanalyse: Landau-Symbole

A9.1 Landau-Notation

A9.2 Rechenregeln

A9.3 Zusammenfassung

Inhalt dieser Veranstaltung

A&D

Sortieren Komplexit¨ ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings Weiterf¨ uhrende

Themen

A9.1 Landau-Notation

Ergebnis f¨ ur Mergesort

” Die Laufzeit von Mergesort w¨ achst genauso schnell wie n log ₂ n.“

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c, c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

I Wir haben Terme niedrigerer Ordnung (Konstanten und n) in der Absch¨ atzung ignoriert bzw. verschwinden lassen.

I Wir haben uns nicht f¨ ur die genauen Werte der Konstanten interessiert, es reicht, wenn irgendwelche passenden

Konstanten existieren.

I Die Laufzeit f¨ ur kleine n ist nicht so wichtig.

Mehr bisherige Ergebnisse

Theorem

Der Merge-Schritt hat lineare Laufzeit, d.h. es gibt Konstanten c, c ⁰ , n 0 > 0, so dass f¨ ur alle n ≥ n 0 : c n ≤ T (n) ≤ c ⁰ n.

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c, c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

Theorem

Selectionsort hat quadratische Laufzeit, d.h. es gibt Konstanten

c > 0, c ⁰ > 0, n ₀ > 0, so dass f¨ ur n ≥ n ₀ : c n ² ≤ T (n) ≤ c ⁰ n ² .

K¨ onnen wir das nicht irgendwie kompakter aufschreiben?

Edmund Landau

Edmund Landau

I deutscher Mathematiker (1877–1938)

I analytische Zahlentheorie I kein Freund angewandter

Mathematik

International: Bachmann–Landau-Notation auch nach

Paul Gustav Heinrich Bachmann (deutscher Mathematiker)

Landau-Symbol Theta

Definition

F¨ ur eine Funktion g : N → R ist Θ(g ) die Menge aller Funktionen f : N → R , die genauso schnell wachsen wie g :

Θ(g ) = {f | ∃c > 0 ∃c ⁰ > 0 ∃n ₀ > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n) ≤ c ⁰ · g (n)}

” Die Laufzeit von Mergesort ist in Θ(n log ₂ n).“

oder auch

” Die Laufzeit von Mergesort ist Θ(n log ₂ n).“

Landau-Symbol Theta: Illustration

f ∈ Θ(g )

Jupyter-Notebook (mit Aufgaben)

Jupyter-Notebook: landau.ipynb

Mehr Landau-Symbole

I ” f w¨ achst nicht wesentlich schneller als g“

O (g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

I O f¨ ur

” Ordnung“ der Funktion

I ” f w¨ achst nicht wesentlich langsamer als g“

Ω(g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n)}

I Es gilt Θ(g ) = O (g ) ∩ Ω(g ).

I Es gilt f ∈ Ω(g ) gdw. g ∈ O (f ).

I In der Informatik interessieren wir uns oft nur f¨ ur die

Begrenzung des Laufzeitwachstums nach oben: O statt Θ

Seltener ben¨ otigte Landau-Symbole

I ” f w¨ achst langsamer als g“

o (g ) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

I ” f w¨ achst schneller als g“

ω(g ) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n)}

Aussprache: ω: kleines Omega

Interessante Funktionsklassen

In aufsteigender Ordnung (abgesehen von allgemeinen n ^k ):

g Wachstum 1 konstant log n logarithmisch

n linear

n log n leicht ¨ uberlinear n ² quadratisch n ³ kubisch

n ^k polynomiell (Konstante k)

2 ⁿ exponentiell

A9.2 Rechenregeln

Beispiele Θ

I Bei der Analyse interessiert nur der Term h¨ ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

I Beispiele

I f

(n) = 5n

+ 3n − 9 ∈ Θ(n

)

I f

(n) = 3n log

n + 2n

∈ Θ(n

)

I f

(n) = 9n log

n + n + 17 ∈ Θ(n log n)

I f

(n) = 8 ∈ Θ(1)

Beispiele Gross-O

I Bei der Analyse interessiert nur der Term h¨ ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

I Beispiele

I f

(n) = 8n

− 3n − 9 ∈ O(n

) I f

(n) = n

− 3n log

n ∈ O(n

)

I f

(n) = 3n log

n + 1000n + 10

∈ O(n log n)

I Warum ist das so?

Zusammenh¨ ange

Es gilt:

I O (1) ⊂ O (log n) ⊂ O(n) ⊂ O(n log n) ⊂ O(n ^k ) ⊂ O (2 ⁿ ) (f¨ ur k ≥ 2)

I O (n ^k

) ⊂ O (n ^k

) f¨ ur k ₁ < k ₂

z.B. O(n ² ) ⊂ O (n ³ )

Rechenregeln

I Produkt

f ₁ ∈ O (g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ f ₂ ∈ O(g ₁ g ₂ ) I Summe

f ₁ ∈ O (g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ + f ₂ ∈ O(g ₁ + g ₂ ) I Multiplikation mit Konstante

k > 0 und f ∈ O (g ) ⇒ kf ∈ O (g )

k > 0 ⇒ O(kg) = O(g )

Grund f¨ ur Beschr¨ ankung auf Term h¨ ochster Ordnung

Beispiel: 5n ³ + 2n ∈ O (n ³ )

I Wegen Regel bzgl. Multiplikation mit Konstante:

I 5n

∈ O(n

) I 2n ∈ O(n)

I Wegen O(n) ⊂ O (n ³ ) und 2n ∈ O(n):

I 2n ∈ O(n

) I Wegen Summenregel:

I 5n

+ 2n ∈ O(n

+ n

)

I Mit Multiplikation mit Konstante (bei Klasse):

I 5n

+ 2n ∈ O(n

)

A9.3 Zusammenfassung

Zusammenfassung

I Mit Landau-Symbolen definiert man Klassen von Funktionen, die nicht schneller/nicht langsamer/. . . wachsen als eine Funktion g .

I O(g ): Wachstum nicht schneller als g

I Θ(g ): Wachstum im Wesentlichen wie g