A9.1Landau-Notation A9.1Landau-NotationA9.2RechenregelnA9.3Zusammenfassung AlgorithmenundDatenstrukturen AlgorithmenundDatenstrukturen InhaltdieserVeranstaltung

(1)

Algorithmen und Datenstrukturen

A9. Laufzeitanalyse: Landau-Symbole

Marcel L¨ uthi and Gabriele R¨ oger

Universit¨ at Basel

17. M¨ arz 2021

M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 17. März 2021 1 / 22

Algorithmen und Datenstrukturen

17. M¨ arz 2021 — A9. Laufzeitanalyse: Landau-Symbole

A9.1 Landau-Notation A9.2 Rechenregeln A9.3 Zusammenfassung

Inhalt dieser Veranstaltung

A&D

Sortieren Komplexit¨ ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings Weiterf¨ uhrende

A9. Laufzeitanalyse: Landau-Symbole Landau-Notation

A9.1 Landau-Notation

(2)

Ergebnis f¨ ur Mergesort

” Die Laufzeit von Mergesort w¨ achst genauso schnell wie n log ₂ n.“

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c , c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

I Wir haben Terme niedrigerer Ordnung (Konstanten und n) in der Absch¨ atzung ignoriert bzw. verschwinden lassen.

I Wir haben uns nicht f¨ ur die genauen Werte der Konstanten interessiert, es reicht, wenn irgendwelche passenden

Konstanten existieren.

I Die Laufzeit f¨ ur kleine n ist nicht so wichtig.

Mehr bisherige Ergebnisse

Theorem

Der Merge-Schritt hat lineare Laufzeit, d.h. es gibt Konstanten c, c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : c n ≤ T (n) ≤ c ⁰ n.

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c , c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

Theorem

Selectionsort hat quadratische Laufzeit, d.h. es gibt Konstanten c > 0, c ⁰ > 0, n ₀ > 0, so dass f¨ ur n ≥ n ₀ : c n ² ≤ T (n) ≤ c ⁰ n ² . K¨ onnen wir das nicht irgendwie kompakter aufschreiben?

Edmund Landau

I deutscher Mathematiker (1877–1938)

I analytische Zahlentheorie I kein Freund angewandter

Mathematik

International: Bachmann–Landau-Notation auch nach Paul Gustav Heinrich Bachmann (deutscher Mathematiker)

Landau-Symbol Theta

Definition

F¨ ur eine Funktion g : N → R ist Θ(g ) die Menge aller Funktionen f : N → R , die genauso schnell wachsen wie g :

Θ(g ) = {f | ∃c > 0 ∃c ⁰ > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n) ≤ c ⁰ · g (n)}

” Die Laufzeit von Mergesort ist in Θ(n log ₂ n).“

oder auch

” Die Laufzeit von Mergesort ist Θ(n log ₂ n).“

(3)

Landau-Symbol Theta: Illustration

f ∈ Θ(g )

Jupyter-Notebook (mit Aufgaben)

Jupyter-Notebook: landau.ipynb

Mehr Landau-Symbole

I ” f w¨ achst nicht wesentlich schneller als g“

O(g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

I O f¨ ur

” Ordnung“ der Funktion

I ” f w¨ achst nicht wesentlich langsamer als g“

Ω(g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n)}

I Es gilt Θ(g ) = O(g ) ∩ Ω(g ).

I Es gilt f ∈ Ω(g ) gdw. g ∈ O(f ).

I In der Informatik interessieren wir uns oft nur f¨ ur die Begrenzung des Laufzeitwachstums nach oben: O statt Θ

Seltener ben¨ otigte Landau-Symbole

I ” f w¨ achst langsamer als g“

o(g) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

I ” f w¨ achst schneller als g“

ω(g ) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n)}

Aussprache: ω: kleines Omega

(4)

Interessante Funktionsklassen

In aufsteigender Ordnung (abgesehen von allgemeinen n ^k ):

g Wachstum 1 konstant log n logarithmisch

n linear

n log n leicht ¨ uberlinear n ² quadratisch n ³ kubisch

n ^k polynomiell (Konstante k) 2 ⁿ exponentiell

A9. Laufzeitanalyse: Landau-Symbole Rechenregeln

A9.2 Rechenregeln

Beispiele Θ

I Bei der Analyse interessiert nur der Term h¨ ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

I Beispiele

I f

1

(n) = 5n

²

+ 3n − 9 ∈ Θ(n

²

)

I f

₂

(n) = 3n log

₂

n + 2n

²

∈ Θ(n

²

)

I f

3

(n) = 9n log

₂

n + n + 17 ∈ Θ(n log n)

I f

4

(n) = 8 ∈ Θ(1)

(5)

Beispiele Gross-O

I Bei der Analyse interessiert nur der Term h¨ ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

I Beispiele

I f

1

(n) = 8n

²

− 3n − 9 ∈ O(n

²

) I f

2

(n) = n

³

− 3n log

₂

n ∈ O(n

³

)

I f

₃

(n) = 3n log

₂

n + 1000n + 10

²⁰⁰

∈ O(n log n) I Warum ist das so?

Zusammenh¨ ange

Es gilt:

I O(1) ⊂ O(log n) ⊂ O(n) ⊂ O(n log n) ⊂ O(n ^k ) ⊂ O(2 ⁿ ) (f¨ ur k ≥ 2)

I O(n ^k

¹

) ⊂ O(n ^k

²

) f¨ ur k ₁ < k ₂ z.B. O (n ² ) ⊂ O (n ³ )

Rechenregeln

I Produkt

f ₁ ∈ O(g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ f ₂ ∈ O(g ₁ g ₂ ) I Summe

f ₁ ∈ O(g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ + f ₂ ∈ O(g ₁ + g ₂ ) I Multiplikation mit Konstante

k > 0 und f ∈ O(g ) ⇒ kf ∈ O(g ) k > 0 ⇒ O(kg ) = O(g )

Grund f¨ ur Beschr¨ ankung auf Term h¨ ochster Ordnung

Beispiel: 5n ³ + 2n ∈ O(n ³ )

I Wegen Regel bzgl. Multiplikation mit Konstante:

I 5n

³

∈ O(n

³

) I 2n ∈ O(n)

I Wegen O(n) ⊂ O(n ³ ) und 2n ∈ O(n):

I 2n ∈ O(n

³

) I Wegen Summenregel:

I 5n

³

+ 2n ∈ O(n

³

+ n

³

)

I Mit Multiplikation mit Konstante (bei Klasse):

I 5n

³

+ 2n ∈ O(n

³

)

(6)

A9. Laufzeitanalyse: Landau-Symbole Zusammenfassung

A9.3 Zusammenfassung

A9. Laufzeitanalyse: Landau-Symbole Zusammenfassung

A9.1Landau-Notation A9.1Landau-NotationA9.2RechenregelnA9.3Zusammenfassung AlgorithmenundDatenstrukturen AlgorithmenundDatenstrukturen InhaltdieserVeranstaltung

Algorithmen und Datenstrukturen

A9. Laufzeitanalyse: Landau-Symbole

Marcel L¨ uthi and Gabriele R¨ oger

Universit¨ at Basel

17. M¨ arz 2021

Algorithmen und Datenstrukturen

17. M¨ arz 2021 — A9. Laufzeitanalyse: Landau-Symbole

A9.1 Landau-Notation A9.2 Rechenregeln A9.3 Zusammenfassung

Inhalt dieser Veranstaltung

A&D

Sortieren Komplexit¨ ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings Weiterf¨ uhrende

A9.1 Landau-Notation

Ergebnis f¨ ur Mergesort

” Die Laufzeit von Mergesort w¨ achst genauso schnell wie n log 2 n.“

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c , c 0 , n 0 > 0, so dass f¨ ur alle n ≥ n 0 : cn log 2 n ≤ T (n) ≤ c 0 n log 2 n.

I Wir haben Terme niedrigerer Ordnung (Konstanten und n) in der Absch¨ atzung ignoriert bzw. verschwinden lassen.

I Wir haben uns nicht f¨ ur die genauen Werte der Konstanten interessiert, es reicht, wenn irgendwelche passenden

Konstanten existieren.

I Die Laufzeit f¨ ur kleine n ist nicht so wichtig.

Mehr bisherige Ergebnisse

Theorem

Der Merge-Schritt hat lineare Laufzeit, d.h. es gibt Konstanten c, c 0 , n 0 > 0, so dass f¨ ur alle n ≥ n 0 : c n ≤ T (n) ≤ c 0 n.

Theorem

Mergesort hat leicht ¨ uberlineare Laufzeit, d.h.

es gibt Konstanten c , c 0 , n 0 > 0, so dass f¨ ur alle n ≥ n 0 : cn log 2 n ≤ T (n) ≤ c 0 n log 2 n.

Theorem

Selectionsort hat quadratische Laufzeit, d.h. es gibt Konstanten c > 0, c 0 > 0, n 0 > 0, so dass f¨ ur n ≥ n 0 : c n 2 ≤ T (n) ≤ c 0 n 2 . K¨ onnen wir das nicht irgendwie kompakter aufschreiben?

Edmund Landau

Edmund Landau

I deutscher Mathematiker (1877–1938)

I analytische Zahlentheorie I kein Freund angewandter

Mathematik

International: Bachmann–Landau-Notation auch nach Paul Gustav Heinrich Bachmann (deutscher Mathematiker)

Landau-Symbol Theta

Definition

F¨ ur eine Funktion g : N → R ist Θ(g ) die Menge aller Funktionen f : N → R , die genauso schnell wachsen wie g :

Θ(g ) = {f | ∃c > 0 ∃c 0 > 0 ∃n 0 > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n) ≤ c 0 · g (n)}

” Die Laufzeit von Mergesort ist in Θ(n log 2 n).“

oder auch

” Die Laufzeit von Mergesort ist Θ(n log 2 n).“

Landau-Symbol Theta: Illustration

f ∈ Θ(g )

Jupyter-Notebook (mit Aufgaben)

Jupyter-Notebook: landau.ipynb

Mehr Landau-Symbole

I ” f w¨ achst nicht wesentlich schneller als g“

O(g ) = {f | ∃c > 0 ∃n 0 > 0 ∀n ≥ n 0 : f (n) ≤ c · g (n)}

I O f¨ ur

” Ordnung“ der Funktion

I ” f w¨ achst nicht wesentlich langsamer als g“

Ω(g ) = {f | ∃c > 0 ∃n 0 > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n)}

I Es gilt Θ(g ) = O(g ) ∩ Ω(g ).

I Es gilt f ∈ Ω(g ) gdw. g ∈ O(f ).

I In der Informatik interessieren wir uns oft nur f¨ ur die Begrenzung des Laufzeitwachstums nach oben: O statt Θ

Seltener ben¨ otigte Landau-Symbole

I ” f w¨ achst langsamer als g“

o(g) = {f | ∀c > 0 ∃n 0 > 0 ∀n ≥ n 0 : f (n) ≤ c · g (n)}

I ” f w¨ achst schneller als g“

ω(g ) = {f | ∀c > 0 ∃n 0 > 0 ∀n ≥ n 0 : c · g (n) ≤ f (n)}

Aussprache: ω: kleines Omega

Interessante Funktionsklassen

In aufsteigender Ordnung (abgesehen von allgemeinen n k ):

g Wachstum 1 konstant log n logarithmisch

n linear

n log n leicht ¨ uberlinear n 2 quadratisch n 3 kubisch

n k polynomiell (Konstante k) 2 n exponentiell

A9.2 Rechenregeln

Beispiele Θ

I Bei der Analyse interessiert nur der Term h¨ ochster Ordnung (= am schnellsten wachsender Summand) einer Funktion.

I Beispiele

I f

(n) = 5n

+ 3n − 9 ∈ Θ(n

)

” Die Laufzeit von Mergesort w¨ achst genauso schnell wie n log ₂ n.“

es gibt Konstanten c , c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

Der Merge-Schritt hat lineare Laufzeit, d.h. es gibt Konstanten c, c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : c n ≤ T (n) ≤ c ⁰ n.

es gibt Konstanten c , c ⁰ , n ₀ > 0, so dass f¨ ur alle n ≥ n ₀ : cn log ₂ n ≤ T (n) ≤ c ⁰ n log ₂ n.

Selectionsort hat quadratische Laufzeit, d.h. es gibt Konstanten c > 0, c ⁰ > 0, n ₀ > 0, so dass f¨ ur n ≥ n ₀ : c n ² ≤ T (n) ≤ c ⁰ n ² . K¨ onnen wir das nicht irgendwie kompakter aufschreiben?

Θ(g ) = {f | ∃c > 0 ∃c ⁰ > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n) ≤ c ⁰ · g (n)}

” Die Laufzeit von Mergesort ist in Θ(n log ₂ n).“

” Die Laufzeit von Mergesort ist Θ(n log ₂ n).“

O(g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

Ω(g ) = {f | ∃c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n)}

o(g) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : f (n) ≤ c · g (n)}

ω(g ) = {f | ∀c > 0 ∃n ₀ > 0 ∀n ≥ n ₀ : c · g (n) ≤ f (n)}

In aufsteigender Ordnung (abgesehen von allgemeinen n ^k ):

n log n leicht ¨ uberlinear n ² quadratisch n ³ kubisch

n ^k polynomiell (Konstante k) 2 ⁿ exponentiell

I O(1) ⊂ O(log n) ⊂ O(n) ⊂ O(n log n) ⊂ O(n ^k ) ⊂ O(2 ⁿ ) (f¨ ur k ≥ 2)

I O(n ^k

) ⊂ O(n ^k

) f¨ ur k ₁ < k ₂ z.B. O (n ² ) ⊂ O (n ³ )

f ₁ ∈ O(g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ f ₂ ∈ O(g ₁ g ₂ ) I Summe

f ₁ ∈ O(g ₁ ) und f ₂ ∈ O(g ₂ ) ⇒ f ₁ + f ₂ ∈ O(g ₁ + g ₂ ) I Multiplikation mit Konstante

Beispiel: 5n ³ + 2n ∈ O(n ³ )

I Wegen O(n) ⊂ O(n ³ ) und 2n ∈ O(n):