A11.1UntereSchrankeanerforderlicheVergleichsoperationenA11.2Zusammenfassung A11.1UntereSchrankeanerforderlicheVergleichsoperationen AlgorithmenundDatenstrukturen AlgorithmenundDatenstrukturen InhaltdieserVeranstaltung

(1)

Algorithmen und Datenstrukturen

A11. Sortieren: Untere Schranke

Marcel L¨ uthi and Gabriele R¨ oger

Universit¨ at Basel

18. M¨ arz 2020

M. Lüthi, G. Röger (Universität Basel) Algorithmen und Datenstrukturen 18. März 2020 1 / 15

Algorithmen und Datenstrukturen

18. M¨ arz 2020 — A11. Sortieren: Untere Schranke

A11.1 Untere Schranke an erforderliche Vergleichsoperationen

A11.2 Zusammenfassung

A11. Sortieren: Untere Schranke Untere Schranke an erforderliche Vergleichsoperationen

A11.1 Untere Schranke an

erforderliche Vergleichsoperationen

Inhalt dieser Veranstaltung

A&D

Sortieren Vergleichsbasierte Verfahren

Nicht vergleichsbasierte

Verfahren Uberblick und ¨

Ausblick Komplexit¨ ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings

(2)

Sortierverfahren

Sortieren

Vergleichsbasierte

Verfahren Selectionsort Insertionsort Mergesort

Minimale Vergleichszahl

Quick Sort Heap Sort Nicht

vergleichsbasierte Verfahren

Uberblick und ¨ Ausblick

Fragestellung

I Mergesort hatte bisher mit O (n log ₂ n) die beste (Worstcase-)Laufzeit.

I Geht es noch besser?

I Wir zeigen: Nicht mit vergleichsbasierten Verfahren!

Vorgehen

I Schwierigkeit: Wir k¨ onnen nicht einen bestimmten

Algorithmus analysieren, sondern m¨ ussen eine Aussage ¨ uber alle m¨ oglichen Verfahren treffen.

I Vergleichsbasierte Verfahren k¨ onnen die Eingabe nur anhand von Schl¨ usselvergleichen analysieren.

I Sie m¨ ussen jede Eingabe korrekt sortieren.

I Daraus k¨ onnen wir eine untere Schranke an die Anzahl der Schl¨ usselvergleiche im worst-case ableiten.

Abstraktes Verhalten als Baum

Betrachte beliebigen vergleichsbasierten Sortieralgorithmus A.

I Verhalten h¨ angt nur vom Ergebnis der Schl¨ usselvergleiche ab.

I Bei jedem Schl¨ usselvergleich gibt es zwei M¨ oglichkeiten, wie der Algorithmus weiter macht.

I Wir k¨ onnen das graphisch als Baum darstellen.

(3)

Crashkurs Bin¨ arb¨ aume

I Bin¨ arbaum: jeder Knoten hat h¨ ochstens zwei Nachfolger I Knoten ohne Nachfolger heissen Bl¨ atter (Bild: eckige Knoten).

I Der Knoten ganz oben ist die Wurzel.

I Die Tiefe eines Blattes entspricht der

Anzahl von Kanten von der Wurzel zu dem Blatt.

Die maximale Tiefe eines Blattes in einem Bin¨ arbaum mit k Bl¨ attern ist mindestens log ₂ k.

Aufgabe (Slido)

Was ist die maximale Tiefe eines Blattes in diesem Baum?

Ergebnis als Permutation

Was muss der Algorithmus k¨ onnen?

I Annahme: alle Elemente unterschiedlich

I Muss alle Eingaben der Gr¨ osse n korrekt sortieren.

I Wir k¨ onnen alle Algorithmen so anpassen, dass sie verfolgen, von welcher Position zu welcher Position die Elemente bewegt werden m¨ ussen.

I Das Ergebnis ist dann nicht das sortierte Array, sondern die entsprechende Permutation.

Beispiel: pos0 7→ pos2, pos1 7→ pos1, pos2 7→ pos0 I Da alle m¨ oglichen Eingaben der Gr¨ osse n korrekt gel¨ osst

werden m¨ ussen, muss der Algorithmus alle n! m¨ oglichen Permutationen erzeugen k¨ onnen.

Untere Schranke

I Jedes Blatt in der Baumdarstellung entspricht einer Permutation.

I Bei Eingabegr¨ osse n muss der Baum also mindestens n! Bl¨ atter haben.

I Die maximale Tiefe des entsprechenden Baumes ist demnach ≥ log ₂ (n!).

I Es gibt also eine Eingabe der Gr¨ osse n mit

≥ log ₂ (n!) Schl¨ usselvergleichen.

(4)

Untere Schranke: Absch¨ atzung

Absch¨ atzung von log ₂ (n!) I Es gilt n! ≥ ( ⁿ ₂ )

ⁿ²

4! = 1 · 2 · 3

≥2 · 4

≥2 ≥ 2 ²

I log ₂ (n!) ≥ log ₂ (( ⁿ ₂ )

ⁿ²

) = ⁿ ₂ log ₂ ( ⁿ ₂ )

log ₂ (n!) = ⁿ ₂ (log ₂ n + log ₂ ¹ ₂ ) = ⁿ ₂ (log ₂ n − log ₂ 2) log ₂ (n!) = ⁿ ₂ (log ₂ n − 1)

Theorem

Jeder vergleichsbasierte Sortieralgorithmus ben¨ otigt Ω(n log n) viele Schl¨ usselvergleiche. Damit liegt auch die Laufzeit in Ω(n log n).

Mergesort ist asymptotisch optimal.

A11. Sortieren: Untere Schranke Zusammenfassung

A11.2 Zusammenfassung

A11. Sortieren: Untere Schranke Zusammenfassung

Zusammenfassung

I Jedes vergleichsbasierte Sortierverfahren hat mindestens leicht ¨ uberlineare Laufzeit.

A11.1UntereSchrankeanerforderlicheVergleichsoperationenA11.2Zusammenfassung A11.1UntereSchrankeanerforderlicheVergleichsoperationen AlgorithmenundDatenstrukturen AlgorithmenundDatenstrukturen InhaltdieserVeranstaltung

Algorithmen und Datenstrukturen

A11. Sortieren: Untere Schranke

Marcel L¨ uthi and Gabriele R¨ oger

Universit¨ at Basel

18. M¨ arz 2020

Algorithmen und Datenstrukturen

18. M¨ arz 2020 — A11. Sortieren: Untere Schranke

A11.1 Untere Schranke an erforderliche Vergleichsoperationen

A11.2 Zusammenfassung

A11.1 Untere Schranke an

erforderliche Vergleichsoperationen

Inhalt dieser Veranstaltung

A&D

Sortieren Vergleichsbasierte Verfahren

Nicht vergleichsbasierte

Verfahren Uberblick und ¨

Ausblick Komplexit¨ ats-

analyse Fundamentale Datenstrukturen

Suchen Graphen

Strings

Sortierverfahren

Sortieren

Vergleichsbasierte

Verfahren Selectionsort Insertionsort Mergesort

Minimale Vergleichszahl

Quick Sort Heap Sort Nicht

vergleichsbasierte Verfahren

Uberblick und ¨ Ausblick

Fragestellung

I Mergesort hatte bisher mit O (n log 2 n) die beste (Worstcase-)Laufzeit.

I Geht es noch besser?

I Wir zeigen: Nicht mit vergleichsbasierten Verfahren!

Vorgehen

I Schwierigkeit: Wir k¨ onnen nicht einen bestimmten

Algorithmus analysieren, sondern m¨ ussen eine Aussage ¨ uber alle m¨ oglichen Verfahren treffen.

I Vergleichsbasierte Verfahren k¨ onnen die Eingabe nur anhand von Schl¨ usselvergleichen analysieren.

I Sie m¨ ussen jede Eingabe korrekt sortieren.

I Daraus k¨ onnen wir eine untere Schranke an die Anzahl der Schl¨ usselvergleiche im worst-case ableiten.

Abstraktes Verhalten als Baum

Betrachte beliebigen vergleichsbasierten Sortieralgorithmus A.

I Verhalten h¨ angt nur vom Ergebnis der Schl¨ usselvergleiche ab.

I Bei jedem Schl¨ usselvergleich gibt es zwei M¨ oglichkeiten, wie der Algorithmus weiter macht.

I Wir k¨ onnen das graphisch als Baum darstellen.

Crashkurs Bin¨ arb¨ aume

I Bin¨ arbaum: jeder Knoten hat h¨ ochstens zwei Nachfolger I Knoten ohne Nachfolger heissen Bl¨ atter (Bild: eckige Knoten).

I Der Knoten ganz oben ist die Wurzel.

I Die Tiefe eines Blattes entspricht der

Anzahl von Kanten von der Wurzel zu dem Blatt.

Die maximale Tiefe eines Blattes in einem Bin¨ arbaum mit k Bl¨ attern ist mindestens log 2 k.

Aufgabe (Slido)

Was ist die maximale Tiefe eines Blattes in diesem Baum?

Ergebnis als Permutation

Was muss der Algorithmus k¨ onnen?

I Annahme: alle Elemente unterschiedlich

I Muss alle Eingaben der Gr¨ osse n korrekt sortieren.

I Wir k¨ onnen alle Algorithmen so anpassen, dass sie verfolgen, von welcher Position zu welcher Position die Elemente bewegt werden m¨ ussen.

I Das Ergebnis ist dann nicht das sortierte Array, sondern die entsprechende Permutation.

Beispiel: pos0 7→ pos2, pos1 7→ pos1, pos2 7→ pos0 I Da alle m¨ oglichen Eingaben der Gr¨ osse n korrekt gel¨ osst

werden m¨ ussen, muss der Algorithmus alle n! m¨ oglichen Permutationen erzeugen k¨ onnen.

Untere Schranke

I Jedes Blatt in der Baumdarstellung entspricht einer Permutation.

I Bei Eingabegr¨ osse n muss der Baum also mindestens n! Bl¨ atter haben.

I Die maximale Tiefe des entsprechenden Baumes ist demnach ≥ log 2 (n!).

I Es gibt also eine Eingabe der Gr¨ osse n mit

≥ log 2 (n!) Schl¨ usselvergleichen.

Untere Schranke: Absch¨ atzung

Absch¨ atzung von log 2 (n!) I Es gilt n! ≥ ( n 2 )

4! = 1 · 2 · 3

≥2 · 4

≥2 ≥ 2 2

I log 2 (n!) ≥ log 2 (( n 2 )

) = n 2 log 2 ( n 2 )

log 2 (n!) = n 2 (log 2 n + log 2 1 2 ) = n 2 (log 2 n − log 2 2) log 2 (n!) = n 2 (log 2 n − 1)

Theorem

Jeder vergleichsbasierte Sortieralgorithmus ben¨ otigt Ω(n log n) viele Schl¨ usselvergleiche. Damit liegt auch die Laufzeit in Ω(n log n).

Mergesort ist asymptotisch optimal.

A11.2 Zusammenfassung

Zusammenfassung

I Jedes vergleichsbasierte Sortierverfahren hat mindestens leicht ¨ uberlineare Laufzeit.

I Mergesort hatte bisher mit O (n log ₂ n) die beste (Worstcase-)Laufzeit.

Die maximale Tiefe eines Blattes in einem Bin¨ arbaum mit k Bl¨ attern ist mindestens log ₂ k.

I Die maximale Tiefe des entsprechenden Baumes ist demnach ≥ log ₂ (n!).

≥ log ₂ (n!) Schl¨ usselvergleichen.

Absch¨ atzung von log ₂ (n!) I Es gilt n! ≥ ( ⁿ ₂ )

≥2 ≥ 2 ²

I log ₂ (n!) ≥ log ₂ (( ⁿ ₂ )

) = ⁿ ₂ log ₂ ( ⁿ ₂ )

log ₂ (n!) = ⁿ ₂ (log ₂ n + log ₂ ¹ ₂ ) = ⁿ ₂ (log ₂ n − log ₂ 2) log ₂ (n!) = ⁿ ₂ (log ₂ n − 1)