Diskrete Mathematik

(1)

Diskrete Mathematik

Univ.-Prof. Dr. Goulnara ARZHANTSEVA

SS 2020

c Univ.-Prof. Dr. Goulnara Arzhantseva Kapitel 09: Suchen und Sortieren 1 / 27

(2)

Überblick: Vorlesung

Einführung in die Grundbegriffe der Diskreten Mathematik

1 Einfache und abzählende Kombinatorik:

Stichproben, Permutationen, Partitionen

2 Erzeugende Funktionen, Lösen von Rekursionen

3 Das Prinzip der Inklusion und Exklusion,Suchen und Sortieren

4 Graphen und Netzwerke

(3)

Algorithmus

EinAlgorithmusist ein standardisierter Ablauf. Mit ihm werden verschiedene Anweisungen in einer bestimmten, festgelegten Reihenfolge nacheinander durchgeführt.

Beispiel: PageRank

Suchmaschinen benutzen Algorithmen also, um aus vielen Parametern eine Rangierung einer Website zu berechnen. Zum Beispiel ist derPageRankvon Google ein Algorithmus.

(4)

Algorithmus: Effizienzkriterium

Wir werden uns im folgenden nur mit dem “Effizienzkriterium Geschwindigkeit” befassen. Dabei kann man untersuchen,

wie lange der Algorithmus imschlechtest möglichen Falldauert (englisch: Worst case analysis),

oder wie lange der Algorithmus imDurchschnittdauert (englisch:

Average case analysis).

(5)

Algorithmus: Beispiel

Sei der SuchbereichS= [7] gegeben.

Die Aufgabe lautet, eine unbekannte Zahlx ∈Sdurch (möglichst wenige) Fragen des Typs “x <i?” für irgendeini ∈[7] zu erraten.

Einen Algorithmus zur Bestimmung der gesuchten Zahlx kann man sehr einfach durch einenEntscheidungsbaumbeschreiben:

(6)

Beispiel: Entscheidungsbaum ( aus Skriptum)

x<4?

x<6? x<3?

x<7? x<5? x<2?

1,2,3,4,5,6,7

4,5,6,7 1,2,3

3

6,7 4,5 1,2

7 6 5 4 2 1

Imschlechtesten Fall(Worst case) führt dieser Algorithmus in 3 Schritten zum Ziel (im besten Fall braucht man 2 Schritte), und im Durchschnitt(Average case) braucht man ^1·2+6·3₇ = ²⁰₇ Schritte.

⃝c Univ.-Prof. Dr. Goulnara Arzhantseva Kapitel 09: Suchen und Sortieren 6 / 27

(7)

Beispiel: Entscheidungsbaum

Unser Beispiel zeigt zweierlei:

Ein (Such–)Algorithmus läßt sich zweckmäßig durch einen (Entscheidungs–)Baumbeschreiben,

DieEffizienz eines (Such–)Algorithmuskann man durch Analyse des entsprechenden (Entscheidungs–)Baumes ermitteln.

(8)

Wurzelbaum

Definition: Wurzelbaum

EinWurzelbaumist ein Baum mit einem ausgezeichneten Knoten, der sogenanntenWurzel.

In einem Wurzelbaum gibt es eineimplizite Orientierungder Kanten

“von der Wurzel weg”, in folgendem Sinn:

Seiw die Wurzel und seie={v₁,v₂}eine Kante. Wenn die Länge des Weges vonw nachv₁k ist, dann ist die Länge des Weges vonw nach v₂k ±1 — o.B.d.A. nehmen wirk+ 1 an und orientieren die Kante dann:~e:= (v₁,v₂).

In einem Entscheidungsbaum ist die Wurzel der Knoten “ganz oben”, von dem aus sich alles verzweigt.

(9)

Wurzelbaum

Definition: Wurzelbaum

EinWurzelbaumist ein Baum mit einem ausgezeichneten Knoten, der sogenanntenWurzel.

In einem Wurzelbaum gibt es eineimplizite Orientierungder Kanten

“von der Wurzel weg”, in folgendem Sinn:

Seiw die Wurzel und seie={v₁,v₂}eine Kante. Wenn die Länge des Weges vonw nachv₁k ist, dann ist die Länge des Weges vonw nach v₂k ±1 — o.B.d.A. nehmen wirk+ 1 an und orientieren die Kante dann:~e:= (v₁,v₂).

In einem Entscheidungsbaum ist die Wurzel der Knoten “ganz oben”, von dem aus sich alles verzweigt.

(10)

Wurzelbaum

Definition: inneren Knoten und Blätter

In einem Wurzelbaum (mit der impliziten Orientierung) unterscheiden wir dann die sogenannten

inneren Knoten, die Ausgangsgrad>0 haben,

und dieBlätter(manchmal auchEndknotenoderäußere Knoten genannt), die Ausgangsgrad = 0 haben.

Die Wurzel kann selbst ein Blatt sein — wenn der Wurzelbaum nur aus einem einzigen Knoten besteht.

(11)

Wurzelbaum

Definition: inneren Knoten und Blätter

In einem Wurzelbaum (mit der impliziten Orientierung) unterscheiden wir dann die sogenannten

inneren Knoten, die Ausgangsgrad>0 haben,

und dieBlätter(manchmal auchEndknotenoderäußere Knoten genannt), die Ausgangsgrad = 0 haben.

Die Wurzel kann selbst ein Blatt sein — wenn der Wurzelbaum nur aus einem einzigen Knoten besteht.

(12)

Beispiel: Wurzelbaum und implizite Orientierung (aus Skriptum)

inneren Knoten = schwarze Punkte die Blätter = weiße Kreis

die Wurzel = dick Punkt

(13)

Beispiel: Entscheidungsbaum (aus Skriptum)

x<4?

x<6? x<3?

x<7? x<5? x<2?

1,2,3,4,5,6,7

4,5,6,7 1,2,3

3

6,7 4,5 1,2

7 6 5 4 2 1

Im Entscheidungsbaum eines Suchalgorithmus bedeutet

einBlatt, da der Algorithmus zu einem Ergebnis gekommen ist, und der maximale Ausgangsgrad eines inneren Knotens die größte Anzahl der Teile, in die der Suchraum nach einer Frage zerfallen kann.

(14)

Wurzelbaum: Länge, Niveau, q-Baum

Definition: Länge, Niveau,q-Baum

SeiWein Wurzelbaum mit Wurzelw, und seiv ein Knoten inW.

Die Länge des (eindeutigen!) Weges von der Wurzelwzum Knotenv heißtLängedes Knotens und wird mit`(v) bezeichnet. Die Menge der Knoten der Längek nennen wir dasNiveauk inW.

Wenn der maximale Ausgangsgrad eines inneren Knotens vonW kleinergleichqist, dann nennen wirWeinenq–Baum.Wheißt ein vollständigerq–Baum, wennjederinnere Knoten vonWAusgangsgrad q hat.

Ein innerer Knoten in einemq–BaumWheißtgesättigt, wenn sein Ausgangsgrad gleichqist.

Ein vollständigerq–Baum hat also nur gesättigte innere Knoten.

(15)

Wurzelbaum: Länge, Niveau, q-Baum

Definition: Länge, Niveau,q-Baum

SeiWein Wurzelbaum mit Wurzelw, und seiv ein Knoten inW.

Die Länge des (eindeutigen!) Weges von der Wurzelwzum Knotenv heißtLängedes Knotens und wird mit`(v) bezeichnet. Die Menge der Knoten der Längek nennen wir dasNiveauk inW.

Wenn der maximale Ausgangsgrad eines inneren Knotens vonW kleinergleichqist, dann nennen wirWeinenq–Baum.Wheißt ein vollständigerq–Baum, wennjederinnere Knoten vonWAusgangsgrad q hat.

Ein innerer Knoten in einemq–BaumWheißtgesättigt, wenn sein Ausgangsgrad gleichqist.

Ein vollständigerq–Baum hat also nur gesättigte innere Knoten.

(16)

Vollständiger q–Baum

Lemma: vollständigerq–Baum

Seiq≥2, und seiWein vollständigerq–Baum mit genaunBlättern.

Dann gilt die folgende Teilbarkeitsrelation:

(q−1)|(n−1) (1)

(17)

Vollständiger q–Baum

Beweis: Induktion nach der Blattanzahln: Für den (einzigen)q–Baum mit nureinemBlatt (das dann zugleich die Wurzel ist!) ist die

Behauptung richtig.

In einem beliebigen vollständigenq–Baum mitn>1 Blättern gibt es also einen inneren Knotenv, an demq Blätterb₁, . . . ,b_q “hängen”¹. Wenn wir diese Blätter entfernen (also den Teilgraphen betrachten, der durchV(W)\ {b₁, . . . ,bq}induziert wird), dann hat der entstehende Wurzelbaum genaun−q+ 1 Blätter (v ist ja nun zu einem Blatt geworden), und er ist wieder ein vollständigerq–Baum:

Nach Induktionsvoraussetzung gilt (q−1)|(n−q);

daraus folgt (q−1)|(n−1).

1vkann als ein innerer Knoten maximaler Länge gewählt werden.

(18)

Vollständiger q–Baum

Behauptung richtig.

In einem beliebigen vollständigenq–Baum mitn>1 Blättern gibt es also einen inneren Knotenv, an demq Blätterb₁, . . . ,b_q “hängen”¹.

Wenn wir diese Blätter entfernen (also den Teilgraphen betrachten, der durchV(W)\ {b₁, . . . ,bq}induziert wird), dann hat der entstehende Wurzelbaum genaun−q+ 1 Blätter (v ist ja nun zu einem Blatt geworden), und er ist wieder ein vollständigerq–Baum:

(19)

Vollständiger q–Baum

Behauptung richtig.

In einem beliebigen vollständigenq–Baum mitn>1 Blättern gibt es also einen inneren Knotenv, an demq Blätterb₁, . . . ,b_q “hängen”¹. Wenn wir diese Blätter entfernen (also den Teilgraphen betrachten, der durchV(W)\ {b₁, . . . ,bq}induziert wird), dann hat der entstehende Wurzelbaum genaun−q+ 1 Blätter (v ist ja nun zu einem Blatt geworden), und er ist wieder ein vollständigerq–Baum:

(20)

Allgemeine Suchproblem

Gegeben sei eine gewisserSuchraum, also eine MengeSvon möglichen Ereignissen (im Beispiel oben war das [7]).

Weiters seien gewisse “Tests” gegeben, mit denen der Suchraum in Teilmengen partitioniert wird (im Beispiel waren das die Fragen

“x <i?”): Das allgemeineSuchproblembesteht darin, ein bestimmtes (aber zunächst unbekanntes) Element inx ∈S durch eine

Kombination der verfügbaren Tests zu identifizieren.

Unter einemSuchalgorithmusverstehen wir eine derartige

“Kombination der verfügbaren Tests”, diein jedem Fall(d.h., unabhängig vom Elementx) zum Ziel führt.

(21)

Allgemeine Suchproblem

Es ist klar, daß wir einen Suchalgorithmus durch einen Entscheidungsbaumbeschreiben können:

Das ist einq–Baum, wobeiq die größte Anzahl von Blöcken ist, in die ein Test den Suchraum partitioniert.

(22)

Worst–Case Analyse: Informationstheoretische Schranke

DieWorst–Case Analyseeines Algorithmus stellt fest, wie lange der Algorithmus imschlechtesten Fallbraucht.

Für Suchalgorithmen ist das also diemaximaleLänge eines Blattes im entsprechenden EntscheidungsbaumW; wir nennen dies dieLänge des WurzelbaumesWund bezeichnen sie mitL(W):

L(W) := max

bBlatt inW`(b).

(23)

Worst–Case Analyse

Satz: Die Länge des Wurzelbaumes

Seiq≥2 undWeinq–Baum mitnBlättern. Dann gilt L(W)≥^llog_qn^m,

wo log_qnder Logarithmus vonnzur Basisq ist.

Beweis: Die Behauptung ist klarerweise äquivalent zu

L:=L(W)≥log_qnoderq^L=q^L(W)≥n. Letzteres zeigen wir durch Induktion nachL.

IstL= 0, dann besteht der Baum nur aus der Wurzel, die dann gleichzeitig das einzige Blatt ist, und wir haben in diesem Fallq⁰≥1.

(24)

Worst–Case Analyse

Satz: Die Länge des Wurzelbaumes

Seiq≥2 undWeinq–Baum mitnBlättern. Dann gilt L(W)≥^llog_qn^m,

wo log_qnder Logarithmus vonnzur Basisq ist.

Beweis: Die Behauptung ist klarerweise äquivalent zu

L:=L(W)≥log_qnoderq^L=q^L(W)≥n. Letzteres zeigen wir durch Induktion nachL.

IstL= 0, dann besteht der Baum nur aus der Wurzel, die dann gleichzeitig das einzige Blatt ist, und wir haben in diesem Fallq⁰≥1.

(25)

Typischer q–Baum (aus Skriptum)

Für denInduktionsschrittbemerken wir, daß ein typischerq–BaumW folgendermaßen aussieht:

Von der Wurzelw weg führenk ≤qKanten; an den anderen Enden dieser Kanten hängt ein TeilgraphWi, der wieder die Struktur eines q–Baumes hat (symbolisiert durch die Dreiecke im unten Bild).

. . . W:

w

W1 W2 W₃

(k ≤q) Wk

(26)

Die Länge des Wurzelbaumes: Beweis

WegenL>0 befinden sich allenBlätter in diesen Teilbäumen, einer dieser Teilbäume muß daher mindestensn/k ≥n/qBlätter enthalten.

Bezeichnen wir diesen Teilbaum mitW⁰. Klarerweise gilt L(W⁰)≤L(W)−1, somit können wir aufW⁰ die

Induktionsvoraussetzung anwenden:

q^L(W⁰⁾≥Anzahl der Blätter inW⁰ ≥ n q. Somit folgt:

q^L(W) ≥q^L(W⁰⁾⁺¹=q^L(W⁰⁾·q ≥ n qq =n.

(27)

Informationstheoretische Schranke

Der Wert^llog_qn^mheißtinformationstheoretische Schranke.

Es ist klar, daß wir für unser zuvor beschriebenes “allgemeines Suchproblem” keinen Algorithmus angeben können, derimmer(also auch imworst case) weniger Tests benötigt als^llog_qn^m.

(28)

Informationstheoretische Schranke: Bemerkung

Als “Faustregel” für die Konstruktion eines Suchalgorithmus kann man offenbar ansehen: “Zerlege den Suchraum mit jedem Test in möglichst gleich große Teile”.

Es ist aberkeineswegs immermöglich, einen Algorithmus zu

konstruieren, der mit der theoretisch möglichen unteren Schranke für die Anzahl der Tests auskommt:

Typischerweise gelingt das nicht, wenn die Tests die Suchräume nicht

“hinreichend gleichförmig” partitionieren können.

(29)

Beispiel: Binary search

Der klassische Algorithmus für das Einordnen eines neuen Elementsx in eine bereits geordneteListea₁≤a₂≤ · · · ≤anistBinary Search:

Der Suchraum ist hier die Menge der möglichen Stellen, wox eingeordnet werden könnte, er umfaßt alson+ 1 Elemente.

Der Algorithmus funktioniert so:

(30)

Binary search: Algorithmus

SeiL= (a₁,a₂, . . . ,an) eine der Größe nach geordnete Liste vonn

reellen Zahlen (entspricht einem Suchraum vonn+ 1 möglichen Stellen), bei der wir möglicherweise bereits die Relationx ≤a_nkennen (entspricht einem Suchraum von nur mehrnmöglichen Stellen).

Wenn der der ListeLentsprechende Suchraum nur mehr ein Element enthält, sind wir fertig; d.h.: Wennn= 0oderwennn= 1 istundwir die Relationa₂=a_n+1≤a_n=a₁bereits kennen, dann schreiben wira_n+1 an die erste Stelle.

(31)

Binary search: Algorithmus

Ansonsten vergleichen wira_n+1mit jenem Elementx der Liste, das den SuchraumS möglichst gleichmäßig zerteilt (fürm=|S|istx =a_dm/2e).

Gilta_n+1>x, dann setzen wirL=a_dm/2e+1, . . . ,a_n; gilta_n+1≤x, dann setzen wirL=a₁, . . . ,a_dm/2e(hier kennen wir nun die Relation x ≤a_dm/2e); in jedem Fall beginnen wir wieder von vorne.

(32)

Binary search: Informationstheoretische Schranke

Die informationstheoretische Schranke besagt, daß wir im worst case mindestensdlog₂(n+ 1)eTests “a_n+1>x?” brauchen. Und mit Induktion sehen wir, daß der obige Algorithmus diese Schranke tatsächlich erreicht:

Fürn= 0 brauchen wir 0 = log₂(1) Tests.

Fallsn>0, brauchen wir einen ersten Test und haben dann einen Liste vor uns, deren entsprechender Suchraum maximald(n+ 1)/2e Elemente enthält (denn der ursprüngliche Suchraum ist in zwei Blöcke n+ 1 =d(n+ 1)/2e+b(n+ 1)/2cpartitioniert worden).

Nach Induktion brauchen wir dafürdlog₂(d(n+ 1)/2e)eTests.

(33)

Binary search: Informationstheoretische Schranke

Die Anzahl der benötigten Tests ist also tatsächlich 1 +dlog₂d(n+ 1)/2e

| {z }

=ⁿ⁺¹₂ +^{[n≡0 (2)]}₂

e=1 + log₂n+ 1

2 + log₂1 + [n≡0 (2)]

n+ 1

=log₂(n+ 1) + log₂1 + [n≡0 (2)]

n+ 1

=dlog₂(n+ 1 + [n≡0 (2)])e

=dlog₂(n+ 1)e. (2)

Die letzte Gleichung folgt aus einer Betrachtung der Sprungstellen von dlog₂(x)ebei 2^m,m= 0,1, . . ..

n= 2^r −27→r, n= 2^r −17→r, n= 2^r 7→r + 1.