Randomisierte Algorithmen

(1)

2. Erste Beispiele

Thomas Worsch

Fakultät für Informatik Karlsruher Institut für Technologie

Wintersemester 2019/2020

(2)

Überblick

Ein randomisierter Identitätstest

Vergleich von Wörtern

Ein randomisierter Quicksortalgorithmus

(3)

Erste Beispiele

Randomisierter Identitätstest

2.1 Aufgabe

I Gegeben:drei𝑛×𝑛 MatrizenA,B,C∈F^𝑛×𝑛. I Gesucht:Antwort auf die Frage: istAB=C? I F: Körper

I Bits: neutrale Elemente0bzw.1

(4)

Erste Beispiele

2.2 Deterministische Lösungen

I naiv:Θ(𝑛³)Schritte I schneller:

I Strassen (1969):Θ(𝑛^2.808...)Schritte

I Coppersmith/Winograd (1987):Θ(𝑛^2.376...)Schritte

(5)

Erste Beispiele

2.2 Deterministische Lösungen

I naiv:Θ(𝑛³)Schritte I schneller:

I Strassen (1969):Θ(𝑛^2.808...)Schritte

I Coppersmith/Winograd (1987):Θ(𝑛^2.376...)Schritte I Vassilevska Williams (2011):Θ(𝑛^2.373...)Schritte

(6)

Erste Beispiele

2.3 Randomisierter Algorithmus (Freivalds, 1977)

hBerechne und vergleicheABrundCri x ←Br

y←Ax z←Cr

if (y≠z)then return no else

return yes fi

Offensichtlicher ZeitbedarfΘ(𝑛²).

(7)

Erste Beispiele

2.3 Randomisierter Algorithmus (Freivalds, 1977)

bool←is_A_times_B_equal_C(𝐴, 𝐵, 𝐶):

r← hVektor von𝑛unabhängigen Zufallsbitsi

hBerechne und vergleicheABrundCri x ←Br

y←Ax z←Cr

return yes fi

(8)

Erste Beispiele

2.3 Randomisierter Algorithmus (Freivalds, 1977)

r← hVektor von𝑛unabhängigen Zufallsbitsi hBerechne und vergleicheABrundCri

z←Cr

return yes fi

(9)

Erste Beispiele

2.3 Randomisierter Algorithmus (Freivalds, 1977)

r← hVektor von𝑛unabhängigen Zufallsbitsi hBerechne und vergleicheABrundCri x ←Br

y←Ax z←Cr

return yes fi

(10)

2.4 Fingerabdrücke

I y=A(Br)„Fingerabdruck“ vonAB. I z=Cr„Fingerabdruck“ vonC

(11)

Erste Beispiele

2.5 Lemma

IstAB≠ Cundrein Vektor unabhängiger Zufallsbits, dann ist die Fehlerwahrscheinlichkeit des Algorithmus

P(ABr=Cr) ≤1/2 .

Beachte: Im FallAB=Ckann kein Fehler passieren.

(12)

2.6 Beweis

I SeiD=AB−C, alsoD≠ 0.

Seiy=ABrundz=Cr.

I Dr=0genau dann, wenny=z(Fehler)

I dsei eine Zeile vonD, die nicht der Nullvektor ist.

I drist Eintrag im ProduktvektorDr

I obere Schranke für die Wahrscheinlichkeit, dassdr=0?

(13)

Erste Beispiele

2.6 Beweis (Fortsetzung)

I d =(𝑑₁, . . . , 𝑑_𝑛)und𝑚der größte Index mit𝑑_𝑚 ≠0 I dr =Í𝑛

𝑖=1𝑑_𝑖𝑟_𝑖 =0genau dann, wenn𝑑_𝑚𝑟_𝑚 =−Í

𝑖≠𝑚𝑑_𝑖𝑟_𝑖, also

𝑟_𝑚 = (−Õ

𝑖≠𝑘

𝑑_𝑖𝑟_𝑖)/𝑑_𝑚

I Vorstellung:𝑟₁, . . . , 𝑟_𝑚−1bereits gewählt I die𝑟_𝑖 mit𝑚 <𝑖 ≤𝑛 sind irrelevant

I Gleichung für höchstenseinender beiden möglichen Werte für𝑟_𝑚 richtig.

I also Wahrscheinlichkeit fürdr=0höchstens1/2 I also Wahrscheinlichkeit fürDr=0höchstens1/2

(14)

2.7 Korollar

I WennAB =C, liefert Algorithmus 2.3 stets die richtige Antwort.

I WennAB ≠C, liefert Algorithmus 2.3

mit Wahrscheinlichkeit größer gleich1/2die richtige Antwort.

(15)

Erste Beispiele

2.8 Kleinere Fehlerwahrscheinlichkeit: wie?

I ziehe – wenn möglich – die zufälligen𝑟_𝑖 aus größerer Menge I 𝑘unabhängige Wiederholungen des Algorithmus

am Ende nur dann Antwort yes, wenn alle Einzelversuche yes geliefert haben I im Fehlerfall:

P(𝑌₁=yes∧𝑌₂=yes∧ · · · ∧𝑌_𝑘 =yes)

=Î^𝑘

𝑖=1P(𝑌_𝑖 =yes) ≤2⁻^𝑘

(16)

2.8 Kleinere Fehlerwahrscheinlichkeit: wie?

I ziehe – wenn möglich – die zufälligen𝑟_𝑖 aus größerer Menge I 𝑘unabhängige Wiederholungen des Algorithmus

am Ende nur dann Antwort yes, wenn alle Einzelversuche yes geliefert haben I im Fehlerfall:

P(𝑌₁=yes∧𝑌₂=yes∧ · · · ∧𝑌_𝑘 =yes)

=Î^𝑘

𝑖=1P(𝑌_𝑖 =yes) ≤2⁻^𝑘

(17)

Erste Beispiele

Überblick

Ein randomisierter Identitätstest Vergleich von Wörtern

(18)

2.9 Aufgabe

I Gegeben:Zwei „Datenbestände“ in Form von Bitfolgen𝑎₁· · ·𝑎_𝑛und𝑏₁· · ·𝑏_𝑛. I Gesucht:Antwort auf die Frage, ob die beiden Bitfolgen gleich sind.

I Anwendung:

Vergleich räumlich weit entfernter großer Datenmengen I Sind𝑎=Í^𝑛

𝑖=1𝑎_𝑖2^𝑖−1und𝑏=Í^𝑛

𝑖=1𝑏_𝑖2^𝑖−1gleich?

I Wieviele Bits muss man wohl übertragen, um

mit W.keit1−1/𝑛sicher sein zu können, dass𝑎=𝑏ist?

(19)

Erste Beispiele

2.11 Algorithmus

hÜberprüfung, ob Bitfolgen𝑎₁· · ·𝑎_𝑛und𝑏₁· · ·𝑏_𝑛 gleich sindi

𝑝 ← hPrimzahl kleiner oder gleich𝑛²ln𝑛²i

hzufällig gleichverteilt aus diesen ausgewählti 𝑎← Í𝑛

𝑖=1𝑎_𝑖2^𝑖−1 𝑏← Í^𝑛

𝑖=1𝑏_𝑖2^𝑖⁻¹

if (𝑎mod𝑝 =𝑏 mod𝑝)then return yes

else

return no fi

(20)

2.12 Satz

Bei zufälliger gleichverteilter Wahl einer Primzahl𝑝kleiner oder gleich𝑛²log𝑛²ist

P(𝑎mod𝑝 =𝑏 mod𝑝 |𝑎 ≠𝑏) ∈𝑂(1 𝑛

) .

Für den Beweis werden zwei Ergebnisse benötigt . . .

(21)

Erste Beispiele

2.13 Satz (Chebyshev)

Für die Anzahl𝜋(𝑛)der Primzahlen kleiner oder gleich𝑛gilt:

7 8

𝑛 ln𝑛

≤ 𝜋(𝑛) ≤ 9 8

𝑛 ln𝑛 Es ist also𝜋(𝑛) ∈Θ(𝑛/ln𝑛).

(22)

2.14 Lemma

Eine Zahl kleiner oder gleich2^𝑛hat höchstens𝑛 verschiedene Primteiler.

(23)

Erste Beispiele

2.15 Beweis (von Satz 2.12)

I Sei𝑐 = |𝑎−𝑏|.

I falsche Antwort, wenn𝑐 ≠ 0und von𝑝 geteilt

I da𝑐 ≤ 2^𝑛, hat es höchstens𝑛verschiedene Primteiler I sei die gewählte Primzahl aus dem Intervall von2bis𝑡 I dort gibt es𝜋(𝑡) ∈Θ(𝑡/ln𝑡)Primzahlen

I Die WahrscheinlichkeitP(𝑎mod𝑝 =𝑏mod𝑝 |𝑎≠𝑏), ein𝑝 zu wählen, das zu einer falschen Antwort führt, ist also höchstens𝑂( ^𝑛

𝑡/ln𝑡). I Für𝑡 =𝑛²ln𝑛²ergibt sich eine obere Schranke in𝑂(1/𝑛).

(24)

2.16 Pattern Matching

I Gegeben:Text𝑥 =𝑥₁· · ·𝑥_𝑛und kürzeresSuchmuster𝑦 =𝑦₁· · ·𝑦_𝑚. I Gesucht:Antwort auf die Frage, ob𝑦in𝑥vorkommt.

I Bezeichne𝑥(𝑗) das Teilwort𝑥_𝑗· · ·𝑥_𝑗_+𝑚−1(Länge𝑚).

Frage: Ist für ein1≤ 𝑗 ≤𝑛−𝑚+1das zugehörige𝑥(𝑗) =𝑦?

I bezeichne𝑥ˆ(𝑗)=Í^𝑚

𝑖=1𝑥_𝑗_+1+𝑖−12^𝑖⁻¹

(25)

Erste Beispiele

2.17 Idee

ˆ

𝑥(𝑗+1) =

𝑚

Õ

𝑖=1

𝑥_{𝑗+1+𝑖−1}2^𝑖⁻¹

= 1 2

(𝑥_𝑗 −𝑥_𝑗) +1 2

𝑚−1

Õ

𝑖=1

𝑥_𝑗₊₁₊_𝑖₋₁2^𝑖 +𝑥_𝑗₊₁₊_𝑚₋₁2^𝑚⁻¹

= 1 2

𝑚−1

Õ

𝑖=0

𝑥_𝑗₊_𝑖2^𝑖−𝑥_𝑗

!

+𝑥_𝑗₊_𝑚2^𝑚⁻¹

= 1 2

𝑚

Õ

𝑖=1

𝑥_𝑗₊_𝑖₋₁2^𝑖−1−𝑥_𝑗

!

+𝑥_𝑗₊_𝑚2^𝑚−1

= 1 ˆ

𝑥(𝑗) −𝑥

+𝑥_𝑗+𝑚2^𝑚−1 .

(26)

2.18 Algorithmus

hÜberprüfung, ob Bitfolge𝑦₁· · ·𝑦_𝑚 in𝑥₁· · ·𝑥_𝑛vorkommti hAusgabe: erstes𝑗, wo das der Fall ist, oder−1sonst.i

𝑝 ← hPrimzahl kleiner oder gleich𝑛²𝑚ln𝑛²𝑚i hzufällig gleichverteilt aus diesen ausgewählt.i 𝑦 ← Í^𝑚

𝑖=1𝑦_𝑖2^𝑖−1 mod𝑝 𝑧 ←Í𝑚

𝑖=1𝑥_𝑖2^𝑖−1 mod𝑝 for 𝑗 ←1 to𝑛−𝑚do

if (𝑦 =𝑧)then

return𝑗 herste Stelle, an der „Übereinstimmung“i fi

(27)

Erste Beispiele

2.19 Satz

Algorithmus 2.18 liefert höchstens mit Wahrscheinlichkeit𝑂(1/𝑛)eine falsche Antwort.

(28)

2.20 Beweis

I Sei wieder𝑡 die obere Schranke des Intervalls, aus dem Primzahlen gewählt werden.

I Nach Satz 2.13 gibt es dort𝜋(𝑡) ∈ Θ(𝑡/ln𝑡)Primzahlen.

I WahrscheinlichkeitP(𝑦 mod𝑝 =𝑥(𝑗) mod𝑝 |𝑦 ≠𝑥(𝑗)), ist höchstens𝑂( ^𝑚

𝑡/ln𝑡),

I da|𝑦−𝑥(𝑗) |höchstens𝑚verschiedene Primteiler besitzt.

I Die Wahrscheinlichkeit für falsche Antwort,

weil an irgendeiner der𝑂(𝑛)Stellen der Test versagt, ist höchstens𝑂( ^𝑛𝑚

𝑡/ln𝑡).

(29)

Erste Beispiele

Randomisierter Quicksortalgorithmus

Überblick

Ein randomisierter Identitätstest Vergleich von Wörtern

(30)

2.21 Annahme

Alle Eingaben seien paarweise verschieden.

(31)

Erste Beispiele

2.22 Algorithmus

proc𝑅[1 . . . 𝑛] ←RandQuickSort(𝑆[1:𝑛])

hEingabe: ein Feld𝑆[1:𝑛] paarweise verschiedener Zahleni hAusgabe: ein Feld𝑅[1:𝑛]die Zahlen aus𝑆 sortierti hZwischenablage in Feldern𝑆₁und𝑆₂i

𝑖 ←random(1, 𝑛) hgleichverteilt Zahl aus[1 . . . 𝑛]i 𝑦 ←𝑆[𝑖]

𝑗₁ ←1; 𝑗₂ ←1;

for𝑖 ←1 to𝑛 do

if𝑆[𝑖] <𝑦then𝑆₁[𝑗₁] ←𝑆[𝑖];𝑗₁ ← 𝑗₁+1fi if𝑆[𝑖] >𝑦then𝑆₂[𝑗₂] ←𝑆[𝑖];𝑗₂ ← 𝑗₂+1fi od

returnRandQuickSort(𝑆₁[1: 𝑗₁−1]) ·𝑦·RandQuickSort(𝑆₂[1: 𝑗₂−1])

(32)

2.23 Eigenschaften

I Algorithmus 2.22 liefertimmer die korrekte Ausgabe I Wahl der𝑦beeinflusst Laufzeit (bei gleicher Eingabe):

I wenn z. B.𝑦immer das Minimum: LaufzeitΘ(𝑛²). I wenn z. B.𝑦immer der Median: LaufzeitΘ(𝑛log𝑛). I DieLaufzeitist hier also eineZufallsvariable.

I Was ist derErwartungswert der Laufzeit?

(33)

Erste Beispiele

2.24 Notation

I 𝑋_{𝑖 𝑗}: Zufallsvariable

𝑋_{𝑖 𝑗} =1, falls „zwei Zahlen“ miteinander verglichen werden 𝑋_{𝑖 𝑗} =0, falls nicht

I Beachte: Indizes in derResultatliste(sortierte Reihenfolge)

I Gesuchter Erwartungswert ist gleich E

"_𝑛−1 Õ

𝑖=1

Õ

𝑗>𝑖

𝑋_{𝑖 𝑗}

#

=

𝑛−1

Õ

𝑖=1

Õ

𝑗>𝑖

E 𝑋_{𝑖 𝑗}

I 𝑝_{𝑖 𝑗}: Wahrscheinlichkeit für Vergleich von𝑅[𝑖] und𝑅[𝑗], alsoE

𝑋_{𝑖 𝑗}

=1·𝑝_{𝑖 𝑗} +0· (1−𝑝_{𝑖 𝑗})=𝑝_{𝑖 𝑗}. I Die𝑝_{𝑖 𝑗} sindnichtalle gleich! (Indizierung in𝑅!)

(34)

Erste Beispiele

2.24 Notation

𝑋_{𝑖 𝑗} =1, falls𝑅[𝑖]und𝑅[𝑗]miteinander verglichen werden 𝑋_{𝑖 𝑗} =0, falls nicht

I Beachte: Indizes in derResultatliste(sortierte Reihenfolge) I Gesuchter Erwartungswert ist gleich

E

"_𝑛−1 Õ

𝑖=1

Õ

𝑗>𝑖

𝑋_{𝑖 𝑗}

#

=

𝑛−1

Õ

𝑖=1

Õ

𝑗>𝑖

E 𝑋_{𝑖 𝑗}

I

(35)

Erste Beispiele

2.24 Notation

𝑋_{𝑖 𝑗} =1, falls𝑅[𝑖]und𝑅[𝑗]miteinander verglichen werden 𝑋_{𝑖 𝑗} =0, falls nicht

I Beachte: Indizes in derResultatliste(sortierte Reihenfolge) I Gesuchter Erwartungswert ist gleich

E

"_𝑛−1 Õ

𝑖=1

Õ

𝑗>𝑖

𝑋_{𝑖 𝑗}

#

=

𝑛−1

Õ

𝑖=1

Õ

𝑗>𝑖

E 𝑋_{𝑖 𝑗}

I 𝑝_{𝑖 𝑗}: Wahrscheinlichkeit für Vergleich von𝑅[𝑖] und𝑅[𝑗], alsoE

𝑋_{𝑖 𝑗}

=1·𝑝_{𝑖 𝑗}+0· (1−𝑝_{𝑖 𝑗})=𝑝_{𝑖 𝑗}.

I nicht

(36)

2.26 Satz

Der Erwartungswert der Laufzeit vonRandQuickSortfür Eingaben der Länge𝑛ist in 𝑂(𝑛log𝑛).

(37)

Erste Beispiele

2.27 Beweis (1)

I Seien𝑖 und𝑗 (1 ≤𝑖 < 𝑗 ≤𝑛) beliebig.

I Betrachte binäre Bäume mit den zu sortierenden Zahlen als Knoten, die durch je eine Ausführung vonRandQuickSortwie folgt rekursiv festgelegt sind:

I Wurzel des Baumes: zufällig gewähltes Pivotelement𝑦.

I linker Teilbaum: rekursiv nach gleicher Regel ausRandQuickSort(𝑆₁[1: 𝑗₁−1]) und

I rechter Teilbaum: rekursiv nach gleicher Regel ausRandQuickSort(𝑆₂[1:𝑗₂−1]).

(38)

Erste Beispiele

2.27 Beweis (2)

I durchlaufe Baum

I beginnend bei der Wurzel,

I nacheinander absteigend jedes Niveau I jeweils von links nach rechts alle Knoten

I irgendwann erstmals Element𝑅[𝑘] mit𝑖 ≤ 𝑘 ≤ 𝑗 I hier Entscheidung,𝑅[𝑖] vor𝑅[𝑗]einzusortieren

miteinander verglichen. 2. 𝑖 <𝑘 < 𝑗, d. h.

I ein anderes Element ist Pivot

I 𝑅[𝑖]und𝑅[𝑗]werden nicht miteinander verglichen I kommen in verschiedene Teilbäume

I werden folglich auch später nie miteinander verglichen

(39)

Erste Beispiele

2.27 Beweis (2)

I durchlaufe Baum

I beginnend bei der Wurzel,

I nacheinander absteigend jedes Niveau I jeweils von links nach rechts alle Knoten

I irgendwann erstmals Element𝑅[𝑘] mit𝑖 ≤ 𝑘 ≤ 𝑗 I hier Entscheidung,𝑅[𝑖] vor𝑅[𝑗]einzusortieren I zwei Fälle:

1. 𝑘 =𝑖oder𝑘 = 𝑗, d. h.𝑅[𝑖] oder𝑅[𝑗]ist Pivotelement und die beiden werden miteinander verglichen.

2. 𝑖 <𝑘 < 𝑗, d. h.

I ein anderes Element ist Pivot

I 𝑅[𝑖]und𝑅[𝑗]werden nicht miteinander verglichen I kommen in verschiedene Teilbäume

(40)

2.27 Beweis (3)

I jedes (noch) mögliche Element gleichwahrscheinlich Pivot

I offensichtlich eines der 𝑗−𝑖+1Elemente𝑅[𝑖], . . . ,𝑅[𝑗]ausgewählt I Im betrachteten Schritt wird also gleichwahrscheinlich

I eines von𝑗 −𝑖+1Elementen ausgewählt und

I in zwei Fällen (𝑘=𝑖,𝑘 =𝑗) Vergleich von𝑅[𝑖]und𝑅[𝑗]

I Wahrscheinlichkeit für Vergleich von𝑅[𝑖]und𝑅[𝑗]:𝑝_{𝑖 𝑗} =2/(𝑗−𝑖+1).

(41)

Erste Beispiele

2.27 Beweis (4)

Also:

E

"𝑛−1

Õ

𝑖=1

Õ

𝑗>𝑖

𝑋_{𝑖 𝑗}

#

=

𝑛−1

Õ

𝑖=1

Õ

𝑗>𝑖

E 𝑋_{𝑖 𝑗}

=

𝑛−1

Õ

𝑖=1 𝑛

Õ

𝑗=𝑖+1

2 𝑗−𝑖+1

=

𝑛−1

Õ

𝑖=1 𝑛−𝑖+1

Õ

𝑘=2

2 𝑘

≤ 2

𝑛

Õ

𝑖=1 𝑛

Õ

𝑘=1

1 𝑘

=2𝑛𝐻_𝑛 .

𝑛-te harmonische Zahl:𝐻_𝑛 =Í^𝑛

𝑘=1 1

𝑘 =ln𝑛+Θ(1).

(42)

2.28

I Manche randomisierten Algorithmen liefern immer die richtige Antwort.

=⇒Las Vegas Algorithmen(sofern . . . )

I Manche randomisierten Algorithmen liefern manchmal eine falsche Antwort.

=⇒Monte Carlo Algorithmen

(43)

Erste Beispiele

Zusammenfassung

1. Randomisierte Algorithmen enthalten eine Zufallskomponente.

2. Das führt im Allgemeinen dazu, dass —selbst bei immer gleicher Eingabe— z. B. die Laufzeit eine randomisierten Algorithmus eine Zufallsvariable ist.

3. Manche randomisierten Algorithmen liefern immer das richtige Ergebnis.

4. Manche randomisierten Algorithmen liefern unter Umständen ein falsches Ergebnis.

Dann will man im Allgemeinen kleine Fehlerwahrscheinlichkeiten.