Probabilistisches Schließen über die Zeit
Hartmut Messerschmidt
Übersicht
• Kurze Wiederholung
• Teil 1
• Hidden Markov Modelle (HMM)
• Zeit und Unsicherheit
• Zustände und Beobachtungen
• Stationäre Prozesse und die Markov Assumption
• Inferenzen in temporalen Modellen
• Filtering and Prediction
• (Smoothing)
Inferenzen: Kolmogorov’s Axiome der Wahrscheinlichkeit
Axiome der Wahrscheinlichkeitstheorie:
=> A.N. Kolmogorov (1903-1987), 1933, Springer-Verlag, Heidelberg
(Quelle: http://de.wikipedia.org/wiki/Bild:Kolm_lect_prep.jpg)
Axiom 1:
0 P(A) 1
Axiom 2:
P(Tautologie) = 1 P(Kontradiktion) = 0
Axiom 3:
P(A B) =
P(A) + P(B) - P(A B)
Bedingte Wahrscheinlichkeit
P(G) = 0.02 P(K) = 0.10
P(K|G) : Wahrscheinlichkeit kolossal viel Bier getrunken zu haben, wenn man gesteigerten Hunger hat.
K
G
Bayes’sche Regel
P(A,B) P(A|B) P(B) P(B|A) = --- = --- P(A) P(A)
Bayes, Thomas (1763) An essay
towards solving a problem in the doctrine of chances. Philosophical Transactions of the Royal Society of London, 53:370- 418
1. Wahrheitstafel mit allen
möglichen Ausgängen (bei n Boolschen Variablen sind das 2
nZeilen).
2. Für jede Kombination kann/muss man die
Wahrscheinlichkeit angeben.
3. Um eine Wahrscheinlichkeits- verteilung zu haben, muss die Summe 1 ergeben.
A B C Prob
0 0 0 0.30
0 0 1 0.05
0 1 0 0.10
0 1 1 0.05
1 0 0 0.05
1 0 1 0.10
1 1 0 0.25
1 1 1 0.10
A
B
0.05
C
0.25
0.10 0.05 0.05
0.10
0.10 0.30
The Joint Probability Table
Der Naïve Bayes Klassifikator
Annahme: Alle Attribute sind unabhängig.
i
i class x
P class
P class
P ( , x ) ( ) ( | )
Wahrscheinlichkeiten in Naïve Bayes
Maximum a posteriori Wahrscheinlichkeit (MAP)
i
i class x
P class
P ( , x ) ( | )
Wahrscheinlichkeiten in Naïve Bayes
Maximum Likelihood Schätzung (MLE)
Übersicht
• Kurze Wiederholung
• Teil 1
• Hidden Markov Modelle (HMM)
• Zeit und Unsicherheit
• Zustände und Beobachtungen
• Stationäre Prozesse und die Markov Assumption
• Inferenzen in temporalen Modellen
• Filtering and Prediction
• (Smoothing)
Bedingte Wahrscheinlichkeit
P(G) = 0.02 P(K) = 0.10
P(K|G) : Wahrscheinlichkeit Kolossal viel Bier getrunken zu haben, wenn man gesteigerten Hunger hat.
K
G
Andrei Andrejewitsch Markov
• 14(2). Juni 1856 – 20 Juli 1922
• Verschiedene Transliterationen
• Markov / Markow / Markoff
• Untersuchte Buchstabensequenzen in der russischen Literatur
=> Nachweis der Unabhängigkeit für das Gesetz der grossen Zahlen
• Stochastischer Markov-Prozess
=> wichtige Grundlage für alle
folgenden Ansätze
Andrei Andrejewitsch Markov
• Markov-Prozess:
• Zählen der Häufigkeiten von Kopf und Zahl beim Münzwurf (diskreter Markov- Prozess)
• Markov-Ketten (n-ter Ordnung)
• Beispiel: ,,Random Walk‘‘ um einen Kreis
• P(X
t+1|X
t, X
t-1, …, X
0)
• P(X
t+1|X
t, …, X
t-n+1) (Markov-Kette n-ter Ordnung)
• P(X
t+1|X
t) (Markov-Kette 1-ter
Ordnung)
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
sonnig
stürmisch
verregnet bewölkt
verschneit
Diskrete Markov-Prozesse
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
a
5/1a
1/1a
2/1a
2/2a
3/3a
4/4a
5/5a
5/4a
4/5a
1/4a
3/5a
1/3a
3/2a
4/3S
1S
3S
5S
4S
2a
5/1a
1/1a
2/1a
2/2a
3/3a
4/4a
5/5a
5/4a
4/5a
1/4a
3/5a
1/3a
3/2a
4/3• Gegeben eine Menge von Zuständen S
1,S
2,…,S
n(hier mit N=5)
• Es handele sich um Markov-Ketten erster Ordnung:
P(q
t=S
j|q
t-
1=S
i, q
t-
1=S
j,…) = P(q
t=Sj|q
t-1=S
i)
• Entsprechend gelte für die state transitions:
a
ij=P(q
t=S
j|q
t-1=S
i) mit 1 ≤ i,j ≤ N
• Ferner gelte für die Transitionen:
1. a
ij≥0
2. 1
1 N j
a
ijVon Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
• Gegeben
• drei Zustände
• S1=Regen
• S2=bewölkt
• S3=Sonne
• transition probabilities
• Gesucht: Wahrscheinlichkeit für Sequenz: => Sonne, Sonne, Sonne, Regen, Regen, Sonne, bewölkt, Sonne O={S3,S3,S3,S1,S1,S3,S2,S3}
8 . 0 1 . 0 1 . 0
2 . 0 6 . 0 2 . 0
3 . 0 3 . 0 4 . 0 } {aij A
Von Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
• Gegeben
• drei Zustände
• S1=Regen
• S2=bewölkt
• S3=Sonne
• transition probabilities
• Gesucht: Wahrscheinlichkeit für Sequenz: => Sonne, Sonne, Sonne, Regen, Regen, Sonne, bewölkt, Sonne O={S3,S3,S3,S1,S1,S3,S2,S3}
8 . 0 1 . 0 1 . 0
2 . 0 6 . 0 2 . 0
3 . 0 3 . 0 4 . 0 } {aij A
P(O|Model) = P[S3,S3,S3,S1,S1,S3,S2,S3 | Model]
= P[S3] * P[S3|S3] * P[S3|S3] * P[S1|S3] * P[S1|S1] * P[S3|S1] * P[S2|S3] * P[S3|S2]
=
3* a
33* a
33* a
11* a
13* a
32* a
23
= 1 * (0.8) * (0.8) * (0.1) * (0.4) * (0.3) * (0.1) * (0.2) = 1.536*10-4
= 0.0001536 = 0,015%
Hier wurde die Anfangswahrscheinlichkeit für Sonne auf Eins festgesetzt!
Von Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
1 2
P(H) 1-P(H) 1-P(H)
P(H)
Heads Tails
(Münzwurf mit einer Münze)
Von Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
1 2
P(H) 1-P(H) 1-P(H)
P(H)
Heads Tails
(Münzwurf mit einer Münze)
1 2
a11 1-a11 a22
1-a22
(Münzwurf mit zwei Münzen)
Von Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
1 2
P(H) 1-P(H) 1-P(H)
P(H)
Heads Tails
(Münzwurf mit einer Münze)
1 2
a11 1-a11 a22
1-a22
(Münzwurf mit drei Münzen)
1 2
a11 a12 a22
a21
(Münzwurf mit zwei Münzen)
a13 a31 a23 a32
a33 3
Von Diskreten Markov-Prozessen zu Hidden Markov Modellen (HMM)
Das erklärt sich viel besser mit Würfeln!
Hidden Markov Modelle
Hidden Markov Modell (HMM) besteht aus folgenden
Komponenten:
1. ,,N‘‘
• Anzahl der Zustände (z.B. die Würfel)
• Zustände sind vollständig oder auch unvollständig verknüpft,
• S={S1,…Sn} 2. ,,M‘‘
• Anzahl der beobachtbaren Zustände (z.B. Augenzahl)
• V={v1,..,vm} 3. ,,A‘‘
• Transitionswahrscheinlichkeiten
• A={aij} mit aij=P(qt+1=Sj|qt=Si), mit 1≤ i,j, ≤ N.
• Vollständig verknüpft, aij>0 für alle i,j.
4. Beobachtungswahrscheinlichkeits- verteilung, B = {bj(k)} wobei j einen Zustand bezeichnet
• bj(k) = P(vk at t|qt=Sj) mit 1≤ j ≤ n und 1≤ k ≤ m.
5. Initiale Wahrscheinlichkeitsverteilung
•
i=P(q
1=S
i)
HMM=<N,M,A,B,
i>
Hidden Markov Modelle
Aufgaben:
• Gegeben eine Beobachtungssequenz O und ein entsprechendes
probabilistisches Modell – wie
berechnet man die Wahrscheinlichkeit der Beobachtungs-Sequenz?
• Gegeben eine Beobachtungssequenz O – wie sieht die wahrscheinlichste korrespondierende Zustands-Sequenz aus?
• Wie berechnet man das probabilistische Modell?
• ……
Stärken/Schwächen:
• Positiv:
• Hochgradig flexibel
• Modelle können sowohl gelernt als auch empirisch erstellt werden
• Sind für viele Anwendungen sehr effizient
• Schwäche:
• Beschränkte handhabbare Komplexität
• Modelle werden durch fehlende Unabhängigkeitsannahme schnell sehr groß
Hidden Markov Modelle
Aufgaben:
• Gegeben eine Beobachtungssequenz O und ein entsprechendes
probabilistisches Modell – wie
berechnet man die Wahrscheinlichkeit der Beobachtungs-Sequenz?
• Gegeben eine Beobachtungssequenz O – wie sieht die wahrscheinlichste korrespondierende Zustands-Sequenz aus?
• Wie berechnet man das probabilistische Modell?
• ……
Stärken/Schwächen:
• Positiv:
• Hochgradig flexibel
• Modelle können sowohl gelernt als auch empirisch erstellt werden
• Sind für viele Anwendungen sehr effizient
• Schwäche:
• Beschränkte handhabbare Komplexität
• Modelle werden durch fehlende Unabhängigkeitsannahme schnell sehr groß
S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
a
5/1a
1/1a
2/1a
2/2a
3/3a
4/4a
5/5a
5/4a
4/5a
1/4a
3/5a
1/3a
3/2a
4/3S
1S
3S
5S
4S
2Diskrete Markov-Prozesse
a
5/1a
1/1a
2/1a
2/2a
3/3a
4/4a
5/5a
5/4a
4/5a
1/4a
3/5a
1/3a
3/2a
4/3Übersicht
• Kurze Wiederholung
• Teil 1
• Hidden Markov Modelle (HMM)
• Zeit und Unsicherheit
• Zustände und Beobachtungen
• Stationäre Prozesse und die Markov Assumption
• Inferenzen in temporalen Modellen
• Filtering and Prediction
• (Smoothing)
Hidden Markov Models Machine Learning
Methodische Integration
• ,,Shakey‘‘ (SRI 1966 - 1972)
• Idee: Intelligenter, integrierter, autonomer mit seiner Umwelt interagierender pysikalischer Roboter
• Sense - Plan – Act
Neue Lösungen: STRIPS, …
Probleme: Dynamik der Umwelt, …
• RoboCup (1993)/1997 - 2050 (?)
• Zusammenführung von Lösungen aus:
• Vision,
• Robotics,
• AI,
• MAS
• …
2050
1950 2000
DARPA Grand Challenge
Sandstorm Standley
Zeit und Unsicherheit
• Motivation:
• Beispiel Insulin-Kranker:
• Gegeben: Blutzucker- und Insulinspiegel
• Gesucht: Essens-Ration, Insulinmenge
=> Vorhersage der Zukunft auf der Basis vergangener Informationen
• Zustände, Sequenzen und Beobachtungen:
• Zeit wird interpretiert als eine diskrete Sequenz von Zuständen
• Beobachtbare vs. nicht beobachtbare Zustände
• Nicht-beobachtbare Zustände: X
t(ein einzelner Zustand X
t)
• Beobachtbare Zustände: E
tmit den Werten e
t(alle Werte e
t)
• Intervalle: X
a:bbezeichnet im Zeit-Intervall von: a bis b
Zeit und Unsicherheit
• Motivation: Aufstehen oder nicht?
• Situation:
(a) Ich liege im Bett.
(b) Der Wecker klingelt.
(c) S-Bahn bracht 10 Minuten länger als Fahrrad.
(d) Ich habe keine Lust bei Regen Fahrrad zu fahren.
=> Kann ich noch mal auf den Summer drücken OHNE zu spät zur Uni zu kommen?
• Der beobachtbare Zustand E
t:
• Freundin ist gerade MIT Schirm aus dem Haus gegangen
• Der nicht-beobachtbare Zustand X
t:
• Es regnet nicht?
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle:
(1) Transitionsmodell:
P(X
t|X
0:t-1)
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle:
(1) Transitionsmodell: (2) Sensormodell
P(X
t|X
0:t-1) P(E
t|X
0:t,E
0:t-1)
Zeit und Unsicherheit
Rt-2 P(R) true 0.7 false 0.3
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Zeit und Unsicherheit
Rt-1 P(R) true 0.7 false 0.3
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Zeit und Unsicherheit
Rt P(R) true 0.7 false 0.3
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Zeit und Unsicherheit
Rt+1 P(R) true 0.7 false 0.3
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Zeit und Unsicherheit
Rt+2 P(R) true 0.25 false 0.75
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Rt+1 P(R) true 0.7 false 0.3
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Rt+3 P(R) true 0.25 false 0.75
Zeit und Unsicherheit
R P(R) true 0.7 false 0.3
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer)
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t Regen t+1 Regen t+2 Rt P(R)
true 0.25 false 0.75
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t Regen t+1 Regen t+2 Rt P(R)
true 0.25 false 0.75
R0 R… Rt-2 Rt-1 P(Rt)
… … true true 0.4
… …
true false 0.15… … false true 0.25
… … false false 0.2
… … … … …
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2 R0 R… Rt-2 Rt-1 P(Rt)
… … true true 0.4
… … true false 0.15
… … false true 0.25
… … false false 0.2
… … … … …
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
... ...
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Lösung 2: Markov-Assumption (first order)
=> nur der letzte vergangene Zustand spielt eine Rolle!
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2 Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Problem 1: Über die Zeit variierende Wahrscheinlichkeiten
Lösung 1: => Annahme stationärer Prozesse (=> NICHT statischer) Problem 2: Komplexe bedingte Abhängigkeiten
Lösung 2: Markov-Assumption (first order)
=> nur der letzte vergangene Zustand spielt eine Rolle!
Lösung 3: Markov-Assumption (second order)
=> nur die letzten beiden vergangenen Zustände spielen eine Rolle!
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2 Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle:
(1) Transitionsmodell: (2) Sensormodell
P(X
t|X
0:t-1) => P(X
t|X
t-1)
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle: Markov-Annahme erster Ordnung
(1) Transitionsmodell: (2) Sensormodell
P(X
t|X
0:t-1) => P(X
t|X
t-1) P(E
t|X
0:t,E
0:t-1) => P(E
t|X
t)
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle:
(1) Transitionsmodell: (2) Sensormodell
P(X
t|X
t-1) P(E
t|X
t)
Zeit und Unsicherheit
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Schirm t-2 Schirm t-1 Schirm t Schirm t+1 Schirm t+2
Zwei Wahrscheinlichkeitsmodelle:
(1) Transitionsmodell: (2) Sensormodell
P(X
t|X
t-1) M E R K E N P(E
t|X
t)
Übersicht
• Kurze Wiederholung
• Teil 1
• Hidden Markov Modelle (HMM)
• Zeit und Unsicherheit
• Zustände und Beobachtungen
• Stationäre Prozesse und die Markov Assumption
• Inferenzen in temporalen Modellen
• Filtering and Prediction
• (Smoothing)
• Teil 2
• Complex Decison Making - ,,Markov Decison Processes‘‘ (MDP)
• Unsicherheit in Entscheidungsprozessen
Inferenzen in temporalen Modellen
Filtering/Monitoring:
Anfrage: P(Xt|e1:t)
Prediction:
Anfrage: P(Xt+k|e1:t)
Smoothing/Hintsight:
Anfrage: P(Xk|e1:t), mit 0 ≤ k ≤ t
Most Likely Explanation:
Anfrage: argmaxx1:t P(X1:t|e1:t)
Inferenzen in temporalen Modellen
Filtering/Monitoring:
Anfrage: P(Xt|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es regnet, gegeben dass jedes mal beobachtet werde konnte, wann ein/der Regenschirm mitgenommen wurde?
Prediction:
Anfrage: P(Xt+k|e1:t)
Smoothing/Hintsight:
Anfrage: P(Xk|e1:t), mit 0 ≤ k ≤ t
Most Likely Explanation:
Anfrage: argmaxx1:t P(X1:t|e1:t)
Inferenzen in temporalen Modellen
Filtering/Monitoring:
Anfrage: P(Xt|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es regnet, gegeben dass jedes mal beobachtet werde konnte, wann ein/der Regenschirm mitgenommen wurde?
Prediction:
Anfrage: P(Xt+k|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es übermorgen regnet, gegeben ich habe bislang immer beobachten können, wann ein Schirm
mitgenommen wurde?
Smoothing/Hintsight:
Anfrage: P(Xk|e1:t), mit 0 ≤ k ≤ t
Most Likely Explanation:
Anfrage: argmaxx1:t P(X1:t|e1:t)
Inferenzen in temporalen Modellen
Filtering/Monitoring:
Anfrage: P(Xt|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es regnet, gegeben dass jedes mal beobachtet werde konnte, wann ein/der Regenschirm mitgenommen wurde?
Prediction:
Anfrage: P(Xt+k|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es übermorgen regnet, gegeben ich habe bislang immer beobachten können, wann ein Schirm
mitgenommen wurde?
Smoothing/Hintsight:
Anfrage: P(Xk|e1:t), mit 0 ≤ k ≤ t Beispiel: Wie wahrscheinlich ist es, dass es vorgestern regnet hat,
gegeben dass bis heute beobachtet werde konnte, wann ein/der
Regenschirm mitgenommen wurde?
Most Likely Explanation:
Anfrage: argmaxx1:t P(X1:t|e1:t)
Inferenzen in temporalen Modellen
Filtering/Monitoring:
Anfrage: P(Xt|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es regnet, gegeben dass jedes mal beobachtet werde konnte, wann ein/der Regenschirm mitgenommen wurde?
Prediction:
Anfrage: P(Xt+k|e1:t)
Beispiel: Wie wahrscheinlich ist es, dass es übermorgen regnet, gegeben ich habe bislang immer beobachten können, wann ein Schirm
mitgenommen wurde?
Smoothing/Hintsight:
Anfrage: P(Xk|e1:t), mit 0 ≤ k ≤ t Beispiel: Wie wahrscheinlich ist es, dass es vorgestern regnet hat,
gegeben dass bis heute beobachtet werde konnte, wann ein/der
Regenschirm mitgenommen wurde?
Most Likely Explanation:
Anfrage: argmaxx1:t P(X1:t|e1:t)
Beispiel: Was ist die beste Erklärung dafür, dass von Dienstag bis
Donnerstag der Schirm mitgenommen wurde, gegeben ich habe bislang
immer beobachten können, wann ein Schirm mitgenommen wurde?
Filtering und Prediction
Rekursive Abschätzung:
Die Idee: P(Xt+1|e1:t+1) = f(et+1,P(Xt|e1:t)) Die Herleitung:
P(Xt+1|e1:t+1) = P(Xt+1|e1:t,et+1) => einfache Unformung
= αP(et+1|Xt+1,e1:t) P(Xt+1|e1:t) => Anwendung von Bayes
= αP(et+1|Xt+1) P(Xt+1|e1:t) => Anwendung der Unabhängig- keitsannahme
auf die Beobachtungen e1:t = αP(et+1|Xt+1) ∑Xt P(Xt+1|xt, e1:t)P(xt|e1:t) => Konditionierung mit xt
= αP(et+1|Xt+1) ∑Xt P(Xt+1|xt)P(xt|e1:t) => Anwendung der Unabhängig- keitsannahme
auf die Beobachtungen e1:t
Filtering und Prediction
Rekursive Abschätzung:
Die Idee: P(Xt+1|e1:t+1) = f(et+1,P(Xt|e1:t)) Die Herleitung:
P(Xt+1|e1:t+1) = P(Xt+1|e1:t,et+1) => einfache Unformung
= αP(et+1|Xt+1,e1:t) P(Xt+1|e1:t) => Anwendung von Bayes
= αP(et+1|Xt+1) P(Xt+1|e1:t) => Anwendung der Unabhängig- keitsannahme
auf die Beobachtungen e1:t = αP(et+1|Xt+1) ∑Xt P(Xt+1|xt, e1:t)P(xt|e1:t) => Konditionierung mit xt
= α P(Et+1|Xt+1) ∑Xt P(Xt+1|Xt)P(xt|e1:t) => Anwendung der Unabhängig- keitsannahme
auf die Beobachtungen e1:t Transitionsmodell
Sensormodell
Filtering und Prediction
Rekursive Abschätzung:
Die Idee: P(X
t+1|e
1:t+1) = f(e
t+1,P(X
t|e
1:t))
Verwendung:
f
1:t+1= α FORWARD(f
1:t,e
t+1)
FORWARD(f
1:t,e
t+1) implementiert: αP(e
t+1|X
t+1) ∑
XtP(X
t+1|x
t)P(x
t|e
1:t)
Regen 1 Regen t-2 Regen t-1 Regen t Regen t+1
Filtering und Prediction
Rekursive Abschätzung:
Die Idee: P(X
t+1|e
1:t+1) = f(e
t+1,P(X
t|e
1:t))
Verwendung:
f
1:t+1= α FORWARD(f
1:t,e
t+1)
FORWARD(f
1:t,e
t+1) implementiert: αP(e
t+1|X
t+1) ∑
XtP(X
t+1|x
t)P(x
t|e
1:t)
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2 Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Filtering und Prediction
Rekursive Abschätzung:
Beispiel:
Tag 1:
P(R1) = ∑r0 P(R1|r0) P(r0) Die Wahrscheinlichkeit, dass es = <0.7, 0.3> * 0.5 + <0.3, 0.7> * 0.5 an Tag 1 geregnet hat ….
= <0.5, 0.5>
P(R1|u1) = αP(u1|R1) P(R1) Die Wahrscheinlichkeit, dass es = α <0.9,0.2> <0.5,0.5> an Tag 1 geregnet hat, gegeben wir = α <0.45, 0.1> haben den Regenschirm mitgehen ~ <0.818, 0.182> sehen…
R
t-1P(R
t) t 0.7 f 0.3
R
tP(U
t)
t 0.9
f 0.2
Filtering und Prediction
Rekursive Abschätzung:
Beispiel:
Tag 2:
P(R2|u1) = ∑r1 P(R2|r1) P(r1|u1) Die Wahrscheinlichkeit, dass es = <0.7, 0.3> * 0.818 + <0.3, 0.7> * 0.182 an Tag 2 geregnet hat, gegeben wir
~ <0.627, 0.373> haben den Regenschirm am ersten Tag
mitgehen sehen…
P(R2|u1,u2) = α P(u2|R2) P(R2|u1) Die Wahrscheinlichkeit, dass es
= α <0.9,0.2> <0.627, 0.373> an Tag 2 geregnet hat, gegeben wir = α <0.565, 0.075> haben den Regenschirm am ersten
~ <0.883, 0.117> und zweiten Tag gesehen…
R
t-1P(R
t) t 0.7 f 0.3
R
tP(U
t)
t 0.9
f 0.2
Filtering und Prediction
Rekursive Abschätzung:
Die Idee: P(X
t+1|e
1:t+1) = f(e
t+1,P(X
t|e
1:t))
Verwendung:
f
1:t+1= α FORWARD(f
1:t,e
t+1)
FORWARD(f
1:t,e
t+1) implementiert: αP(e
t+1|X
t+1) ∑
XtP(X
t+1|x
t)P(x
t|e
1:t)
Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2 Regen t-2 Regen t-1 Regen t Regen t+1 Regen t+2
Smoothing
Vorhersage der Vergangenheit:
P(X
k|e
1:t) = P(X
k|e
1:k,e
k+1:t), mit 1<k<t
= αP(X
k|e
1:k)P(e
k+1:t|X
k,e
1:k) Bayes‘sche Regel
= αP(X
k|e
1:k)P(e
k+1:t|X
k) Unabhängigkeitsannahme e
1:t= α f
1:k, b
k+1:tmit b
k+1:t=P(e
k+1:t|X
k)
Teil1: f1:t+1 = α FORWARD(f1:t,et+1) => αP(et+1|Xt+1) ∑Xt P(Xt+1|xt)P(xt|e1:t)
Regen k-2 Regen k-1 Regen k Regen k+1 Regen k+2
Smoothing
Rekursive Abschätzung:
P(X
k|e
1:t) = P(X
k|e
1:k,e
k+1:t)
= αP(X
k|e
1:k)P(e
k+1:t|X
k,e
1:k) Bayes‘sche Regel
= αP(X
k|e
1:k)P(e
k+1:t|X
k) Unabhängigkeitsannahme e
1:t= α f
1:k, b
k+1:tmit b
k+1:t=P(e
k+1:t|X
k)
Teil1: f1:t+1 = α FORWARD(f1:t,et+1) => αP(et+1|Xt+1) ∑Xt P(Xt+1|xt)P(xt|e1:t)
Regen k-2 Regen k-1 Regen k Regen k+1 Regen k+2
Smoothing
Teil 2:
P(e
k+1:t|X
k) =
∑Xk+1
P(e
k+1:t|X
k, x
k+1)P(x
k+1|X
k)
Konditionierung mit (X
k+1) =
∑ Xk+1
P(e
k+1:t|x
k+1)P(x
k+1|X
k) Markov Annahme
=
∑ Xk+1
P(e
k+1,e
k+2:t|x
k+1)P(x
k+1|X
k) Einfache Aufteilung
=
∑ Xk+1
P(e
k+1|x
k+1) P(e
k+2:t|x
k+1)P(x
k+1|X
k) Unabhängigkeit
Regen k-2 Regen k-1 Regen k Regen k+1 Regen k+2
Smoothing
Teil 2:
P(e
k+1:t|X
k) =
∑Xk+1
P(e
k+1:t|X
k, x
k+1)P(x
k+1|X
k)
Konditionierung mit (X
k+1) =
∑ Xk+1
P(e
k+1:t|x
k+1)P(x
k+1|X
k) Markov Annahme
=
∑ Xk+1
P(e
k+1,e
k+2:t|x
k+1)P(x
k+1|X
k) Einfache Aufteilung
=
∑ Xk+1
P(e
k+1|x
k+1) P(e
k+2:t|x
k+1)P(x
k+1|X
k) Unabhängigkeit =
∑ Xk+1
P(e
t+1|X
t+1) P(X
t+1|x
t) P(e
k+2:t|x
k+1)
Regen k-2 Regen k-1 Regen k Regen k+1 Regen k+2
Markov-Update (Filtering) - Anwendungen
• Lokalisierungs-Problemklassen:
1. Positiontracking
2. Globale Lokalisierung
3. Kidnapped-Robot
(nach Thrun, 2000)• Problem: unvollständige, verrauschte Sensordaten
• Lösung: Lokalisierung mit probabilistischen Methoden
• (Erweiterte) Kalman-Filter-basierte Verfahren (EKF)
• Monte-Carlo Lokalisierung (MCL)
(Schematische Darstellung der Monte Carlo-Lokalisierung) (Schematische Darstellung der Kalman-Filter-Lokalisierung)