Modellvergleich

54 Tabelle 8.

Beschreibung des probTTB in Pseudocode.

Algorithmus 2 Entscheidungsprozess für die Probabilistische Take-the-best-Heuristik.

1: For 1:N Teilnehmende

2: Bestimmung von Feature-Gewichten aufgrund ihrer Präferenzen 3: Repeat

4: Sampling eines Features mit Erfolgswahrscheinlichkeit entsprechend seines Gewichts 5: Prüfung der Diskriminierungsfähigkeit des gesampleten Features

6: Until Feature kann zwischen Optionen diskriminieren

7: Option mit höherem Präferenzwert für diskriminierendes Feature wählen

4.3.5. Begründung der Auswahl von Alternativmodellen

Die Take-the-best-Heuristik wurde als Grundlage zweier Alternativmodelle einbezogen, da sie ähnlich wie die bayesianischen Modelle RPM und detBayes in deterministischer (detTTB) und probabilistischer Variante (probTTB) existiert. So unterscheiden sich die vier Modelle auf zwei Dimensionen: der Anzahl der entscheidungsrelevanten Aspekte und der Art ihrer Entscheidungsregel. In der Literatur zu Privatsphärenforschung ist es zudem üblich, bayesianische und heuristische Ansätze zumindest verbal-theoretisch gegenüberzustellen und dabei auf psychologische Entscheidungsforschung zu verweisen (Acquisti, 2004). Jedoch wurde bislang meines Wissens nach keine Formalisierung beider Ansätze unternommen, was dazu führt, dass ohne weitere Spezifikationen auf der algorithmischen Ebene von deterministischem Verhalten des modellierten Agenten ausgegangen werden muss. Dieser Aspekt dürfte weder von Fürsprechern noch Gegnern bayesianisch motivierter Entscheidungstheorie in der Privatsphärenforschung als realistisch betrachtet werden. Die Aufnahme der deterministischen Alternativmodelle dient in dieser Arbeit dem Zweck, die Konsequenzen eines Mangels an algorithmischer Spezifikation aufzuzeigen. Im weiteren Kontext bayesianischer kognitiver Modelle unterstreicht die Strenge der deterministischen Entscheidungsregeln ebenso die Notwendigkeit, Modellverhalten auf der algorithmischen Ebene zu spezifizieren.

55

und probTTB eine visuell glockenförmige Verteilung über die möglichen Verhältnisse von Nutzungs- und Nichtnutzungsentscheidungen. Die deterministischen Modelle konnten aufgrund ihrer Funktionsweise hingegen nur eine Erfolgswahrscheinlichkeit von 0% oder 100% vorhersagen, was dazu führt, dass die gesamte Wahrscheinlichkeitsmasse ihrer Vorhersagen auf exakt einem Verhältnis von Nutzungs- und Nichtnutzungsentscheidungen liegt. Demnach schrieben die deterministischen Modelle allen anderen möglichen Entscheidungsverhältnissen eine Wahrscheinlichkeitsmasse von 0 zu. Diese Problematik war in einem Fall nicht nur auf die deterministischen Modelle beschränkt. Für den ersten Stimulus der zweiten Studie lag die Vorhersage von probTTB so weit von der empirischen Beobachtung entfernt, dass es dem beobachteten Verhältnis ebenfalls eine Wahrscheinlichkeitsmasse von 0 zuschrieb. Einen Bayes Factor zu berechnen, wenn die Modell-Likelihood eines der beteiligten Modelle gleich 0 ist, könnte aufgrund der arithmetisch undefinierten Division durch 0 auf Kritik stoßen. Da der Bayes Factor für die relative Vorhersagequalität der Modelle genutzt wird und ein Modell mit einer Likelihood von 0 einem Modell mit einer Likelihood von mehr als 0 unterlegen ist, verfahre ich hier nach den implementierten Berechnungsregeln in R und behandle das Ergebnis als positiv unendlich.

Somit wird ein solcher Bayes Factor zugunsten des Modells mit Likelihood über 0 ausgelegt.

Die Abbildungen 7 bis 11 zeigen eine grafische Übersicht der Vorhersagen aller Modelle sowie des empirisch beobachteten Entscheidungsverhältnisses für jeden Stimulus. Auf der x-Achse ist dabei die Anzahl an Entscheidungen für die Nutzung einer App abgetragen. Die y-Achse zeigt die Wahrscheinlichkeitsdichte für diese Anzahl an Entscheidungen unter Annahme einzelner Modelle. Die empirisch beobachteten Nutzungsentscheidungen sind als schwarze vertikale Linie in den Abbildungen eingetragen. Dabei fällt mit Ausnahme von Abbildung 11 auf, dass alle Modelle die Anzahl an Nutzungsentscheidungen überschätzt haben. Je höher die Wahrscheinlichkeitsmasse der jeweiligen Modelle an diesen Punkten ist, desto genauer ist deren Vorhersage. Für die numerische Interpetation der Bayes Factors übernehme ich die konventionelle Interpretation von Jeffreys (1998), die in Kapitel 2 eingeführt wurde. Wie in Abbildung 11 zu sehen ist, hat detTTB mit seiner Vorhersage für das Nutzungsverhalten der zweiten App der zweiten Studie das exakte empirisch beobachtete Verhältnis getroffen. In allen anderen Modellvergleichen schreiben die deterministischen Modelle der empirischen Beobachtung eine Wahrscheinlichkeitsmasse von 0 zu und die Vergleiche bevorzugen daher die probabilistischen Modelle, unabhängig von ihrer eigentlichen Distanz zur empirischen Beobachtung. Für die besagte zweite App der zweiten Studie resultiert ein Vergleich des RPM mit dem detTTB in einem Bayes Factor von 0.09, während der Vergleich zwischen probTTB und detTTB einen Bayes Factor von 0.05 ergibt. Beide Fälle legen eine bessere Vorhersage des detTTB nahe. Alle anderen Vergleiche zwischen einem probabilistischen und einem deterministischen Modell bevorzugen das probabilistische Modell mit einem positiv unendlichen Bayes Factor. Die Vergleiche zwischen RPM und probTTB für alle App-Stimuli sind mit ihrer zugehörigen Interpretation in Tabelle 9 zu finden. Zusätzlich zum Modellvergleich über Bayes Factors zeigt Tabelle 10 die Rate korrekter Klassifizierungen für die deterministischen Modelle. Über alle Stimuli gemittelt liegt die Rate korrekter Klassifizierungen, also von Treffern und korrekten Ablehnungen, bei 62.85% für detTTB und 66.86% für detBayes. Da die probabilistischen Modelle keine Klassifizierungen im üblichen Sinne treffen, sondern proportional zu ihren Wahrscheinlichkeiten beide Entscheidungsoptionen pro Studienteilnehmenden zulassen, können ihre Vorhersagen nicht entsprechend des Klassifikationssystems in Tabelle 10 interpretiert werden.

56

Abbildung 7. Modellvorhersagen und empirische Beobachtung der Anzahl an Nutzungsentscheidungen für den ersten Stimulus aus Studie 1.

Abbildung 8. Modellvorhersagen und empirische Beobachtung der Anzahl an Nutzungsentscheidungen für den zweiten Stimulus aus Studie 1.

Abbildung 9. Modellvorhersagen und empirische Beobachtung der Anzahl an Nutzungsentscheidungen für den dritten Stimulus aus Studie 1.

57

Abbildung 10. Modellvorhersagen und empirische Beobachtung der Anzahl an Nutzungsentscheidungen für den ersten Stimulus aus Studie 2.

Abbildung 11. Modellvorhersagen und empirische Beobachtung der Anzahl an Nutzungsentscheidungen für den zweiten Stimulus aus Studie 2.

Tabelle 9.

Bayes Factors für den Modellvergleich zwischen RPM und probTTB für alle Stimuli. Die Bayes Factors nutzen die marginale Likelihood des RPM im Zähler.

Stimulus Bayes Factor Evidenzniveau

Studie 1, App 1 0.43 Keine gerichtete Evidenz

Studie 1, App 2 354153.40 Extreme Evidenz für RPM

Studie 1, App 3 51809.12 Extreme Evidenz für RPM

Studie 2, App 1 +∞ Extreme Evidenz für RPM

Studie 2, App 2 1.87 Anekdotische Evidenz für RPM

58 Tabelle 10.

Klassifikationsergebnisse der Modelle detBayes und detTTB aggregiert über alle Stimuli (in Prozent, gerundet auf ganze Zahlen).

Modell Treffer Verpasser Falsche Alarme Korrekte Ablehnungen

detBayes 32% 6% 27% 35%

detTTB 26% 12% 25% 37%