11 Nutzer-Präferenzen in Abhängigkeit vom Nutzungsszenario
11.2 Erste Datenerhebung
11.2.3 Formulierung der Aufgaben
• Casual Leisure: Non-‐‑work Wikipedia tasks [Elsweiler et al., 2011] und [Lindley et al., 2012] Non-‐‑information focused, hedonistic, serendipitous discovery. Dabei defi-‐‑
nieren Elsweiler und Wilson wesentliche Punkte dieses Aufgabentyps: Die Mo-‐‑
tivation zur Suche entsteht in diesem Fall weniger aus einem konkreten, spezi-‐‑
fizierten Informationsbedürfnis sondern zum Beispiel durch den Wunsch, die eigene Stimmung zu verbessern. Der Erfolg eines casual-‐‑leisure Suchtasks ist dementsprechend auch nicht unbedingt abhängig davon, ob eine bestimmte In-‐‑
formation gefunden wurde oder nicht, sondern entsprechend subjektiv (siehe dazu auch nibs im Kontextmodell).
11.2.3 Formulierung der Aufgaben
Bei der Formulierung der Tasks, die der Nutzer zu Studienzwecken ausführte, waren im Vorfeld einige Punkte zu berücksichtigen. Dazu finden sich Hinweise bei Borlund und Schneider [Borlund und Schneider, 2010] und [Borlund, 2000]. Das von den Auto-‐‑
ren dort beschriebene Konzept der simulated work task situation [Borlund, 2000] zielt vor allem auf Authentizität und eine sinnvolle Messbarkeit der subjektiven Zufriedenheit der Nutzer mit einem System und den erhaltenen Informationen ab.
In ihrem Konzept zur Evaluierung von Information Retrieval Interaction [Borlund, 2000]
liefert die Autorin ein Modell, das Vorschläge dazu macht, wie ein Information Ret-‐‑
rieval System sinnvoll und realistisch evaluiert werden kann. Dafür konzentrieren sich auch Borlund und Ingwersen [Borlund und Ingwersen, 1997] vor allem auf drei Kom-‐‑
ponenten:
1) „the involvement of potential users as test persons;
2) the application of individual and potentially dynamic information need interpreta-‐‑
tions; and
3) the assignment of multidimensional and dynamic relevance judgements“
[Borlund und Ingwersen, 1997, S.19]
Entscheidend für die Anwendung dieser Vorgehensweise ist, dass so der Nutzer selbst in die Entstehung einer Suchaufgabe mit eingebunden wird. Seine persönlichen Fakto-‐‑
ren wie die kognitive Struktur und seine emotionale Lage sind damit Teil der Interpre-‐‑
tation. Die verschiedenen Dimensionen, die sein Relevanzurteil beeinflussen können werden so berücksichtigt [Borlund und Ingwersen, 1997]. Der Suchtask wird dazu in eine cover story eingebettet. [Borlund, 2000] beschreibt zwei Bedingungen, die ein simu-‐‑
liertes Szenario erfüllen muss:
1) Es muss eine Situation gegeben sein, die das Bedürfnis nach Information aus-‐‑
löst bzw. ein Bedürfnis schafft, das eine Suche (mit dem Ziel einer veränderten Wissensstruktur) auslöst.
2) Die gesuchte Information muss irgendwo vorhanden sein und vom User wahrgenommen werden können, zum Beispiel in einem Informationssystem, mit dem der User interagieren kann.
Bei der Formulierung der Tasks dieser Arbeit ist weiterhin zu berücksichtigen, dass für die Bearbeitung der Aufgaben ausschließlich die deutschsprachige Wikipedia verwen-‐‑
det wird. Die gesuchten Informationen müssen also dort zu finden sein.
Weiterhin stellen Borlund und Ingwersen [Borlund und Ingwersen, 1997, S.81] in Fra-‐‑
ge, ob es sinnvoll ist, neben der cover story überhaupt noch eine zusätzliche, konkrete Fragestellung (indicative request) zu präsentieren. Beschreibt man nur eine Situation, dann bestimmt der Nutzer das Informationsbedürfnis, das daraus entsteht. Borlund konzentriert sich bei ihren Ausführungen auf work-‐‑based Szenarios. Deshalb wurde in dieser Arbeit bei der Aufgabenstellung bewusst auf eine ausformulierte, direkt gestell-‐‑
te Frage verzichtet, um – trotz Labortest – die Nutzeraktionen so natürlich wie möglich zu halten.
In einem Punkt allerdings unterscheiden sich die hier formulierten Tasks von den Empfehlungen Pia Borlunds (v.a. [Borlund, 2000]), denn es werden zeitliche Restrikti-‐‑
on für die Bearbeitung der Aufgaben gegeben. Das ist in diesem Fall notwendig, um erstens eine einigermaßen einheitliche Suchzeit bei allen Probanden zu erhalten und zweitens die Probanden dahingehend etwas „unter Druck“ zu setzen, damit diese sich wirklich auf die von ihnen als wesentlich wahrgenommenen Inhaltselemente konzent-‐‑
rieren. Denn Pre-‐‑Tests45 zeigten, dass ohne Zeitlimit die Probanden versucht waren, den entsprechenden Wikipedia-‐‑Artikel einfach „von Anfang bis Ende“ durchzulesen. Das entspricht zwar vermutlich auch einem von vielen realistischen Nutzungsszenarios, hier war es aber wichtig, dass die Nutzer selektiv vorgehen [Dervin, 1992], um zu er-‐‑
kennen, welche Inhalte konkret bei den verschiedenen Suchaufgaben bevorzugt wur-‐‑
den.
Die exploratory search bzw. casual-‐‑leisure Aufgaben mussten mit dem Ziel, ein von Inte-‐‑
resse geleitetes Stöbern auszulösen, formuliert werden. Kules und Capra [Kules und Capra, 2009] beschreiben die Schwierigkeiten bei der Erstellung solcher Aufgaben vor allem darin, dass das explorative Vorgehen eigentlich nur ein Ziel auf oberster Eben ist.
Die konkreten Gründe für diese Art von Suche sind, wie [Elsweiler et al., 2011; Elswei-‐‑
ler und Wilson, 2010] zeigen, unterschiedlich. Generell ist davon auszugehen, dass eine explorative Suche ein eher unklares Ziel hat und auf der Verfolgung von bestimmte Interessens-‐‑ und Entdeckungspfaden und/oder dem Serendipity-‐‑Effekt basiert [Mar-‐‑
chionini, 2006].
Im vorliegenden Versuchsaufbau wird als exploratives Vorgehen ein vom Interesse geleitetes Stöbern in den Inhalten der Wikipedia definiert, dessen erklärtes Ziel es ist, einen vom Versuchsleiter vorgegebenen Zeitraum zu überbrücken.
Durch die randomisierte Reihenfolge der Suchaufgaben (um Lerneffekte zu vermeiden nach [Bortz, 2001]) fiel die Möglichkeit weg, die Versuchspersonen z.B. zu Beginn des Tests einige Minuten „warten“ zu lassen (z.B. unter dem Vorwand, den Eyetracker
45 Das Experimentdesign wurde vor dem Beginn der eigentlichen Datenerhebung getestet.
kalibrieren zu müssen) und ihr dabei zum Zeitvertreib die deutschsprachige Wikipedia anzubieten.
Die Themen und Formulierung der Aufgaben wurden so gewählt, dass sie erstens möglichst ohne Vorwissen verständlich und bearbeitbar waren, zweitens aber nicht so allgemein gestaltet, dass kein authentisches Suchbedürfnis mehr ausgelöst werden kann. Bei der Informationssuche in der Wikipedia sind Aufgaben vorstellbar, die nur anhand mehrerer Artikel gelöst werden können. Da hier auch die Reihenfolge, in der die jeweiligen Artikel studiert werden eine Rolle spielen könnte bzw. der Fokus neben der Auswahl der entsprechenden Inhaltselemente auch auf die Suche nach den ent-‐‑
sprechenden Artikeln fallen könnte, wurden für diese Arbeit Aufgabenstellungen ge-‐‑
wählt, die anhand eines Artikels bearbeitbar waren (nicht gültig für die Aufgaben vom Typ casual-‐‑leisure).
In beiden Studien gelang es, verständliche Themen von allgemeinem Interesse zu fin-‐‑
den. Das zeigte sich vor allem darin, dass während der Tests keine Nachfragen kamen und die Probanden schnell und zielsicher begannen, sich zu informieren. Bei der Erfas-‐‑
sung des jeweiligen Interesses und der Vorkenntnis zu den Themen zeigten sich keine extremen Verteilungen (siehe dazu Anhang 5.1), im Mittel war die Vorkenntnis eher niedrig mit einem Wert von 2,14 von max. fünf Punkten, das Interesse an den Aufga-‐‑
benthemen zeigte einen Mittelwert von 3,19 (n= 103, nur learn und look up Aufgaben, da bei der freien Suche keine festen Themen vorgegeben waren).
Die Probanden wurden zusätzlich gebeten, zu bewerten, als wie realistisch sie die Aufgabenstellung einschätzten. Hier ergab sich über das gesamte erste Experiment ein Mittelwert von 3,85 (max. fünf Punkte möglich, n = 103). Es wurde auch hier nur bei den look up und learn Aufgaben nachgefragt, da die Aufgabenstellung für die casual-‐‑
leisure Aufgaben keine Szenario sondern nur eine Anweisung enthielt. Die Grafik in Abbildung 11-‐‑11 zeigt, dass die Aufgabenstellungen als relativ realistisch eingeschätzt wurden ( L1, L2 und LE 1 50%-‐‑ Perzentil bei vier von fünf möglichen Punkten, LE2 bei drei). Realistische Aufgabenstellungen sind die Grundlage für valide Daten.
Abbildung 11-11 Angaben der Nutzer, wie realistisch sie die Aufgabenstellung einschätzten