Usability

Da ein betr¨achtlicher Teil der Arbeit in die Verbesserung der Gebrauchstauglichkeit von Pro-spector geflossen war, wurde diese mit f¨unf der in in Abschnitt 2.3 genannten sechs Kriterien nach Jameson [Jam03] gepr¨uft.

Verst¨andlichkeit

Die Teilnehmer wurden gefragt, ob sie verst¨unden, wie Prospector funktioniert. Hierbei ergab sich ein wenig aussagekr¨aftiges Ergebnis: acht antworteten mit ja, drei mit eher ja, drei ver-standen Prospector nur teilweise und sieben gar nicht. Interessant ist auch der Hinweis einer

Person, es g¨abe zu viele Einstellm¨oglichkeiten. Dies deutet darauf hin, dass der Inhalt des Benutzermodells zwar klar ist, dessen Auswirkungen auf die Suchergebnisse jedoch nicht.

Ein ausgepr¨agteres Ergebnis ergab sich bei der Frage, ob es Teile oder Funktionen in Pro-spector gibt, die schwer zu verstehen seien: mehr als zwei Drittel (15) der Teilnehmer waren der Ansicht, dass dies nicht der Fall war. In zwei Kommentaren wurde die Bedienung als

”sehr intuitiv“ und

”selbsterkl¨arend“ bezeichnet. Konkrete Fragen gabe es danach, wie die Er-gebnisse klassifiziert werden, warum schlechtere ErEr-gebnisse geliefert werden, wenn doch auf bestehende Suchmaschinen zur¨uckgegriffen wird und erneut, warum keine deutschsprachigen Seiten priorisiert werden.

Berechenbarkeit

Wenig aussagekr¨aftig waren die Ergebnisse bei der Frage, ob die Teilnehmer der Meinung w¨aren, dass Prospector berechenbar arbeitet: f¨unf sagten ja, drei eher ja, einer teilweise, einer eher nein, vier nein und sieben gaben keine Antwort. Ein Teilnehmer gab konkret an, das Prinzip verstanden zu haben, aber nicht zu sehen, ob sich sein Profil in den Suchergebnis-sen widerspiegelt. Ein anderer sah die Einfl¨usse des Modells und des Profils nur manchmal gegeben.

Steuerbarkeit

Die Teilnehmer wurden gefragt, ob sie der Meinung seien, bei der Verwendung von Prospector die Kontrolle zu haben. Hier ergab sich ein leicht positives Ergebnis mit sechs ¨ Ubereinstim-mungen, drei Personen f¨ur eher ja, drei f¨ur teilweise, zwei f¨ur wenig und vier f¨ur nein bei drei Enthaltungen. Ein Teilnehmer relativierte dies mit

”bei den eingestellten Themen schon, au-ßerhalb der Einstellungen nicht“. Angemerkt wurde auch, dass die Suche nat¨urlich stark von der dahinterliegenden Quellsuchmaschine beeinflusst wird. Ein Teilnehmer meinte gar (leicht scherzend), er wolle gar keine Kontrolle, es solle einfach immer das richtige Suchergebnis kommen.

Unaufdringlichkeit

Befragt wurden die Teilnehmer auch, ob sie f¨anden, dass die Benutzung von Prospector viel Aufwand bedeutet. Jene, die dies bejahten, und jene, die es verneinten, hielten sich in etwa die Waage. Angesichts der in fr¨uheren Kapiteln erw¨ahnten Zur¨uckhaltung vieler Benutzer, mehr als nur das N¨otigste bei einer Suche aufzuwenden, ist dies eigentlich schon ein gutes Ergebnis.

Eine m¨ogliche Erkl¨arung, warum trotzdem rund die H¨alfte die Bedienung von Prospector als aufw¨andig betrachtete, ist, dass das System im Verh¨altnis dazu nicht jene guten Ergebnisse lieferte, die erwartet wurden. Konkret genannt wurden auch eine langsamere Antwortzeit,

mehr n¨otige Klicks im Vergleich zu Google, und auch, dass oft doppelt gesucht werden muss-te. Positiv zu sehen ist der Kommentar, dass die Bewertung keinen großen Zusatzaufwand darstellt, und die Einsicht, Prospector m¨usse halt erst

”angelernt“ werden.

Erlebnisreichtum

Geteilter Meinung waren die Studienteilnehmer bei der Frage, ob das System die Vielfalt der Suchergebnisse herabsetzt: acht meinten ja, zwei eher ja, einer eher nein und neun nein (eine Enthaltung). Anhand der Kommentare l¨asst sich erkennen, dass einige Teilnehmer fo-kussiertere Ergebnisse aber nicht als Einschr¨ankung sondern als w¨unschenswerte Eigenschaft verstanden. Prospector steuere schließlich ja auf bestimmte Interessen hin. Bem¨angelt wurde auch das Fehlen einer Bildersuche.

Privatheit

Das eindeutigste Ergebnis lieferte die Frage, ob die Verwendung von Prospector die Privat-sph¨are beeintr¨achigt: ¨uber 70% der Teilnehmer gaben an, dass sie nicht dieser Meinung seien.

Nur zwei waren anderer Meinung, und zwei meinten, dass dies nicht problematischer sei als bei anderen Diensten. Ein Teilnehmer meinte, dass eine große Menge pers¨onlicher Vorlieben gesammelt w¨urden, man aber dem Hersteller der Suchmaschine vertrauen m¨usse. Optimis-tisch gab sich ein anderer mit der Ansicht, die Einstellungen seien grunds¨atzlich f¨ur niemand anderen sichtbar bzw. nutzbar. Angesichts der klaren Darstellung der gesammelten Daten im Benutzermodell ist die insgesamte Einsch¨atzung der Teilnehmer aber ¨uberraschend.

Zusammenfassung und Ausblick

Personalisierte Suche ist in der Informatik ein aktuelles Thema. Dies beweisen nicht nur zahl-reiche wissenschaftliche Arbeiten sondern auch konkret im Einsatz befindliche Systeme. Vor diesem Hintergrund fand die in dieser Arbeit beschriebene Weiterentwicklung der personali-sierten Meta-Suchmaschine Prospector statt. Nach der Erstellung des ersten Prototypen und dessen starker Verbesserung in Bezug auf die Algorithmen zur Modellierung der Benutzerinter-essen und Personalisierung der Ergebnisreihenfolge stellt diese Version einen weiteren Schritt in Richtung bessere Ergebnisse und ansprechendere Bedienung dar.

8.1 Zusammenfassung

Ein Hauptziel der Entwicklung war die Schaffung einersoliden technologischen Basis f¨ur den Algorithmus von Prospector. Durch die Verwendung des Carrot²-Frameworks und damit zu-sammenh¨angender Entwicklungen konnte dies erreicht werden. Neben den klaren Strukturen f¨ur die Implementierung und Verbindung der einzelnen Teile des Prospector-Systems brachte dieser Schritt aber auch weitere Vorteile. So verf¨ugt Prospector nicht mehr nur ¨uber einen Zugriff auf die Suchergebnisse von Google, sondern auch von etlichen anderen aktuellen Such-maschinen.

Auch die Web-Oberfl¨ache von Carrot² sorgte f¨ur einen Qualit¨atssprung bei Prospector. Nun war es m¨oglich, die Klassifizierungen der einzelnen Ergebnisse hierarchisch darzustellen und zum Filtern zu verwenden. Die Evaluierung hat gezeigt, dass diese Funktionalit¨at von den Benutzern gesch¨atzt wird. Auf Basis der Web-Oberfl¨ache wurden die bisherigen M¨oglichkeiten, mit dem System zu interagieren, in zeitgem¨aßer Weise verbessert. Hierbei lag der Fokus vor allem auf der Vereinfachung f¨ur den Benutzer, wobei viele der Entscheidungen aufgrund der Ergebnisse der zweiten Evaluierung getroffen wurden.

Die Anzeige der Relevanzen wurde derart gestaltet, dass die Benutzer nicht mit internen Wer-ten des Systems konfrontiert sind. Dieser Ansatz wurde auch erfolgreich bei den Dialogen der Gruppen-Affinit¨aten und dem Benutzermodell umgesetzt. Schieberegler wurden durchge-hend verwendet und anstelle von numerischen Werten wurde auf eine einfach zu verstedurchge-hende Skala mit farblicher Unterst¨utzung zur¨uckgegriffen. Durch den Einsatz von Dialogen anstelle

ganzer Webseiten konnten in diesem Fall und auch bei Login, Logout und Registrieren eine benutzerfreundlichere Bedienung geschaffen werden.

Eine weitere wichtige ¨Anderung ist die M¨oglichkeit, nun direkt in der Ergebnisliste positiv und negativ zu bewerten. Aufgrund diverser Probleme mit dem Bewertungsbereich ¨uber den angezeigten Seiten in der zweiten Version wurde auf diesen nun verzichtet. Stattdessen wer-den die Benutzer bei der R¨uckkehr zur Ergebnisliste visuell auf die M¨oglichkeit zu Bewerten aufmerksam gemacht. Ebenfalls neu ist die dynamische Umreihung der Ergebnisse nach Grup-penmodellen, ohne die komplette Seite neu laden zu m¨ussen. F¨ur moderne Browser erm¨oglicht die nun verf¨ugbare OpenSearch-Definition zudem das Suchen direkt aus dessen Suchfeld her-aus, wie man es von der dort standardm¨aßig eingestellten Suchmaschine Google kennt.

Doch nicht nur an der Oberfl¨ache gab es Weiterentwicklungen bei Prospector. Auch der Algo-rithmuswurde verbessert und kann nun eine beliebige Zahl von Themen, in denen ein Ergebnis klassifiziert ist, sowohl beim Berechnen der Relevanz als auch beim Bewerten verarbeiten. Zu-vor wurde eine nicht immer funktionierende Heuristik zum Ermitteln des wichtigsten Themas verwendet. F¨ur die Berechnung der Relevanz werden die Gewichtungen der einzelnen Klassi-fizierungen nun mit der Gruppen-Affinit¨at gewichtet, zur endg¨ultigen Relevanz aufsummiert und somit die Interessen des Benutzers auch an dieser Stelle mit einbezogen.

Eine sehr wichtige Neuerung ist auch, dass die originale Reihenfolge der Ergebnisse st¨arker in die Reihung einfließt. Zuvor war die Reihung einzig von der berechneten Relevanz abh¨ an-gig, was zu einem sprunghaften Verhalten bez¨uglich der R¨ange einzelner Ergebnisse f¨uhren.

Durch die Ber¨ucksichtigung der originalen Reihenfolge wurde ein feiner abgestuftes Verhalten erreicht werden. Große Spr¨unge einzelner Ergebnisse in der Liste, sofern diese nicht durch das Benutzermodell gerechtfertigt sind, werden verhindert.

Eine der wichtigsten nicht-funktionalen Verbesserungen betrifft die Verarbeitungsgeschwindig-keit. Hier konnten die Flaschenh¨alse des Systems durch umfangreiche Profiling-Maßnahmen erfolgreich erkannt und mit gezielten Optimierungen behoben werden. Wo Prospector mit Antwortzeiten von einer halben Minute und mehr nicht in der Praxis einsetzbar w¨are, pr¨ a-sentiert das System nun nach durchschnittlich drei bis vier Sekunden ein Ergebnis und steht somit anderen Suchmaschinen um nichts nach.

Ebenfalls weiterentwickelt wurde dieSystem¨uberwachung und -protokollierung. Sie erm¨oglicht nun f¨ur Zwecke der Evaluierung die genaue Verfolgung alle Aktionen im System, egal ob sie Interaktionen von Benutzern oder die Ver¨anderungen in Modellen betreffen. Durch den nunmehrigen Einsatz einer Datenbank als Speicherort f¨ur die Protokolle liegen diese sofort in einer strukturierten und durchsuchbaren Weise vor. Besonderes Augenmerk wurde auch darauf gelegt, dass das System nicht durch die Protokollierung verlangsamt wird.

Um die gesamten Verbesserungen zu testen, wurde eine Evaluierung der neuen Version von Prospector durchgef¨uhrt. Im Gegensatz zu bisherigen Studien fand diese ¨uber einen l¨angeren Zeitraum im realen, allt¨aglichen Einsatz statt. Dabei zeigten sich sowohl positive als auch negative Ergebnisse. Als besonders positiv wurden die Qualit¨at der Benutzermodellierung

und Punkte der Gebrauchstauglicheit und Bedienfreundlichkeit hervorgehoben. Negativ wirk-te sich aus, dass die originalen Suchergebnisse auf Englische Benutzer zugeschnitwirk-ten waren und im Gegensatz zu Google keine Einschr¨ankung auf deutschsprachige Inhalt m¨oglich war.

Dieses Manko, gepaart mit kleineren Defiziten in der Reihung, ließ die Teilnehmer weiterhin ihre bisherige Suchmaschine Google favorisieren. Gl¨ucklicherweise sind viele der angesproche-nen Schwachstellen technisch nicht allzu schwer l¨osbar. Positiv ist auch, dass in der zweiten Evaluierung genannte Probleme fast ¨uberhaupt nicht mehr auftraten.