im Internet zur Analyse unterschiedlicher WWW- Site-Strukturen
Olaf Wenzel
Dezember 1998
Inhaltsverzeichnis
1. Fragestellung und Hypothesen...1
2. Experimenteller Aufbau und Ablauf des Experiments...3
3. Technische Realisation...5
4. Eine erste Version des Experiments...7
4.1 Aufgabenstellungen ...7
4.1.1 Fan informiert sich über Band (Aufgabe 1)...7
4.1.2 Bandmanager informiert sich über Dienstleistungsangebot (Aufgabe 2)8 4.1.3 Konzertveranstalter hat Terminprobleme (Aufgabe 3)...8
4.2 Test-Site: Das Angebot der fiktiven Konzertagentur IN CONCERT ...8
4.2.1 Hierarchische Relation...9
4.2.2 Assoziationsrelation...10
4.2.3 Navigationsrelation ...11
4.2.4 Drei Testsite-Versionen (experimenteller Stimulus)...12
4.3 Abschließende Befragung der Testpersonen...12
4.3.1 Desorientierung ...12
4.3.2 Wahrgenommenes Image von IN CONCERT ...13
4.3.3 Internetnutzung und Einstellung zum Internet...13
5. Pre-Test...14
5.1 Durchführung ...14
5.2 Möglichkeiten der Datenanalyse und erste Ergebnisse...15
5.2.1 Auswertung des Zugriffsprotokolls ...15
5.2.1.1 Abruf relevanter Informationen...17
5.2.1.2 Muster der Informationssuche ...20
5.2.2 Auswertung der Befragung...21
5.2.2.1 Einfluß der empfundenen Desorientierung auf das wahrgenommene Image von IN CONCERT ...21
5.2.2.2 Abhängigkeit der Desorientierung von Testsite-Version und Aufgabenstellung...23
5.4 Konsequenzen für das Feldexperiment ...24
6. Ausblick ...26
Abbildungsverzeichnis:
Abb. 1.1: Kausaler Einfluß unterschiedlicher Site-Strukturen auf Desorientierung
und wahrgenommenes Image ...2
Abb. 2.1: Schematischer Ablauf des Experiments ...3
Abb. 3.1: Client, Server und die CGI-Schnittstelle...5
Abb. 4.2.1.1: Hierarchische Relation ...10
Abb. 4.2.2.1: Assoziationsrelation ...11
Abb. 4.2.3.1: Navigationsrelation (ständig sichtbare Buttonleiste) ...11
Abb. 5.2.1.1.1: Punkte in Abhängigkeit von Informationsabrufen, Site und Aufgabe (korrigierte Beta-Koeffizienten) ...20
Abb. 5.2.2.1.1: Regression von Image auf Desorientierung (Lineares Strukturgleichungsmodell mit standardisierten Koeffizienten) ...22
Tabellenverzeichnis
Tab. 4.2.4.1: Struktureller Aufbau der experimentellen Sites ...12Tab. 5.1.1: Herkunft der Zugriffe auf die Testsite ...14
Tab. 5.1.2: Häufigkeitsverteilung von Testsite und Aufgabenstellung...14
Tab. 5.2.1.1: Auszug aus dem Logfile ...16
Tab. 5.2.1.1.1: Punkteverteilung für den Abruf relevanter Informationen ...17
Tab. 5.2.1.1.2: ANOVA Punktzahl in Abhängigkeit der Testsite ...18
Tab. 5.2.1.1.3: MCA Punktzahl in Abhängigkeit der Testsite ...18
Tab. 5.2.1.1.4: MCA ZEILEN in Abhängigkeit von Testsite und Aufgabe ...19
Tab. 5.2.2.2.1: ANOVA: Desorientierung in Abhängigkeit von Test-Site, Aufgabe und Internet-Erfahrung (kovariierende Variable) ...23
Tab. 5.2.2.2.2: MCA Desorientierung in Abhängigkeit von Test-Site, Aufgabe und Internet-Erfahrung (kovariierende Variable)...24
1. Fragestellung und Hypothesen
Die zentrale Arbeitshypothese dieser Untersuchung betrifft den Einfluß der Struktur des Informationsangebotes auf das vom Nutzer der WWW-Site wahrgenommene Image des Informationsanbieters. Der unterstellte kausale Zusammenhang lautet:
Eine optimale Struktur des Informationsangebotes wirkt sich günstig (= verringernd) auf die empfundene Desorientierung des Nutzers aus. Je geringer die empfundene Desorientierung des Nutzers ist, desto positiver wird das Image des Informationsanbieters wahrgenommen (vgl. Abb. 1.1).
Desorientierung (”user‘s disorientation”, vgl. z.B. McDonald, Stevenson 1996) ist ein theoretisches Konstrukt, daß im Rahmen der Erforschung des Navigationsverhaltens in unterschiedlich strukturierten Hypertext-Sytemen eine wesentliche Rolle spielt. Es handelt sich um eine Form von Orientierungslosigkeit, welche die Nutzer von Hypertextsystemen während der Informationssuche empfinden.
Ein wesentlicher Grund für den Internetauftritt eines Unternehmens scheint in der angestrebten Verbesserung des Unternehmensimages zu liegen (”Online-Prä- senz trifft den Zeitgeist”) - auch ohne daß es einen weiteren konkreten Nutzen (z.B. im Sinne eines weiteren Absatzkanals etc.) für das Unternehmen gibt. Diese Vermutung wird gestützt durch eine eigene qualitative Vorstudie (Wenzel 1998)1, in der sich achtzehn professionelle Web-Designer unter anderem zu den Beweg- gründen der Unternehmen äußerten, sich im Internet zu präsentieren. Durch die Dokumentation der Aufgeschlossenheit gegenüber neuen Technologien erhoffen sich die Unternehmen (nach Ansicht der befragten Web-Designer) positive Effekte auf die Wahrnehmung als kompetente Geschäftspartner.
Diese (angenommene) positive Wirkung auf das Image des Unternehmens wird m.E. verstärkt, wenn sich die Nutzer auf den Internetseiten des Anbieters gut zurechtfinden und ohne Schwierigkeiten die Informationen finden, die sie gesucht haben.
Weiterhin wird in diesem Experiment angenommen, daß die Desorientierung auch von der Erfahrung des Nutzers im Umgang mit dem Internet abhängt.
Erfahrene Nutzer sollten weniger zur Orientierungslosigkeit neigen als unerfahrene Nutzer. Die Interneterfahrung soll ebenso wie die generelle Einstellung zur Nutzung des Internets als Drittvariable kontrolliert werden.
1 Wenzel, Olaf (1998): Web-Designer über Regeln des Web-Designs. Zusammenfassung der Ergebnisse einer qualitativen Vorstudie unter 18 Web-Designern, interner Arbeitsbericht, Wuppertal, Mai 1998.
(http://wwcont.wiwi.uni-wuppertal.de/kappelhoff/webdesign.pdf)
Disorientierung Image des Informationsanbieters optimale Struktur des
Informationsangebotes
Verlauf der Informationssuche (typische Suchmuster)
empfundene Disorientierung
(Likert-Skala) experimenteller Stimulus:
WWW-Sites mit
unterschiedlichen Strukturen
wahrgenommenes Image (Likert-Skala)
- -
-
Einstellung zum Internet Interneterfahrung
-
Abb. 1.1: Kausaler Einfluß unterschiedlicher Site-Strukturen auf Desorientierung und wahrgenommenes Image
Eine weitere wichtige Einflußgröße auf die Wahrnehmung des Images eines An- bieters ist das Design der Site. Um den Einfluß der Struktur des Informationsan- gebotes unabhängig vom Design untersuchen zu können, wird das Design im Rahmen des Experiments konstant gehalten.
2. Aufbau und Ablauf des Experiments
Nach Eingabe der Internetadresse der Testsite2 erscheint zunächst eine Begrü- ßungsseite, die Zweck, Ablauf und Hintergrund des Experiments erläutert. Die Besucher haben hier die Möglichkeit, am Experiment teilzunehmen oder bereits an dieser Stelle mangels Interesse den Testlauf abzubrechen. Zu diesem Zeitpunkt werden noch keine Daten erhoben.
Wenn eine Testperson am Experiment teilnehmen will (und den entsprechenden Button auf der Einstiegsseite gedrückt hat) erscheint eine Aufgabenstellung, be- stimmte Informationen auf der folgenden Testsite zu suchen. Nach einer weiteren Bestätigung (Button ”Start”) erscheint die eigentliche Testsite. Wenn die Aufgabe nach Auffassung des Teilnehmers gelöst ist, wird der Testdurchlauf durch das Anklicken des Buttons ”Fertig” beendet und es wird abschließend eine Befragung durchgeführt. Abbildung 2.1 verdeutlicht diesen Ablauf im Detail.
Begrüßung, Einführung in den Test
Aufgabenstellung
PERL-Skript ordnet per Zufall eine der drei Aufgaben und eine der drei Test-Sites zu
Lösung der Aufgabe durch Surfen auf der Test-Site
Abschließende Befragung
PERL-Skripte zeichnen die einzelnen Useraktionen auf
PERL-Skripte verarbeitet den ausgefüllten Fragebogen Möglichkeit
zum Abbruch
Abb. 2.1: Schematischer Ablauf des Experiments
Nachdem der Teilnehmer seine Bereitschaft erklärt hat, an dem Experiment teil- zunehmen, wird (für den Teilnehmer nicht sichtbar) ein Perl-Skript3 ausgeführt, daß per Zufall eine von drei Aufgaben und eine von drei Testsite-Versionen aus- wählt. Gleichzeitig erhält der Teilnehmer eine eindeutige Codenummer (ID), die
2 Interessierte können das Experiment im Internet nach wie vor aufrufen unter der Adresse:
http://wwka04.wiwi.uni-wuppertal.de/webtest.html
3 Perl ist eine Programmiersprache, die in ihrer Syntax C++ ähnlich ist, jedoch in einigen Details ein- facher zu erlernen ist und nicht zwingend objektorientierten Programmierstil voraussetzt. Weitere Details folgen in Abschnitt 3.
im weiteren Verlauf ermöglicht, die aufgezeichneten Aktionen den Testpersonen zuzuordnen. Das Perl-Skript erzeugt aufgrund dieser Angaben die Testaufgabe, die im Browser des Befragten angezeigt wird.
Sobald der Proband in die Testsite eingestiegen ist und versucht seine Aufgabe zu lösen, werden alle Zugriffe auf die Informationseinheiten der Testsite aufgezeichnet. Auch hierzu werden Perl-Skripte verwendet.
Nachdem die Informationssuche beendet wurde, erscheint (in drei Teilen) ein Fragebogen, der online ausgefüllt werden soll. Die hiermit erhobenen Daten werden ebenfalls auf dem Testrechner gespeichert.
Das Experiment endet mit einer Danksagung und der Möglichkeit, per E-Mail An- merkungen oder Anregungen zum Experiment zu geben.
3. Technische Realisation
Um den technischen Hintergrund des Experiments zu verdeutlichen, wird in der folgenden Abbildung 3.1 das Zusammenspiel zwischen WWW-Server und WWW- Browser (=Client)4 dargestellt.
Der Client ist der WWW-Browser des Internetnutzers. Der Anwender gibt eine Internetadresse ein oder klickt auf einen Link und der Browser fordert nun Daten von dem adressierten WWW-Server an. Der Server erhält die Anfrage des Clients und stellt die Daten bereit. Diese Daten werden im Browser des Users (grafisch aufgearbeitet) dargestellt. Jeder Zugriff eines Clients auf den Server wird vom Server in einem Logfile gespeichert.5 Um Zugriff auf diesen Logfile zu haben, habe ich einen eigenen WWW-Server eingerichtet.
Client (=User) WWW-BROWSER
WWW-SERVER
Internet
protokolliert den Zugriff
erzeugt die angeforderte
HTML-Seite PERL-Skript
wertet Parameter- übergabe aus
CGI-Schnittstelle
- Aufgabenstellung?
- Version der Testsite?
- IP-Adresse - Zugriffszeit - Aufgabenstellung - Version der Testsite - Referer
fordert Seite an
liefert Seite
Abb. 3.1: Client, Server und die CGI-Schnittstelle
Aufgrund der Einträge im Logfile läßt sich nun (im Prinzip) der Verlauf der Infor- mationssuche der User nachvollziehen. In der Praxis ist das jedoch nicht ohne
4 WWW-Browser sind Programme wie z.B. Netscape, Internet Explorer oder Mosaic, die den HTML- Code der Dokumente in hochauflösende Grafik übersetzen.
5 Die dabei anfallenden Daten sind vielfältig: IP-Adresse des Clients, Zugriffszeit, abgerufene Infor- mation, Herkunft des Zugriffs, verwendeter Browser usw.
weiteres möglich, da nicht jede angeforderte Information tatsächlich vom Server abgerufen werden muß.
Dieses Problem geht zurück auf das sog. Caching, also das temporäre Speichern einmal abgerufener Informationen. Zum einen verwendet jeder Browser diese Funktion, d.h. einmal angezeigte Internetseiten werden auf der Seite des Clients lokal für einen gewissen Zeitraum gespeichert. Zweitens verwenden alle Provider6 sog. Proxy-Server, die zwischen Clients und Internet den gesamten Datenfluß für eine (meist kurze) Zeit zwischenspeichern. Wenn nun ein Teilnehmer des Experiments eine Information zum zweiten Mal anfordert, ist die Wahrscheinlichkeit hoch, daß diese Anfrage gar nicht zum Testserver durchgereicht wird, sondern entweder aus dem lokalen Cache des Browsers oder aus dem Cache des Proxy-Servers bedient wird. Folglich ist auch keine Protokollierung des Zugriffs möglich und damit ist auch der Verlauf der Informationssuche nicht mehr nachzuvollziehen.
Dieses Problem ist nur mit erhöhtem technischen Aufwand zu umgehen. Eine Schlüsselstelle spielt in diesem Zusammenhang die CGI-Schnittstelle7 des WWW- Servers. Über diese Schnittstelle kann der WWW-Server auf Anforderung des Cli- ents Programme aufrufen, deren Output dann wieder über dieselbe Schnittstelle an den Client zurück geliefert wird.8 Wenn der Output die Form von HTML- Quellcode9 hat, so wird dieser Code im Browser des Clients wieder wie eine ganz normale HTML-Seite dargestellt. Der Unterschied liegt also auf der Seite des Servers nur darin, daß die abgerufene Information nicht bereits fertig auf der Festplatte liegt, sondern erst zum Zeitpunkt der Abfrage dynamisch erzeugt wird. Der Client bemerkt normalerweise keinen Unterschied.
Um das Problem des Caching zu lösen, können in dynamisch erzeugtem HTML- Code für den User nicht sichtbare Kopfzeilen (Header) eingebaut werden, die den Browser und den Proxy-Server veranlassen, die abgerufene Information nicht zu speichern, so daß diese Information bei jedem neuen Aufruf wieder vom WWW- Server bereitgestellt werden muß. Damit steht der exakten Protokollierung der Informationssuche nichts mehr im Wege - solange Browser und Proxy-Server die Header richtig verarbeiten (vgl. dazu auch die Darstellung technischer Probleme in 5.1).
6 Provider sind die Institutionen, die den Zugang zum Internet bereitstellen. Dies können Universitä- ten oder private Unternehmen, genauso wie die bekannten Online-Dienste T-Online, AOL oder Com- puserve o.a. sein.
7 CGI = common gateway interface
8 In diesem Experiment werden dazu Perl-Skripte verwendet. Perl eignet sich besonders gut dazu, Operationen von CGI-Schnittstellen zu programmieren. Die Perl-Programme müssen vorab nicht kompiliert werden, sondern werden als Skripte vom Perl-Interpreter auf Anforderung abgearbeitet.
Neben der dynamischen Erzeugung des Outputs zeichnen die Perl-Skripte auch die User-Aktionen auf (siehe auch Abb. 3.1).
9 HTML ist eine Computersprache, mit der die Formatierung der Internetseiten festgelegt wird.
4. Eine erste Version des Experiments
Für das Experiment wurde eine kommerzielle Internet-Site eines fiktiven Unter- nehmens in unterschiedlichen Versionen konstruiert. Den Testpersonen werden zu Beginn des Experiments Informationsretrieval-Aufgaben gestellt, die im Laufe des Experiments gelöst werden sollen.
Als fiktives Unternehmen, dessen Internetangebot im Verlauf des Experiments untersucht werden soll, wurde die Konzertagentur IN CONCERT erfunden. Das Angebot dieser Agentur teilt sich auf in zwei Dienstleistungsbereiche (vgl. auch 4.2):
• Das Tournee-Management von Musikgruppen.
• Fan-Informationen rund um die Tournee der von IN CONCERT betreuten Musikgruppen.
Die potentiellen Nutzer des Internetangebotes von IN CONCERT sind also einerseits Bands oder Bandmanager, die sich über eine mögliche Zusammenarbeit mit der Agentur informieren wollen, andererseits Fans, die Informationen über ihre favorisierten Bands einholen wollen. Das Unternehmen IN CONCERT wurde bewußt so konstruiert, daß dessen Internetangebot unterschiedliche Zielgruppen bedienen soll, da dadurch je nach Perspektive des Nutzers unterschiedliche Teilbereiche des Informationsangebotes relevant werden. Auch in der Praxis stehen die Unternehmen als Informationsanbieter vor dem Problem, Informationen für unterschiedliche Interessenten in ihrem Internetangebot unterzubringen. Die zu Beginn des Testdurchlaufs präsentierten Aufgabenstellungen versetzen die Probanden des Experiments in unterschiedliche Perspektiven: Fan, Bandmanager, Konzertveranstalter. Die Perspektive des Konzertveranstalters ist die Perspektive einer Person, die nicht zu den Zielgruppen der Agentur gehört. Es ist zu erwarten (und hat sich bestätigt), daß die mit dieser Perspektive verbundene Aufgabenstellung entsprechend schwieriger zu lösen ist.
4.1 Aufgabenstellungen
4.1.1 Fan informiert sich über Band (Aufgabe 1)
"Blues Breaker" in Concert
Ihre Lieblingsgruppe "Blues Breaker" ist zur Zeit auf Deutschlandtournee. Sie möchten die Band endlich einmal live erleben und sind auf der Suche nach Konzertkarten. Die Konzert- agentur IN CONCERT organisiert die aktuelle "Blues Breaker"-Tournee.
Ihre Aufgaben:
• Finden Sie heraus, wann und wo "Blues Breaker" in Deutschland auftritt!
• Buchen Sie zwei Tickets für ein "Blues Breaker"-Konzert in Ihrer Nähe!
• Informieren Sie sich über "Blues Breaker"-Fanartikel!
4.1.2 Bandmanager informiert sich über Dienstleistungs- angebot (Aufgabe 2)
"Beat Boys" auf Tour
Sie sind Manager der Rockgruppe "Beat Boys" und planen gerade die Concert-Tour durch Deutschland. Die Konzertagentur IN CONCERT ist Ihnen empfohlen worden.
Ihre Aufgaben:
• Informieren Sie sich über das Angebot von IN CONCERT!
• Wer ist Ihr Ansprechpartner?
• Welche Bands werden bereits von IN CONCERT betreut?
4.1.3 Konzertveranstalter hat Terminprobleme (Aufgabe 3)
Terminprobleme
Ihnen gehört der Berliner Musik-Club "NEON-LIVE". Die Konzertagentur IN CONCERT hat Ihren Club für das Konzert der Band "Summer Jam" am 23. Juli 1999 gebucht. Leider müssen Sie diesen Termin absagen, da ausgerechnet an diesem Tag in Berlin die Love Parade stattfindet, an der sich Ihr Club mit einem Festwagen beteiligt. Sie können jedoch als Ausweichtermine den 16. Juli 1999 oder den 30. Juli 1999 anbieten.
Ihre Aufgaben:
• Sind die Ausweichtermine im Tourplan von "Summer Jam" noch frei?
• Was können Sie tun, um eine Konventionalstrafe wegen Vertragsverletzung zu vermei- den?
• Finden Sie heraus, wer Ihr Ansprechpartner bei IN CONCERT ist!
4.2 Test-Site: Das Angebot der fiktiven Konzertagentur IN CONCERT
Die Konzertagentur IN CONCERT tritt mit folgendem Informationsangebot im Internet auf:
• Tour-Management für Bands
Planung einer Tournee, Organisation/Durchführung der Tournee und Merchandising (Fan-Artikel, Kartenvorverkauf)
• Tournee-Kalender und Ticket-Service für Fans
Online-Kartenbestellung für die Konzerte der von der Agentur betreuten Bands
• Fanshop für Fans
Online-Bestellung verschiedener Fan-Artikel (T-Shirt’s, CD’S) der von der Agentur betreuten Bands
• Internetseiten der Bands
Die WWW-Site von IN CONCERT besteht aus 20 Informationseinheiten (HTML- Seiten), die den folgenden Bereichen zugeordnet sind:
• Zur Beschreibung der von der Agentur angebotenen Dienstleistungen gehören die Seiten:
Tourmanagement (Übersicht), Planung, Organisation, Merchandising
• Zum Bereich Ansprechpartner/Agenturteam gehören die Seiten:
Team (Übersicht), Peter, Tina, Klaus, Sandra
• Der Tournee-Kalender wird auf einer Seite dargestellt:
Tourdates
• Zum Online-Ticket-Service gehört ein Bestellformular und eine Seite, auf der die Bestellung bestätigt wird:
Ticket-Service, Bestätigung
• Der Online-Fanshop besteht aus drei Seiten:
Fanshop, Online-Bestellung, Bestätigung (wie beim Ticket-Service)
• Informationen zu den von der Agentur betreuten Bands befinden sich auf vier Seiten:
Bands (Übersicht), Sound Magnet, Summer Jam, Blues Breaker
• Die Allgemeine Geschäftsbedingungen sind auf einer Seite zusammengefaßt:
AGB
• Von der Homepage der Agentur aus kann zu den (Übersichts-)Bereichen Tour-Management, Team, Bands, Tour-Dates, Fanshop, AGB verzweigt werden.
Die einzelnen Seiten werden über Hyperlinks verbunden und bilden damit ein Netzwerk aus Informationseinheiten. Die Struktur dieses Netzwerks wird im Ex- periment systematisch variiert. Dazu wird das Netzwerk in drei Relationen zer- legt: Hierarchische Relation, Assoziationsrelation und Navigationsrelation.
Durch das Ein- und Ausblenden einer der Relationen kann der Einfluß einer Relation auf die Informationssuche untersucht werden.
4.2.1 Hierarchische Relation
Die Grundstruktur der WWW-Site ist hierarchisch (siehe Abb. 4.2.1.1).
Grundsätzlich wird von Übersichten in Teilbereiche verzweigt. Der Rücksprung auf die Homepage ist jederzeit möglich.10 Bei Online-Bestellungen ergibt sich die Hierarchie der Seiten aus der linearen Abfolge ”Produktauswahl - Bestellung - Auftragsbestätigung”.
Die hierarchische Relation ist für die Strukturierung des Informationsangebotes unverzichtbar, da sie sich logisch aus der Trennung der Informationseinheiten in Teilbereiche, Übersichten und kleinste Informationseinheiten ergibt. Deshalb
10 Diese Links wurden in Abb. 4.2.1.1 der Übersichtlichkeit halber nicht eingezeichnet.
stellt diese Relation das Grundgerüst dar, auf das die beiden folgenden Relationen einzeln oder gemeinsam aufgesetzt werden.
Homepage
Tour- Management
Team
Ticket- Service
Fanshop Tour-Dates
Peter
Tina
Klaus
Sandra
AGB
Planung
Organisation
Merchandising
Bands
Sound Magnet
Summer Jam
Blues Breaker
Online- Bestellung
Bestätigung
Abb. 4.2.1.1: Hierarchische Relation
4.2.2 Assoziationsrelation
Hinweise innerhalb einer Informationseinheit auf einen anderen Bereich des Informationsangebots gehören zur Assoziationsrelation (Abb. 4.2.2.1).
Zur Erläuterung einige Beispiele:
• Auf den Bestellseiten für Tickets oder Fanartikel befindet sich der Hinweis:
”Es gelten unsere Allgemeinen Geschäftsbedingungen”. Die Assoziationsrela- tion enthält hier einen Link ”Allgemeinen Geschäftsbedingungen” zu den AGB.
• Auf der Seite von Klaus befindet sich die Information: ”... berate Sie in Sachen Merchandising”. In der Assoziationsrelation führt ein Link
”Merchandising” zur Beschreibung dieses Dienstleistungsangebotes von IN CONCERT.
Die Links der Assoziationsrelation sind nicht zwingend notwendig, um auf alle In- formationen der WWW-Site zuzugreifen. Diese Relation kann also auch ausgeblendet werden. Diese Links ermöglichen jedoch einen schnellen Wechsel zu den im aktuellen Kontext relevanten Informationen.
Tour- Management
Ticket- Service
Fanshop Tour-Dates
Peter
Tina Klaus Sandra
AGB Planung
Organisation
Merchandising
Bands
Sound Magnet Summer Jam
Blues Breaker
Online- Bestellung
Bestätigung
Abb. 4.2.2.1: Assoziationsrelation
4.2.3 Navigationsrelation
Die Navigationsrelation besteht aus einer permanent sichtbaren Fußleiste, die den direkten Sprung zu den Einstiegspunkten in die verschiedenen Lei- stungsangebote von IN CONCERT (Tour-Management, Bands, Tour-Dates, Fanshop) und zurück auf die Homepage11 erlaubt. Die Leiste ist in Abb. 4.2.3.1 abgebildet:
Abb. 4.2.3.1: Navigationsrelation (ständig sichtbare Buttonleiste)
11 Der Rücksprung auf die Homepage von jeder Seite aus ist in jeder Testsiteversion vorhanden (vgl.
4.2.1), wenn die Navigationsrelation nicht eingeblendet wird, erscheint dieser Link in der üblichen Form jeweils am Fußende jeder Seite.
4.2.4 Drei Testsite-Versionen (experimenteller Stimulus)
Die hierarchische Relation dient als Grundgerüst für die Konstruktion der unter- schiedlichen Testsites. Es wurden drei Sites konstruiert:
Testsite 1 enthält neben der hierarchischen Relation die Navigationsrelation. Es ist dem Benutzer also zu jedem Zeitpunkt möglich, über die permanent einge- blendete Fußleiste (Buttonleiste) zwischen den verschiedenen Informa- tionsbereichen des Internet-Angebotes hin und her zu wechseln.
Testsite 2 enthält neben der hierarchischen Relation die Assoziationsrelation.
Wird auf einer aufgerufenen Seite eine ebenfalls als Seite vorhandene Infor- mation erwähnt, so kann diese Seite direkt über einen entsprechenden Link aufgerufen werden.
Testsite 3 enthält alle drei Relationen. Es wird also permanent eine Fußleiste eingeblendet (Navigationsrelation) und Verweise auf andere Informations- einheiten können direkt per Link verfolgt werden.
Tabelle 4.2.4.1 liefert eine Übersicht über den Aufbau der experimentellen Sites:
Tab. 4.2.4.1: Struktureller Aufbau der experimentellen Sites Site 1 Site 2 Site 3
Hierarchische Relation ja ja ja
Assoziationsrelation nein ja ja
Navigationsrelation ja nein ja
4.3 Abschließende Befragung der Testpersonen
Nachdem die Versuchsteilnehmer ihre Informationsretrieval-Aufgabe gelöst ha- ben, erscheint abschließend ein Fragebogen, der online ausgefüllt und ab- geschickt werden soll. Erhoben werden drei zentrale Themenbereiche:
• Empfundene Desorientierung (vgl. 4.3.1)
• Wahrgenommenes Image von IN CONCERT (vgl. 4.3.2)
• Internetnutzung und Einstellung zum Internet (vgl. 4.3.3)
Zusätzlich werden die soziodemografischen Variablen Geschlecht, Alter und Bil- dung erhoben.
Die ausgefüllten Fragebögen werden über die CGI-Schnittstelle an ein Perl- Skript übergeben und unter Protokollierung der Befragtennummer im ASCII- Format abgespeichert. Die so entstandene Datei wird (nach einer kurzen Aufbereitung durch Excel) in SPSS eingelesen.
4.3.1 Desorientierung
In dieser Untersuchung wird Desorientierung (in Anlehnung an McDonald, Stevenson 1996) über eine Likert-Skala mit folgenden Items gemessen:
• Ich habe mich auf der WWW-Site von IN CONCERT gut zurecht gefunden.
• Hin und wieder bin ich auf den Seiten von IN CONCERT in eine Sackgasse geraten, aus der ich nur über die BACK-Taste wieder heraus gekommen bin.
• Das Informationsangebot von IN CONCERT war sehr übersichtlich.
• Ich habe auf den Seiten von IN CONCERT sehr schnell das gefunden, was ich gesucht habe.
• Hinter einigen Links fand ich ganz andere Informationen, als ich erwartet habe.
Die Auswahl der Items geschah für diesen ersten Pre-Test ad hoc. Im geplanten Feld-Experiment ist eine ausführlichere Konzeptspezifikation und Operationali- sierung des theoretischen Konstruktes ”Desorientierung” notwendig.
4.3.2 Wahrgenommenes Image von IN CONCERT
Die Wahrnehmung des Images der fiktiven Konzertagentur IN CONCERT wird ebenfalls durch eine Likert-Skala gemessen. Dazu wurden die folgenden Items formuliert:
• Die Agentur vermittelt einen kompetenten Eindruck
• IN CONCERT hat ein modernes Auftreten
• Auf IN CONCERT könnte man sich als Geschäftspartner verlassen
• Die Agentur wirkt unprofessionell
Wie für die Operationalisierung der Desorientierung gilt auch hier, daß die Überlegungen zum Image des Unternehmens noch nicht abgeschlossen sind.
4.3.3 Internetnutzung und Einstellung zum Internet
Als dritter Themenblock werden Fragen zur Nutzung des Internets und zur Ein- stellung zum Internet gestellt. Es handelt sich hier zum einen um die folgenden vier Statements:
• Das Internet stellt für mich ein wertvolles Informationsmedium dar
• Es macht mir großen Spaß, mich mit anderen Internetnutzern in Chat-Räu- men zu treffen
• Die meisten Informationen, die ich im Internet finde, sind relativ belanglos
• Ich würde mich als Internet-Profi bezeichnen
Zusätzlich wurde die Häufigkeit der Nutzung (in Tagen pro Woche) und die Dauer einer normalen Internetsitzung (in Stunden) abgefragt.
5. Pre-Test
5.1 Durchführung
Der Pre-Test fand statt im Zeitraum vom 3. November bis zum 30. November 1998 (4 Wochen). In dieser Zeit haben 86 Surfer auf die erste Seite der Testsite zugegriffen. Bereinigt um Abbrüche verbleiben 54 Testdurchläufe im Datensatz.
Die Herkunft der Zugriffe ist Tabelle 5.1.1 zu entnehmen.
Tab. 5.1.1: Herkunft der Zugriffe auf die Testsite
Herkunft Zugriffe Zugriffe
(um Abbrüche bereinigt)
CIP-Pool 20 14
Uni Wuppertal 30 21
andere Universität 8 5
T-Online 14 7
AOL 3 1
Firmen/private Zugänge 11 6
Summe 86 54
Die Zugriffe aus dem CIP-Pool stammen von Studierenden aus unseren Ver- anstaltungen, alle übrigen Zugriffe erfolgten von Personen aus meinem er- weiterten Freundes- und Bekanntenkreis.
Die 54 Testpersonen sollten per Zufallsauwahl eine der drei Testsites und eine der drei Aufgaben durch ein Perl-Skript zugeordnet bekommen. Es wird also eine Gleichverteilung über alle Kombinationen aus Testsite und Aufgabe angestrebt.
Die Annahme der Gleichverteilung kann unter Anwendung eines Loglinearen Mo- dells überprüft werden. Dabei stellt sich heraus, daß es keine signifikanten Abweichungen vom Gleichverteilungsmodell gibt. Die Häufigkeitsverteilung aller Kombinationen von Aufgabe und Testsite sind in Tabelle 5.1.2 ausgewiesen.
Tab. 5.1.2: Häufigkeitsverteilung von Testsite und Aufgabenstellung
N Aufgabe 1 Aufgabe 2 Aufgabe 3
Site 1 6 9 7
Site 2 4 5 6
Site 3 6 6 5
Unter der Gleichverteilungsanahme wird eine Zellhäufigkeit von 6,0 erwartet. Das Gleichverteilungsmodell erzielt mit einem Chi² = 2,67 bei 8 df (P = 0,95) einen annähernd optimalen Fit.
Erfreulicherweise sind mir keine technischen Probleme von den Teilnehmern be- richtet worden. Selbst Zugriffe aus Berlin oder der Schweiz wurden problemlos und mit adäquater Geschwindigkeit abgearbeitet. Auch der gleichzeitige Zugriff mehrerer Teilnehmer (Durchführung des Experiments im CIP-Pool) führte weder zu technischen Schwierigkeiten noch zu erkennbaren Geschwindigkeitsverlusten.
In eigenen Versuchen habe ich allerdings feststellen müssen, daß Zugriffe über den Provider AOL nicht immer einwandfrei abgearbeitet werden. Die Probleme gehen einerseits auf den mit der AOL-Software mitgelieferten Internet-Browser zurück, der nicht vollständig kompatibel zu den weitverbreiteten Browsern von Netscape oder Microsoft ist. Zum anderen scheinen die Proxy-Server von AOL die mit den Testseiten übermittelten Pragma-Direktiven12 nicht korrekt zu verarbeiten, was dazu führt, daß Testseiten auf dem AOL-Proxy-Server gespeichert werden und erneut abgerufen werden können. Dieses Problem ist leider meinerseits nicht zu lösen. Deshalb müssen Zugriffe über den Provider AOL im Feldexperiment besonders aufmerksam auf fehlerhafte Protokollierung geprüft werden.
Ein weiteres technisches Problem ergibt sich, wenn die Testpersonen einen Macintosh-Rechner verwenden. Der auf diesem Rechner installierte Browser lie- fert falsche Angaben über den Referer.13 Sollten Personen mit solch einem Rechner am Experiment teilnehmen, müssen sie eventuell von der Untersuchung ausgeschlossen werden. Aufgrund der geringen Verbreitung dieser Rechner werden sich die Ausfälle in diesem Punkt jedoch in Grenzen halten.
5.2 Möglichkeiten der Datenanalyse und erste Ergebnisse
Im Laufe des Experiments fallen zwei unterschiedliche Formen von Daten an.
Alle Bewegungen der Testpersonen auf der Testsite (jeder Abruf einer HTML- Seite) werden in einem Zugriffsprotokoll (sog. Logfile) aufgezeichnet. Jede Zeile des Logfiles repräsentiert eine Bewegung einer Person auf der Testsite. Um den Verlauf der Informationssuche im Nachhinein eindeutig einer Person zuordnen zu können, wird jeder Person zu Beginn des Experiments eine eindeutige Codenummer (ID) zugeordnet, die ebenfalls im Logfile aufgezeichnet wird (vgl.
5.2.1).
Die abschließende Befragung der Versuchsteilnehmer produziert Daten in der klassischen Form einer Datenmatrix mit Zeilen für die Fälle und Spalten für die Variablen der Befragung (vgl. 5.2.2). Auch in dieser Datenmatrix ist die ID der Teilnehmer enthalten, so daß eine Zuordnung zu den Daten im Logfile möglich ist.
5.2.1 Auswertung des Zugriffsprotokolls
Während der Informationssuche auf der Testsite wird jeder Informationsabruf in einem Logfile protokolliert. Einen Auszug aus dem Logfile enthält Tabelle 5.2.1.1.
12 Pragma-Direktiven sind Anweisungen in den (nicht sichtbaren) Kopfzeilen der HTML-Dateien, die den Proxy-Server veranlassen, die soeben erhaltene Seite nicht zu speichern, sondern jedesmal neu vom Server anzufordern. Nur, wenn die Seite bei jedem Aufruf erneut vom Server angefordert wird, ist es möglich, ein korrektes Protokoll der Informationssuche zu erstellen.
13 Referer = Seite, von der aus die angeforderte Seite aufgerufen wurde. Diese Angabe ist wichtig, um unterscheiden zu können, ob ein Link verfolgt, die Backtaste gedrückt oder ein Button der Navigati- onsleiste angeklickt wurde.
Tab. 5.2.1.1: Auszug aus dem Logfile
ID IP-Adresse Uhrzeit Datum Site Aufgab
e
Seite Referer CGI-Parameter
568113525 4
132.195.38.10 2
13:54:25 12 Nov 1998 Thu 1 3 tourdates.ht m l
unten.pl 5681135254=1=3
512413543 4
132.195.38.10 3
13:54:34 12 Nov 1998 Thu 1 2 start.pl willkommen.shtml5124135434=1=2
827213544 9
132.195.38.10 7
13:54:49 12 Nov 1998 Thu 3 3 start.pl willkommen.shtml8272135449=3=3
512413543 4
132.195.38.10 3
13:54:55 12 Nov 1998 Thu 1 2 haupt.html automatisch 5124135434=1=2
197713542 1
132.195.38.10 6
13:55:03 12 Nov 1998 Thu 2 3 haupt.html automatisch 1977135421=2=3
197713542 1
132.195.38.10 6
13:55:16 12 Nov 1998 Thu 2 3 tourdates.ht m l
haupt.pl 1977135421=2=3
882913531 8
132.195.38.10 1
13:55:17 12 Nov 1998 Thu 3 1 danke.html tickets.pl 8829135318=3=1
882913531 8
132.195.38.10 1
13:55:25 12 Nov 1998 Thu 3 1 fanshop.html unten.pl 8829135318=3=1
Jede Zeile des Logfiles repräsentiert einen Zugriff auf die Informationen der Testsite. In Spalte 1 des Logfiles (ID) befindet sich die für jede Testperson einmalige Codenummer. Die IP-Adresse ist die Internetadresse des Rechners, von dem die Anfrage an den Server weitergeleitet wurde.14 Es folgen fünf Spalten, in denen der genaue Zugriffszeitpunkt mit Uhrzeit und Datum festgehalten ist.
Die nächsten beiden Einträge dokumentieren die für die Testperson spezifische Testsite und Aufgabe. In der Spalte “Seite” steht die HTML-Seite, auf die zugegriffen wurde. Dahinter wird als “Referer” die Seite angegeben, von der aus der Zugriff erfolgte. Anhand des Referers läßt sich nachvollziehen, ob beim Zugriff auf eine Seite ein Link verfolgt wurde, die Back-Taste benutzt wurde, oder ob die Navigationsleiste (Referer = “unten.pl”) angeklickt wurde. Die letzte Spalte enthält den Parameter, der an die CGI-Schnittstelle übergeben wurde.
Dieser Parameter enthält grundsätzlich ID, Testsite- und Aufgabennummer, damit das aufgerufene Perl-Skript die Seite der entsprechenden Testsite zurückliefern kann und den Zugriff korrekt protokolliert.
Bevor der Logfile ausgewertet werden kann, sind eine Reihe von Sortiervorgängen und zusätzlichen Operationen nötig, auf die an dieser Stelle nicht genauer eingegangen werden soll. Nach erfolgter Modifikation des Logfiles15 liegen zusätzliche Daten vor über die Anzeigedauer einer Seite sowie die Art des Zugriffs auf die Seite (Link, Navigationsleiste, Backtaste oder automatischer Aufruf). Der modifizierte Logfile kann dann in SPSS weiterverarbeitet werden.
Für die Mehrzahl der folgenden Auswertungen wurde eine aggregierte Version des Logfile verwendet. Für jede Testperson liegt eine Zeile im Datensatz vor. Die
14 In diesem Auszug des Logfiles gehören alle Rechner zum Netz der Universität Wuppertal, was an den ersten beiden Zahlen 132.195. zu erkennen ist.
15 Die Modifikation erfolgt mit dem Programm EXCEL.
Zugriffe auf die einzelnen Seiten wurden für jede Seite aufaddiert. Es wurde eine neue Variable gebildet, welche die Anzahl der Zeilen (=Seitenzugriffe insgesamt) im ursprünglichen Logfile enthält.
5.2.1.1 Abruf relevanter Informationen
Jede Aufgabe verlangt den Abruf bestimmter Informationen von der Testsite.
Anhand des Logfiles kann kontrolliert werden, welche für die Aufgabenstellung relevanten Informationen tatsächlich abgerufen wurden. Dabei kann noch unter- schieden werden zwischen Informationen, die auf jeden Fall abgerufen werden müssen und solchen, die nicht zwingend abgerufen werden müssen, aber im Kon- text der Aufgabe trotzdem interessant sind. Aus den abgerufenen Informationen läßt sich ein Index bilden, der über die erfolgreiche Lösung der Aufgabe Auskunft gibt. Für zwingend notwendige Informationsabrufe wurden 2 Punkte vergeben, für zusätzlich interessante abgerufene Informationen wurde 1 Punkt vergeben.
Tabelle 5.2.1.1.1 gibt einen Überblick über die Punkteverteilung.
Tab. 5.2.1.1.1: Punkteverteilung für den Abruf relevanter Infor- mationen
Abruf der Punkte für die Aufgabe ...
HTML-Seite Fan bestellt
Tickets Bandmanager
sucht Infos Terminpro- bleme
AGB 1 1 2
Tour-Management 0 2 0
Planung 0 2 2
Organisation 0 2 2
Merchandising 0 2 0
Team 0 1 1
Peter 0 2 2
Sandra 0 0 2
Bands 0 2 0
Sound Magnet 0 1 0
Summer Jam 0 1 1
Blues Breaker 1 1 0
Fanshop 2 0 0
CD* 1 0 0
T-Shirt* 1 0 0
Tour-Dates 2 0 2
Ticket-Service 2 0 0
Bestätigung 2 0 0
Summe Punkte 12 17 14
Summe HTML-Seiten 8 11 8
* Im Fanshop können CD’s oder T-Shirts angeklickt werden, um sie zu vergrößern.
Die Punkte wurden entsprechend der zu bearbeitenden Aufgaben verteilt.
Punkte für eine der beiden anderen Aufgaben wurden den Befragten nicht zugeordnet. Die Punkte wurden standardisiert (z-Transformation) und dann zu
einer gemeinsamen Punkteskala zusammengefaßt. Diese Skala ist annähernd normalverteilt.
Einen ersten Hinweis auf die Relevanz der Site-Struktur für die (erfolgreiche) In- formationssuche liefert eine einfaktorielle Varianzanalyse mit der erzielten Punktzahl als abhängiger Variablen und der Site-Struktur als unabhängigem Faktor (vgl. Tabelle 5.2.1.1.2). Als Kovariate wird die Anzahl der Seitenzugriffe (ZEILEN, vgl. 5.2.1) mit aufgenommen, da die Wahrscheinlichkeit, eine höhere Punktzahl zu erzielen, umso größer wird, je mehr Informationen insgesamt abgerufen wurden.
Tab. 5.2.1.1.2: ANOVA Punktzahl in Abhängigkeit der Testsite
22,430 1 22,430 41,198 ,000 ,08
1,348 2 ,674 1,238 ,299
23,778 3 7,926 14,558 ,000
27,222 50 ,544
51,000 53 ,962
ZEILEN Kovariaten
Test-Site Haupteffekte
Modell Residuen Insgesamt Punktzahl
(%)
Quadratsumme df
Mittel der
Quadrate F Sig. B
Experimentelle Methode ANOVAa,b
Punktzahl (%) nach Test-Site mit ZEILEN a.
Kovariaten zuerst eingegeben b.
Es wird deutlich, daß die erzielte Punktzahl in erster Linie von der Anzahl der ab- gerufenen Informationen (ZEILEN) abhängt. Die Testsite hat nur einen geringen direkten Einfluß. Der folgenden Multiplen Klassifikationsanalyse (Tab. 5.2.1.1.3) ist die Tendenz zu entnehmen, daß Testsite 3, die alle drei Relationen enthält, zu höheren Punktzahlen führt, als die beiden anderen Sites.
Tab. 5.2.1.1.3: MCA Punktzahl in Abhängigkeit der Testsite
22 -,07 ,05 -,07 ,05
15 -,32 -,25 -,32 -,25
17 ,37 ,15 ,37 ,15
1 (HN) 2 (HA) 3 (HNA) Test-Site
Punktzahl (%)
N
Nicht angepaßt
Nach Faktoren
und Kovariaten
angepaßt Vorhergesagtes Mittel
Nicht angepaßt
Nach Faktoren
und Kovariaten
angepaßt Abweichung Multiple Klassifikationsanalyse (MCA) a
Punktzahl (%) nach Test-Site mit ZEILEN a.
Als nächstes wurde der Einfluß der Testsite und der Aufgabenstellung auf die An- zahl der Abgerufenen Informationen untersucht. Es stellt sich heraus, daß
sowohl die Aufgabenstellung als auch die Testsite-Version einen zumindest der Tendenz nach erwarteten, jedoch nicht signifikanten Einfluß auf die ZEILEN- Variable haben. Die Ergebnisse der MCA (Tabelle 5.2.1.1.4) unterstreichen diese Tendenz.
Tab. 5.2.1.1.4: MCA ZEILEN in Abhängigkeit von Testsite und Aufgabe
22 9,00 8,98 -1,54 -1,56
15 9,53 9,25 -1,00 -1,29
17 13,41 13,69 2,87 3,15
16 7,81 7,54 -2,72 -3,00
20 10,30 10,38 -,24 -,16
18 13,22 13,38 2,69 2,84
1 (HN) 2 (HA) 3 (HNA) Test-Site
Tickets buchen Bandmanager Terminprobleme Test-Aufgabe
ZEILEN
N
Nicht angepaßt
Korrigiert nach Faktoren Vorhergesagtes Mittel
Nicht angepaßt
Korrigiert nach Faktoren Abweichung Multiple Klassifikationsanalyse (MCA) a
ZEILEN /nach Test-Site, Test-Aufgabe a.
Testsite 3 führt zu einem wesentlich höheren durchschnittlichen Abruf von Infor- mationen als die anderen beiden Testsites (13,69 gegenüber 8,98 und 9,25). Auf- gabe 3 (Terminprobleme) führte ebenfalls zu einem höheren Abruf von Informa- tionen. Das ist insofern besonders interessant, da zum Erreichen der vollen Punktzahl bei Aufgabe 3 nur 8 unterschiedliche Informationen abgerufen werden müssen - im Gegensatz zu 11 bei Aufgabe 2 (Bandmanager) (vgl. Tab. 5.2.1.1.1).
Die Ergebnisse dieser ersten Auswertungen lassen sich folgendermaßen zusam- menfassen:
• Die erreichte Punktzahl bei den Informationsretrieval-Aufgaben hängt positiv von der Anzahl der abgerufenen Informationen ab - was kaum anders zu erwarten war.
• Die Struktur der Site hat keinen direkten Einfluß auf die erzielte Punktzahl.16
• Struktur der Site und die Aufgabenstellung üben jedoch über die Anzahl der abgegerufenen Informationen indirekt Einfluß auf die erzielte Punktzahl aus.
Diese Effekte sind zwar nicht signifikant, entsprechen aber in der Tendenz den theoretischen Überlegungen. Die korrigierten Beta-Koeffizienten für den Ein- fluß der Faktoren auf die ZEILEN-Variable (Ergebniss der MCA) und der stan- dardisierte Beta-Koeffizient für den Einfluß der Zeilen auf die Punktezahl sind in Abbildung 5.2.1.1.1 dargestellt.
16 Die Aufgabenstellung kann aufgrund der Konstruktion der Punkteskala keinen Einfluß haben. Die Punktskala weist für jede Aufgabenstellung den Mittelwert 0 und die Standardabweichung 1 auf.
Site Aufgabe
ZEILEN Punkte
.26 .28
.66
Abb. 5.2.1.1.1: Punkte in Abhängigkeit von Informationsabrufen, Site und Aufgabe (korrigierte Beta-Koeffizienten)
5.2.1.2 Muster der Informationssuche
Die Auswertung des Logfiles in der nicht aggregierten Form kann Hinweise auf typische Informationssuchmuster der Testpersonen liefern. Die Überlegungen hierzu sind noch nicht abgeschlossen. Es soll daher nur kurz angerissen werden, welcher Weg hier angedacht wurde.
Das Bewegen auf der Testsite während der Suche nach Informationen wird im wesentlichen durch drei mögliche Aktionen gesteuert.
1. Verfolgen eines Links
2. Verfolgen eines Navigationslinks 3. Rücksprung mit der Backtaste
Die zweite Möglichkeit besteht natürlich nur bei Testsite 1 und 3, da die zweite Testsite keine Navigationsrelation enthält. Da im Logfile neben der abgerufenen Information auch der Referer (die Seite, von der aus die Information abgerufen wurde) enthalten ist, kann nachvollzogen werden, welche der drei genannten Ak- tionsformen einem Informationsabruf zugrunde lag:
• Wenn der Referer die Navigationsleiste ist, wurde ein Navigationslink verfolgt
• Wenn der Referer die zuletzt abgerufene Information ist, wurde ein auf dieser Seite vorhandener Link verfolgt.
• Wenn weder die eine, noch die andere Möglichkeit in Betracht kommen, wurde die Seite mit der Back-Taste aufgerufen.
Durch die Aneinanderreihung der unterschiedlichen Aktionsformen ergeben sich individuelle Suchmuster. Im folgenden wurden Navigationslinks mit 1 vercodet, vorhandene Links mit 2 und Rücksprünge mit der Backtaste mit 3. Es könnten sich zum Beispiel die folgenden drei Suchmuster ergeben:
Suchmuster 1: 12122212112 Suchmuster 2: 22222233223 Suchmuster 3: 23232323
Die Testperson mit Suchmuster 1 benutzt zur Informationssuche nur die Naviga- tionsrelation und die vorhandenen Links. Die Backtaste wird nicht verwendet - das bedeutet, an keiner Stelle ist die Person in eine Sackgasse geraten, in der kein Link zu weiteren relevanten Informationen führt. Die Testperson 2 weist ein ähnliches Suchmuster auf, verwendet aber nie die Navigationsrelation (was bei
der Testsite 2 auch nicht möglich wäre). An wenigen Stellen wird die Backtaste eingesetzt, um zu neuen Einstiegspunkten in das Informationsangebot zu gelangen. Testperson 3 weist ein sternförmiges Suchmuster auf (Link - Back - Link - Back). Dieses Suchmuster könnte als ein Hinweis auf Desorientierung gewertet werden.
5.2.2 Auswertung der Befragung
Von den 56 in der Untersuchung verbliebenen Teilnehmern haben 46 ganz oder zumindest teilweise den Fragebogen am Ende des Experiments ausgefüllt. Um eine möglichst umfangreiche Datenbasis für die weiteren Analysen zu erhalten, wurden fehlende Werte in den erhobenen Variablen durch das EM-Verfahren17 ge- schätzt und in der Datenmatrix ersetzt. Dadurch liegen in der Datenmatrix 46 vollständige Fälle vor.
Es ist ferner zu bedenken, daß sich die Befragten zu einem nicht unerheblichen Teil aus meinem Freundes- und Bekanntenkreis zusammensetzen. Auch dieser Umstand kann zu Verzerrungen führen. Zumindest ist zu erwarten, daß die Be- wertung der WWW-Site tendenziell positiver ausfällt, als dies in einer Untersu- chung mit mir unbekannten Personen der Fall wäre.
Zusammengenommen bedeutet das, daß die im folgenden dokumentierten Ergebnisse des Pre-Tests nicht überinterpretiert werden sollten, sondern als Hinweise darauf, ob die bis hierhin eingeschlagene Vorgehensweise in die richtige Richtung weist oder in Sackgassen führt.
5.2.2.1 Einfluß der empfundenen Desorientierung auf das wahrge- nommene Image von IN CONCERT
Zur Überprüfung dieser in Abschnitt 1. der Arbeit erläuterten Arbeitshypothese wurde ein lineares Strukturgleichungsmodell konstruiert. Desorientierung wird in diesem Modell mit folgenden vier Indikatoren18 gemessen:
• DIS2: Ich habe mich auf der WWW-Site von IN CONCERT gut zurecht gefun- den.
• DIS3: Hin und wieder bin ich auf den Seiten von IN CONCERT in eine Sack- gasse geraten, aus der ich nur über die BACK-Taste wieder heraus ge- kommen bin.
• DIS4: Das Informationsangebot von IN CONCERT war sehr übersichtlich.
• DIS5: Ich habe auf den Seiten von IN CONCERT sehr schnell das gefunden, was ich gesucht habe.
17 “Mit EM (Erwartungs-Maximierung, also Expectation-Maximization) werden die Mittelwerte, die Kovarianzmatrix und die Korrelation von quantitativen Variablen mit fehlenden Werten unter Ver- wendung eines iterativen Prozesses geschätzt.” (SPSS 7.5 - Online-Hilfe).
Die Indikatoren sind so codiert, das hohe Ausprägungen der Variablen starke Desorientierung bedeuten.
Das Image wurde mit den folgenden zwei Indikatoren19 gemessen:
• IMG8: Die Agentur vermittelt einen kompetenten Eindruck
• IMG11: Die Agentur wirkt unprofessionell
Das Programm AMOS20 berechnet die standardisierten Maximum-Likelihood-Pa- rameter dieses Modells (vgl. Abb. 5.2.2.1.1).
Image
img8
i8 ,79 Disorientierung
dis2
d2 ,85
dis3
d3 ,61
dis4
d4 ,60
dis5
d5 ,92
-,79
e1
img11
i11 ,95
Model-Fit: Chi² = 13.328 (P = 0.101, df=8); GFI = 0.925; AGFI = 0.803; NFI = 0.918
Abb. 5.2.2.1.1: Regression von Image auf Desorientierung (Lineares Strukturgleichungsmodell mit standardisierten Koeffizienten)
Das Modell hat einen akzeptablen Fit und weist auf einen starken negativen Ein- fluß der Desorientierung auf das wahrgenommene Image hin. Das entspricht der in Abschnitt 1 formulierten Arbeitshypothese. Unter den für diesen Pre-Test geltenden Einschränkungen (vgl. 5.2.2) kann das als Hinweis gewertet werden, daß diese Form der Messung von Desorientierung und Image erfolgversprechend zu sein scheint. Der Zusammenhang dieser beiden Variablen sollte auch in der Hauptuntersuchung beobachtet werden können. Insbesondere die Messung des Images ist jedoch noch nicht zufriedenstellend. Es müssen weitere Indikatoren
18 Das fünfte Item (“Hinter einigen Links fand ich ganz andere Informationen, als ich erwartet hätte”;
vgl. 4.3.2) erwies sich als wenig geeignet für die Messung der Desorientierung.
19 Auch hier waren die anderen beiden Indikatoren “modernes Auftreten” und “verlässlicher Ge- sprächspartner” (vgl. 4.3.2) nicht gut geeignet.
20 AMOS ersetzt das klassische Modul LISREL im SPSS-Programmpaket seit Version 7.0.
gesucht werden, um die Messung auf eine breitere empirische Basis zu stellen.
Dazu ist (wie in 4.3.2 bereits angedeutet) eine ausführlichere Konzeptspezifikation und Operationalisierung des Images nötig.
5.2.2.2 Abhängigkeit der Desorientierung von Testsite-Version und Aufgabenstellung
Um den Einfluß der Site-Struktur und der Aufgabenstellung auf die Desorientierung der Testpersonen zu untersuchen, werden zunächst die unter 5.2.2.1 genannten vier Items zu einer Likert-Skala “Desorientierung” sumiert (Cronbach’s α = 0,80). Testsite-Version und Aufgabenstellung werden als unabhängige Variablen in einer mehrfaktoriellen Varianzanalyse (ANOVA) der Desorientierung verwendet. Als kovariierende Variable wurde die Internet- Erfahrung kontrolliert. Diese besteht aus dem Item “Ich würde mich als Internet- Profi bezeichnen” und der Häufigkeit der Internet-Nutzung.21
Die Ergebnisse der ANOVA (vgl. Tabelle 5.2.2.2.1) sind auf den ersten Blick nicht befriedigend. Keine der drei Variablen hat einen signifikanten Einfluß auf die empfundene Desorientierung.
Tab. 5.2.2.2.1: ANOVA: Desorientierung in Abhängigkeit von Test-Site, Aufgabe und Internet-Erfahrung (kovariierende Variable)22
61,82 5 12,36 1,17 ,34
21,22 2 10,61 1,00 ,38
37,54 2 18,77 1,77 ,18
3,06 1 3,06 ,29 ,59 ,14
66,51 4 16,63 1,57 ,20
128,33 9 14,26 1,34 ,25
381,89 36 10,61
510,21 45 11,34
(Kombiniert) Test-Site Test-Aufgabe
Internet-Erfahrung Kovariate
Haupteffekte mit Kovariaten
Test-Site * Test-Aufgabe 2-Weg-
Wechselwirkungen Modell
Residuen Insgesamt Disorien-
tierung
Quadrat-
summe df
Mittel der
Quadrate F Sig. B
Hierarchische Methode ANOVAa,b
Disorientierung nach Test-Site, Test-Aufgabe mit Internet-Erfahrung a.
Kovariaten mit Haupteffekten eingegeben b.
Der stärkste Einfluß geht von der Test-Aufgabe aus (korrigiertes Beta 0,28)23, ge- folgt von der Test-Site (korrigiertes Beta 0,19). Die Internet-Erfahrung hat einen verschwindend geringen Einfluß. Es liegt auch kein signifikanter
21 Die aus den beiden standardisierten Variablen gebildete Skala erzielt ein Cronbach’s α von 0,85.
22 Es wurde die hierarchische Methode verwendet, um den Einfluß des experimentellen Stimulus “Test- Site” vorrangig zu behandeln.
23 Beta ist ein Zusammenhangsmaß für den Einfluß eines Faktors auf die abhängige Variable, korrigiert nach anderen Faktoren und Kovariaten.
Interaktionseffekt vor. Etwas aufschlußreicher sind die Ergebnisse der multiplen Klassifikationsanalyse (MCA) in Tabelle 5.2.2.2.2.
Tab. 5.2.2.2.2: MCA Desorientierung in Abhängigkeit von Test-Site, Aufgabe und Internet-Erfahrung (kovariierende Variable)
19 9,20 9,22 9,24 ,31 ,32 ,34
13 9,52 9,43 9,40 ,63 ,53 ,51
14 7,88 7,96 7,95 -1,01 -,93 -,94
13 8,09 8,09 8,00 -,80 -,80 -,89
18 8,35 8,40 8,43 -,54 -,50 -,46
15 10,24 10,18 10,21 1,35 1,29 1,32
1 (HN) 2 (HA) 3 (HNA) Test-Site
Tickets buchen Bandmanager Terminprobleme Test-Aufgabe
Disorien- tierung
N
Nicht angepaßt
Korrigiert nach Faktoren
Nach Faktoren
und Kovariaten
angepaßt Vorhergesagtes Mittel
Nicht angepaßt
Korrigiert nach Faktoren
Nach Faktoren
und Kovariaten
angepaßt Abweichung
Multiple Klassifikationsanalyse (MCA) a
Disorientierung nach Test-Site, Test-Aufgabe mit Internet-Erfahrung a.
Es ist festzustellen, daß der Mittelwert der Desorientierung(nach Faktoren und Kovariaten angepaßt) in der Testsite-Version 3 geringer als in den Versionen 1 und 2 ist. Dieses Ergebnis kann als Tendenz gewertet werden, daß erst das Zusammenspiel von hierarchischer Relation, assoziativer Relation und Navigationsrelation deutlich zur Verringerung der Desorientierung der Nutzer beiträgt.
Zum zweiten kann festgehalten werden, daß insbesondere Aufgabe 3 zu höherer Desorientierung führt. Dies könnte (wie bereits in Abschnitt 4 angedeutet) darauf zurückzuführen sein, daß die Perspektive des Nutzers in der dritten Aufgabe keiner der Zielgruppen entspricht, für die die WWW-Site von IN CONCERT konstruiert wurde.
5.4 Konsequenzen für das Feldexperiment
Der Einfluß der unterschiedlichen Site-Strukturen auf die empfundene Desorientierung war in diesem Pre-Test zwar tendenziell zu beobachten, jedoch nicht signifikant. Ich vermute, daß sich die strukturellen Unterschiede zwischen den Testsites erst dann deutlich bemerkbar machen, wenn das Informations- angebot tiefer und breiter gefächert ist. Für das Feldexperiment sollte die Testsite also ausgebaut werden.24 Weiterhin erscheint es mir sinnvoll, eine zusätzliche Version der Testsite mit in das Experiment aufzunehmen, die nur die hierarchische Relation enthält. Erst dann läßt sich (z.B. im Rahmen einer ANOVA) der Einfluß von Navigations- und Assoziationsrelation und von deren Interaktionseffekt genau spezifizieren.
24 Um eine inhaltlich realistische Vertiefung des Informationsangebotes zu erzielen, werde ich einen Experten für Veranstaltungsorganisation zu Rate ziehen.
Eine Vertiefung des Informationsangebots (vgl. 5.4.1) sollte auch die Modifikation der Aufgaben nach sich ziehen. Möglicherweise ist es sinnvoll, die dritte Aufgabe (Perspektive eines Konzertveranstalters) fallenzulassen und nur noch mit zwei zielgruppengerechten Aufgaben zu arbeiten. Zumindest hat insbesondere die dritte Aufgabe erheblich zur Desorientierung der Nutzer beigetragen. Einige Testpersonen haben zudem bemängelt, daß man im Laufe des Experiments zu keinem Zeitpunkt weiß, ob man die Aufgabe hinreichend gelöst hat. Es wäre möglich, den Fortschritt bei der Bearbeitung der Aufgabenstellung an geeigneter Stelle anzuzeigen.
Der Fragebogen zum Ende des Experiments muß noch verbessert werden. Die Skalen zur Messung des Images von IN CONCERT und zur Messung der empfun- denen Desorientierung müssen überarbeitet werden. Zusätzlich wäre zu überle- gen, ob im Fragebogen auch noch Fragen bezogen auf die Aufgabenstellung ge- stellt werden sollten. Dies wurde zumindest von einigen Testpersonen angeregt.
6. Ausblick
Die Testsite wird entsprechend der unter 5.4 aufgeführten Punkte geändert.
Nach Abschluß aller Änderungen werde ich noch einmal einen (kurzen) Pre-Test durchführen, bei dem es jedoch nur noch um die Aufdeckung technischer Mängel geht. Im Anschluß daran wird die Erhebung im Feld stattfinden.
Prinzipiell kann jeder deutsch sprechende Internetnutzer an diesem Experiment teilnehmen. Um eine möglichst große Zahl von potentiellen Teilnehmern darüber zu informieren, daß dieses Experiment stattfindet, werde ich voraussichtlich An- kündigungen in deutschsprachigen News-Groups plazieren. Außerdem werde ich versuchen, in regelmäßig über das Internet verteilten News-Lettern auf das Experiment hinzuweisen. Bisher ungeklärt ist die Frage, wie ich Internetnutzer zu einer Teilnahme motivieren kann. Das Motto “Surfen für die Wissenschaft”
wird alleine wohl nicht reichen, eine ausreichende Anzahl von Personen zur Teilnahme zu bewegen. Möglicherweise würde eine Gewinnspiel oder die Verlosung von Preisen unter den Teilnehmern einen größeren Effekt erzielen. Für weitere Anregungen bin ich dankbar.
